JDONREFv4 Query - Historique des versions

Julien2512 : /* Changer de requête en cours de calcul */

2016-02-26T22:46:19Z

‎Changer de requête en cours de calcul

Julien2512 : /* Changer de champ pour la recherche */

2016-02-26T22:31:33Z

‎Changer de champ pour la recherche

Julien2512 : /* Optimisation */

2016-02-26T22:30:30Z

‎Optimisation

Julien2512 : /* Exemples de calcul en mode bulk */

2016-02-26T22:29:36Z

‎Exemples de calcul en mode bulk

Julien2512 : /* Modes (mode bulk - en attente de réimplémentation) */

2016-02-26T22:28:47Z

‎Modes (mode bulk - en attente de réimplémentation)

Julien2512 : /* Fonctionnement */

2016-02-26T22:28:25Z

‎Fonctionnement

Voir les modifications

Julien2512 : /* Requête et résultat */

2016-02-26T21:22:45Z

‎Requête et résultat

Julien2512 : /* Requête et résultat */

2014-11-03T21:33:36Z

‎Requête et résultat

Julien2512 : /* Exemples de calcul en mode bulk */

2014-11-03T21:12:59Z

‎Exemples de calcul en mode bulk

Julien2512 : /* Optimisation */

2014-11-03T21:09:23Z

‎Optimisation

← Version précédente		Version du 26 février 2016 à 22:46
Ligne 167 :		Ligne 167 :
	=====Changer de requête en cours de calcul=====		=====Changer de requête en cours de calcul=====

		+	Prenons la requête
		+	numero:24 ou type_de_voie:24 ou type_de_voie:boulevard ou type_de_voie:hopital ou libelle:24 ou libelle:boulevard ou libelle:hopital
		+	qui correspond à la recherche de 24 BD HOPITAL (en omettant les codes, la commune, et la répétition pour l'exemple).

		+	Cette requête peut retourner plusieurs catégories de résultat.
		+	# des documents contenant 24 : 300 000
		+	# des documents contenant boulevard : 600 000
		+	# des documents contenant hopital : 250 000
		+	# des documents contenant 24 boulevard : 70 000
		+	# des documents contenant 24 hopital : 35 000
		+	# des documents contenant boulevard hopital : 80 000
		+	# des documents contenant 24 boulevard hopital : 10 000

		+	Il va sans dire que la catégorie la plus représentée est celle où les termes trouvés sont seuls, et la catégorie la moins représentée celle où les 3 termes sont trouvés.
		+	Et pourtant, il est fort probable que le document cherché soit un de ceux où les 3 termes sont trouvés.
		+	En laissant la requête telle quelle, les meilleurs résultats seront certes ceux attendus, mais au total, 1 150 000 documents auront été parcourus.
		+
		+	Les 300 000 documents contenant uniquement 24 sont-ils réellement utiles ?
		+	JDONREFv4 fait le postulat que non, et que parmi ces 300 000 documents, l'utilisateur ne saura pas retrouver ceux qui l'intéresse. Par contre, il est peut-être utile dans laisser quelques uns.
		+
		+	L'algorithme suivi correspond ainsi à peut près à :
		+	# je cherche 100 documents contenant 24 ou boulevard ou hopital
		+	# puis je continue avec 100 document contenant 24 et boulevard ou 24 et hopital ou boulevard et hopital
		+	# puis je continue avec 100 documents contenant 24 et boulevard et hopital
		+
		+	Cela ne donne que 300 documents ? Et le votre n'est pas dedans ?
		+	C'est possible. Mais les 300 documents retournés sont légitimes.
		+	Si vous avez assez de temps pour fouiller dans 300 documents, je pense que vous avez aussi le temps d'attendre que la requête complète soit exécutée.
		+	Nous ne parlons donc pas de la même chose.
		+
		+	Il s'agit ensuite d'adapter le principe à la recherche avec faute d'orthographe et l'auto-complétion.

	=====L'influence sur le score=====		=====L'influence sur le score=====

@@ Ligne 301 : / Ligne 301 : @@
 =====Changer de champ pour la recherche=====
-Si vous avez personnalisé votre mapping, il vous est peut-être nécessaire de modifier le champ utilisé par défaut pour la recherche.
+Si vous avez personnalisé votre mapping, il vous est peut-être nécessaire de modifier le champ utilisé par défaut comme analyzer de la recherche.
-Il s'agit d'utiliser le paramètre default_field. Par défaut, il vaut fullName, mais vous pouvez le modifier.
+Il s'agit d'utiliser le paramètre default_field. Par défaut, il vaut libelle, mais vous pouvez le modifier.
+ {
@@ Ligne 308 : / Ligne 308 : @@
      "jdonrefv4" : {
         "value" : "24 BOULEVARD DE L HOPITAL 75 PARIS",
-        "default_field" : "fullName"
+        "default_field" : "libelle"
+     }
+   }

@@ Ligne 313 : / Ligne 313 : @@
+   }
+ }
 =====Effets de bord=====

@@ Ligne 220 : / Ligne 220 : @@
   this.score -= countBits(multiTokenMatch())*20;
-=====Exemples de calcul en mode bulk=====
+=====Exemples de calcul=====
-Les exemples qui suivent ne sont pas exhaustifs mais présentent le comportement recherché par la requête en mode bulk.
+Les exemples qui suivent ne sont pas exhaustifs mais présentent le comportement recherché par la requête.
-La note donnée ici est indicative, car en réalité elle s'appuie sur la fréquence des termes recherchés et trouvés, suivant la logique du moteur à indexation inverse.
+La note donnée ici est indicative.
 {| border="1"

@@ Ligne 219 : / Ligne 219 : @@
 Pour chaque sous-requête est alors stocké le token correspondant. Lorsque 1 même token matche 2 sous-requête pour un même document, une défausse de point est effectué. Cela prend cette forme dans le code :
   this.score -= countBits(multiTokenMatch())*20;
 =====Exemples de calcul en mode bulk=====

← Version précédente		Version du 26 février 2016 à 21:22
Ligne 11 :		Ligne 11 :
	}		}

−	Les résultats de la requête dépendent de la [[Jdonrefv4_plugin_configuration\|configuration]] du plugin.
		+	Il s'agit d'une requête multi-termes. Ils sont décrit dans la page traitant des [[JDONREFv4_Mappings\|index]].
−	En version 0.1beta, l'attribut sur lequel doit porter la recherche est "fullName".
−	A partir de la version 0.2, ce champ est paramétrable (voir [[JDONREFv4_Query#Changer_de_champ_pour_la_recherche\|changer de champ pour la recherche]]). Le mapping fourni propose toutefois la construction de ce champ à partir de nombreux autres.

	Avec une requête POST du type :		Avec une requête POST du type :

@@ Ligne 12 : / Ligne 12 : @@
 Les résultats de la requête dépendent de la [[Jdonrefv4_plugin_configuration|configuration]] du plugin.
 En version 0.1beta, l'attribut sur lequel doit porter la recherche est "fullName".
-En version 0.2, de nombreux champs sont utilisés (tous ceux qui sont indexés). Avec une requête POST du type :
+Avec une requête POST du type :
   curl -XPOST 'http://localhost:9200/jdonref/_search' -d '{
     "query": {

@@ Ligne 271 : / Ligne 271 : @@
  | 59500 DOUAI FRANCE
  | 100 = (0 + 50 + 0) * 200 /100
- | La commune est présente (50), mais le code postal est faux (0). Le pays est absent, mais son poids est de 0. NB: pour améliorer cette note (le code postal est très proche), une évolution du TokenFilter de JDONREF devrait être effectuée).
+ | La commune est présente (50), mais le code postal est faux (0). Le pays est absent, mais son poids est de 0. NB: pour améliorer cette note (le code postal est très proche), une évolution du TokenFilter de JDONREF devrait être effectuée). NB : à l'heure actuelle, ce score est de 0 : les erreurs ne sont pas tolérées par le mapping défini.
 |-
  | 59
@@ Ligne 283 : / Ligne 283 : @@
  | La ligne 7 est présente.
 |}
 Ces exemples ne présentent pas la prise en compte de la phonétique, qui n'intervient pas dans la notation. Deux requêtes qui disposent de la même phonétique ont les mêmes résultats.

@@ Ligne 319 : / Ligne 319 : @@
       "jdonrefv4" : {
          "value" : "RUE",
-         "maxSizePerType": 50000
+         "maxSizePerType": 10000
+      }
+    }
+  }
-ne retournera pas les résultats de type "adresse", ni même ceux de type "voie" dont la quantité est supérieure à 50000 (chacun pris séparemment, tout dépend de l'organisation de vos index). Seuls les pays et communes seront alors retournées, en quantité raisonnable.
+ne retournera pas les résultats de type "adresse", ni même ceux de type "voie" dont la quantité est supérieure à 50000 (avec 5 shards, tout dépend de l'organisation de vos index). Seuls les pays et communes seront alors retournées, en quantité raisonnable.
 Dans une requête multi-terme, c'est la fréquence du terme le moins fréquent qui est pris en compte.