Slowlogs et mots-clefs

samedi 3 mars 2012 à 18h07
par Antonin

Logo de Antonin

Bonjour,
J’ai des soucis de slowlogs : requêtes longues de plusieurs secondes et un nombre de lignes examinées fort (2milions). Je suis sous spip 2.1.12 et sarka-spip 3.0.8. Voici un de ces logs :

# Time : 120303 3:02:06
# User@Host : x @ tmu4-5.infomaniak.ch [x]
# Query_time : 8 Lock_time : 0 Rows_sent : 42 Rows_examined : 1311603
SELECT mots.titre, mots.id_mot
FROM x.spip_mots AS mots
INNER JOIN x.spip_mots_articles AS L2 ON ( L2.id_mot = mots.id_mot )
INNER JOIN x.spip_articles AS L3 ON ( L3.id_article = L2.id_article )
INNER JOIN x.spip_mots_articles AS L1 ON ( L1.id_mot = mots.id_mot )
WHERE NOT((mots.type = ’squelette_habillage’))
AND NOT((L1.id_article = ’’))
AND (L3.id_rubrique REGEXP ’^(6)$’)
GROUP BY mots.id_mot,mots.titre
ORDER BY mots.titre ;

D’après des pistes évoquées sur la liste spip, j’ai suivi celle des mots-clefs et effectivement le nombre de ligne examinées est passé de 2.2 à 1.3 en supprimant des mots-clefs que j’utilise pour la recherche par mots-clefs dans le site (et le référencement). Mais les slowlogs sont toujours là... Avec des ?var_mode=debug j’ai remarquer des requêtes longues lié à sarka mais je ne sais pas trop quoi chercher surtout que "calcul" génère un message d’erreur :

Fatal error : Call to undefined function insertions_pre_propre() in /home/www/607ff0b283f790ae3a70a8b8eee60b42/web/ecrire/public/composer.php(69) : eval()’d code on line 299

Quelqu’un aurait une idée ou une piste à suivre ?
Merci d’avance


Réponses

3 mars 2012 à 18h09
Antonin

Logo de Antonin

Désolé, le titre a sauté... il aurait du être "slowlogs et mots-clefs".
4 mars 2012 à 11h19
Antonin

Logo de Antonin

Bonjour,

En attendant une réponse, je cherche avec mes petits moyens. Sur la liste spip, on me dit que c’est l’expression (L3.id_rubrique REGEXP ’^(6)$’) qui génère le milions de lignes parcouru. Sinon j’ai remarqué la mention de "squelette_habillage". En cherchant sur le site ici, j’ai lu que les mots-clefs "squelette_habillage" ont changé avec sarka-spip 3. Moi j’utilise toujours : Agenda, Edito, Galerie, annonce alors que l’article mention article_une et album_une. Mon soucis viendrait-il de là ?

Merci
Les mots-clefs squelette_habillage
4 mars 2012 à 12h21
_Eric_

Logo de _Eric_

En SPIP 3, agenda, edito et galerie sont devenus inutiles comme le précise l’article auquel tu fais référence. Ils ont été remplacés par de la configuration.

Seule la une et le top album nécessitent encore des mots-clés. Je ne pense pas que ton souci vienne de là. Par contre, je vois pas trop comment t’aider vu que tu ne nous explique ni ta configuration de mots-clés ni les actions qui mènent au problème que tu soulèves.
4 mars 2012 à 14h57
Antonin

Logo de Antonin

Merci Eric pour ta réponse.

J’utilise squelette_agenda, Squelette_gallerie et squelette_habillage. Le reste des autres groupes de mots-clefs sont là pour la recherche sur le site des articles par mots-clefs et le référencement. Même si pour le référencement ce n’est plus vraiment utile.
Au niveau des actions je ne sais pas trop quoi dire car je n’ai rien modifié de la config de base de spip 2.1.12 et sarka-spip 3.0.8. C’est mon hébergeur qui me dit que me site est ingérable pour eux car des "slowlogs" sont générés et hyper lourds (2.4millions de lignes examinées à chaque fois)... J’ai récupéré un exemple de logs et je l’ai affiché ci-dessus. En supprimant des mots-clefs cela a permis de baisser le nombre de lignes examinées à 1.3millions. Mais je ne touche pas à la source de problème...
Désolé je ne sais pas trop comment exposer le problème, déjà que je ne comprends pas trop ces "slowlogs" et leur contenu. Il y peut-être des choses que j’ai pas modifiées au fur et à mesure des mises à jour ? Comme par exemple les mots-clefs obsolètes de Squelette_habillage. Quels sont les autres éléments utiles que je doivent vous transmettre ?
4 mars 2012 à 20h27
_Eric_

Logo de _Eric_

Ok,

Bon je crois que pour avancer il faudrait que je puisse rentrer dans ton site en tant que webmestre dans un premier temps.

Peux-tu m’envoyer tes logins webmestre de ton site par mail à mon adresse privée stp ?
4 mars 2012 à 21h29
Antonin

Logo de Antonin

Bonsoir Eric,

Merci beaucoup pour ta proposition. Je viens de t’envoyer les infos par e-mail.
19 avril 2012 à 20h36
marmaxmat

Logo de marmaxmat

Bonjour,

Mon hébergeur m’a également alerté aujourd’hui sur le même problème. J’utilise spip 3.1.12 et sarka Spip 3.04. Voici le message de l’hébergeur : Qu’en pensez-vous ?

Votre domaine cumule plus de 2000 secondes de slowlog avec ses requêtes mysql 2092 seconds, 178 queries : www.loisirs-beaujolais.fr
Il y a entre autres ce genre de requêtes qui parcours plus de 800’000 lignes à chaque fois :

# Query_time : 10 Lock_time : 1 Rows_sent : 73 Rows_examined : 843686
use.... ;
SELECT mots.titre, mots.id_mot
FROM loisirsbeaujolaisfr.spip_mots AS mots
INNER JOIN loisirsbeaujolaisfr.spip_mots_articles AS L2 ON ( L2.id_mot = mots.id_mot )
INNER JOIN loisirsbeaujolaisfr.spip_articles AS L3 ON ( L3.id_article = L2.id_article )
INNER JOIN loisirsbeaujolaisfr.spip_mots_articles AS L1 ON ( L1.id_mot = mots.id_mot )
WHERE NOT((mots.type = ’squelette_habillage’))
AND NOT((L1.id_article = ’’))
AND (L3.id_rubrique REGEXP ’^(33)$’)
GROUP BY mots.id_mot,mots.titre
ORDER BY mots.titre ;

Cette requête n’est pas optimisée comme elle le devrait et doit impérativement être revue.
De plus, les types d’objets de certaines tables devraient être changés !

Par exemple pour la table "spip_mots". Le champ "type" est déclaré comme objet TEXT alors que la plus longue entrée fait seulement 19 caractères ! Un VARCHAR serait amplement suffisant et bien plus pratique à indexer !

mysql> select max(length(type)) from spip_mots ;
+---------------------+

max(length(type))

+---------------------+

19

+---------------------+
1 row in set (0.02 sec)

il en est de même pour le champ "titre" :
mysql> select max(length(titre)) from spip_mots ;
+----------------------+

max(length(titre))

+----------------------+

42

+----------------------+
1 row in set (0.00 sec)

Et pour terminer, nous avons dû bloquer l’accès aux URL contenant le mot calendrier_annee car les moteurs de recherche tournent en boucle sans trop se fixer de limites... google en était à 2024 et bing à 2036 / ?Gite-du-Domaine-du-Breuil-dans-le&calendrier_mois=5&calendrier_annee=2024

Merci donc de faire un gros coup de nettoyage et d’optimisation dans tout ça ainsi qu’éventuellement une petite mise à jour avec la dernière release de SPIP.

probleme requete sur Mot clefs
19 avril 2012 à 21h16
_Eric_

Logo de _Eric_

Bonsoir,

Pour l’instant la seule chose simple à faire est d’éviter l’accumulation de mots-clés ou de désactiver le calendrier. Il n’y aura pas de correction rapide sur cette version, désolé.

Pour les champs de la table spip_mots il faut t’adresser à l’équipe SPIP, Sarka-SPIP ne faisant qu’utiliser la base de données créée par SPIP 2.1 car je suppose que tu n’es pas en 3.1 mais en 2.1.

Ensuite, pour le problème d’indexation google il faudrait essayer d’installer la version 3.0.8 pour voir si elle ne corrige pas ce souci.

Enfin, pour le nettoyage c’est demandé tellement agréablement que je suis déjà en train d’y travailler ;-) !
19 avril 2012 à 21h52
marmaxmat

Logo de marmaxmat

Merci Eric.
J’ai trouvé - un post sur notre sujet ici :

http://www.mail-archive.com/spip@rezo.net/msg43949.html

La solution semble donc possible mais je ne sais pas où changer le code. Aurais tu une idée- stp ?

Merci de ton aide
une solution peut être

Forum sur abonnement

Pour participer à ce forum, vous devez vous enregistrer au préalable. Merci d’indiquer ci-dessous l’identifiant personnel qui vous a été fourni. Si vous n’êtes pas enregistré, vous devez vous inscrire.

Connexion | S’inscrire | mot de passe oublié ?