Qu’est-ce qu’un panel de questions, et pourquoi tout se joue là ?
Un panel est la liste fixe de questions que vous reposez régulièrement aux assistants IA pour savoir si votre marque est citée. C’est votre instrument de mesure : si les questions sont mal choisies, tous les chiffres qui en sortent sont faux, aussi précis qu’ils paraissent.
La scène est courante. La gérante d’un cabinet d’expertise comptable tape « que pense ChatGPT de [son cabinet] ? » et lit un paragraphe flatteur. Elle en conclut que l’IA la connaît. Le lendemain, un prospect demande « quel expert-comptable pour une SAS à Nantes ? » : trois cabinets sortent, pas le sien. Elle a mesuré la mauvaise chose.
Un prospect écrit à un assistant une phrase complète, pas une liste de mots-clés. Et derrière une seule question, plusieurs recherches peuvent partir : Google indique qu’AI Overviews et AI Mode peuvent lancer plusieurs recherches liées, sur des sous-thèmes et des sources de données, pour construire une réponse (la technique dite de « query fan-out », décrite dans AI features and your website). Votre panel doit donc ressembler aux phrases complètes que vos clients écrivent, pas à une liste de mots-clés SEO.
Pourquoi ne jamais mettre votre marque dans la question ?
Parce qu’une question qui nomme votre marque force l’assistant à en parler : la citation est garantie, donc la mesure est nulle. Le panel doit mesurer si votre nom émerge spontanément quand un prospect cherche une solution sans vous connaître.
La même règle vaut pour vos concurrents. « Quelle alternative à [concurrent] ? » gonfle mécaniquement la visibilité de ce concurrent à chaque passage et fausse précisément la comparaison que vous voulez faire. Vous pouvez lire ces réponses par curiosité, mais elles n’ont rien à faire dans le panel.
Les questions avec marque ont leur usage : vérifier comment l’assistant vous décrit (prix, cible, points forts), repérer une information fausse. Suivez-les à part, dans un document, et ne les mélangez jamais aux chiffres de visibilité. Si vous découvrez que votre concurrent sort partout et pas vous, le guide pourquoi ChatGPT recommande votre concurrent aide à trouver la cause.
Quels types de questions mettre dans le panel ?
Un bon panel mélange plusieurs angles : la catégorie générale, les cas d’usage, le profil du client, les critères de choix, les problèmes à résoudre et, si vous vendez localement, la zone géographique. Chaque angle fait remonter des marques différentes.
| Type | Ce qu’il mesure | Exemple sans marque |
|---|---|---|
| Catégorie | Êtes-vous cité quand on demande « les meilleurs » ? | « Quels sont les meilleurs logiciels de paie pour une PME ? » |
| Cas d’usage | Êtes-vous associé à un usage précis ? | « Quel logiciel de paie pour gérer des intérimaires ? » |
| Profil client | Votre cible est-elle la bonne aux yeux de l’IA ? | « Quel logiciel de paie pour une entreprise de 15 salariés ? » |
| Critère de choix | Sortez-vous sur le prix, la simplicité, le support ? | « Quel logiciel de paie est le plus simple à prendre en main ? » |
| Problème | Êtes-vous la réponse à une frustration ? | « Mon logiciel de paie est trop cher, que prendre à la place ? » |
| Zone | Êtes-vous cité près de chez vos clients ? | « Quel cabinet de paie externalisée à Lyon ? » |
L’AI Visibility Index de Tonaily suit cette logique : ses classements par secteur reposent sur 30 questions d’achat neutres, réparties en six familles (découverte, cas d’usage, profil d’entreprise, points de friction, fonctionnalités, critères de décision). Les 30 questions de chaque secteur sont publiées en clair (en anglais) sur l’AI Visibility Index, par exemple pour les logiciels CRM : un bon modèle à adapter.
Une condition pour chaque question : elle doit pouvoir faire citer des marques. « Comment fonctionne la paie ? » appelle une explication, pas une recommandation. « Quel outil pour faire la paie d’une PME ? » appelle des noms.
Comment répartir les questions selon le parcours d’achat ?
Répartissez-les sur trois moments : le prospect qui découvre la catégorie, celui qui compare des options, celui qui hésite entre deux ou trois noms sur un critère précis. Les marques citées changent d’un moment à l’autre, et c’est souvent au milieu que se joue la différence.
Pour un panel de 15 questions, une répartition qui tient la route :
- Découverte (4 questions) : « quels sont les meilleurs… », « quel outil pour… ».
- Considération (6 questions) : cas d’usage et profils clients, là où votre offre est la plus forte.
- Décision (5 questions) : critères de choix et problèmes, « le moins cher », « le plus simple », « sans engagement ».
Pour trouver les formulations, ne partez pas de votre jargon interne. Relisez les demandes de devis, les questions posées en rendez-vous commercial, les tickets du support, les avis clients. Les termes que vos clients emploient sont ceux qu’ils taperont dans ChatGPT. Le guide GEO : comment être cité par ChatGPT, Gemini et Grok explique ensuite quoi publier pour répondre à ces questions.
flowchart TD
A[Relire devis et tickets] --> B[Écrire sans aucune marque]
B --> C[Couvrir les 3 étapes]
C --> D[Tester chaque question]
D --> E{Des marques citées ?}
E -- Non --> B
E -- Oui --> F[Figer le panel]
F --> G[Mesurer à rythme fixe]Faut-il préciser la ville, le pays ou la langue ?
Oui, dès que votre clientèle est locale ou nationale : la question doit être posée dans la langue de vos clients et, pour un service local, mentionner la ville ou la région. Une réponse sur « le meilleur plombier » sans lieu ne mesure rien pour un artisan de Rennes.
La localisation compte aussi côté outils. L’API de recherche web d’OpenAI permet de préciser une localisation approximative de l’utilisateur (pays, ville, région, fuseau horaire) pour affiner les résultats selon la géographie. Écrire la ville dans la question rend votre mesure moins dépendante de ce réglage.
La langue change aussi les marques citées. L’AI Visibility Index le dit lui-même : ses éditions actuelles sont mesurées en anglais, sur un marché mondial, et une édition française s’appuiera sur des questions rédigées directement en français. Si vous vendez en France et en Belgique, ou en français et en anglais, faites deux panels plutôt qu’un mélange qu’on ne sait plus lire.
Combien de questions suivre ?
Entre 10 et 20 questions bien choisies suffisent pour une entreprise avec une offre principale et un marché. Au-delà, le panel devient difficile à relire, et une question que personne ne relit ne sert à rien.
Le bon chiffre dépend de votre périmètre, pas d’une norme. Comptez à peu près :
- 10 questions : une offre, un marché, une langue.
- 15 questions : une offre principale et deux ou trois cas d’usage forts.
- 20 questions : plusieurs offres ou plusieurs villes.
Pour plusieurs pays, plusieurs langues ou une dizaine de gammes de produits, il faut un panel par marché : le total grimpe vite à plusieurs centaines de questions. À ce niveau, les plateformes spécialisées dans le suivi IA à grande échelle sont plus adaptées qu’un panel de 20 questions : le comparatif des outils de suivi de visibilité IA indique quand chacune a l’avantage.
Pourquoi la même question donne-t-elle des réponses différentes ?
Parce que la génération de texte n’est pas déterministe : poser deux fois la même question au même modèle peut produire deux listes de marques différentes. Une réponse isolée, positive ou négative, ne prouve rien.
Because the content generated from a model is non-deterministic, prompting to get your desired output is a mix of art and science.
Autrement dit, OpenAI reconnaît que le contenu généré par un modèle varie d’un appel à l’autre. Même en fixant le paramètre seed, sa référence d’API précise que le déterminisme « n’est pas garanti » (Create chat completion). La recherche le confirme : une étude publiée sur arXiv a testé cinq modèles réglés pour être déterministes, dix exécutions par tâche, et relevé jusqu’à 15 % d’écart de précision d’une exécution à l’autre (Atil et al., 2024).
À cette variabilité s’ajoutent des différences documentées entre produits : Google écrit qu’AI Mode et AI Overviews peuvent utiliser des modèles et des techniques différents, et que les réponses et liens affichés varient donc (source). Côté observation, les assistants grand public tiennent aussi compte du contexte de la conversation : testez à la main dans une session sans historique.
Trois règles en découlent :
- Relancez. Une question se mesure sur plusieurs passages, pas sur un seul.
- Lisez des fréquences. « Cité dans 6 réponses sur 10 » dit quelque chose ; « cité ce matin » ne dit rien. Le guide sur la part de voix dans les IA détaille le calcul.
- Regardez la tendance sur plusieurs semaines, sur l’ensemble du panel, plutôt que le score d’une question un jour donné.
C’est aussi pourquoi un panel vaut mieux qu’une question : l’article de recherche qui a introduit le terme GEO évalue ses méthodes sur un banc d’essai de requêtes variées, couvrant plusieurs domaines, et non sur une requête unique (Aggarwal et al., KDD 2024).
Peut-on modifier les questions en cours de route ?
Oui, mais le moins possible : un panel stable est la condition pour comparer les mesures dans le temps. Chaque question ajoutée, retirée ou réécrite change ce que vous mesurez, et une hausse peut venir du panel plutôt que de votre visibilité.
Ce qui justifie un changement :
- une faute de frappe ou une formulation maladroite (corrigez-la tout de suite) ;
- une question qui ne fait jamais citer aucune marque, sur aucun moteur, après plusieurs passages ;
- une nouvelle offre ou un nouveau marché.
Ce qui ne le justifie pas : une question où vous n’êtes jamais cité. C’est précisément l’information que vous cherchez. La remplacer par une question plus favorable embellit la courbe sans rien changer à la réalité. Notez la date de chaque modification pour savoir lire la courbe ensuite.
Quelles questions suivre dans votre secteur ?
Partez des modèles ci-dessous, remplacez les crochets par votre catégorie, votre cible et votre ville, puis supprimez ce qui ne correspond pas à ce que vous vendez. Chaque modèle couvre la découverte, les cas d’usage et la décision.
SaaS B2B (exemple : outil de gestion de projet)
- Quels sont les meilleurs outils de [catégorie] pour une PME ?
- Quel outil de [catégorie] pour une équipe de [taille] personnes en télétravail ?
- Quel outil de [catégorie] s’intègre bien avec [outil courant de vos clients] ?
- Quel logiciel de [catégorie] est le plus simple à déployer sans service informatique ?
- Mon outil de [catégorie] est trop cher, quelles alternatives pour une petite équipe ?
- Quel outil de [catégorie] héberge les données en Europe ?
E-commerce (exemple : boutique de cosmétiques naturels)
- Où acheter des [produit] [critère : bio, fabriqués en France] en ligne ?
- Quelles marques de [produit] recommander pour [besoin : peau sensible] ?
- Quel est le meilleur [produit] à moins de [prix] € ?
- Quelles boutiques en ligne livrent des [produit] en 24 heures en France ?
- Quelle marque de [produit] choisir pour un cadeau ?
Agence ou service local (exemple : agence web, plombier, architecte)
- Quelle agence de [service] recommander à [ville] ?
- Qui contacter pour [besoin précis] à [ville] ou dans [département] ?
- Quel prestataire de [service] à [ville] pour une petite entreprise ?
- Comment choisir un [métier] à [ville], et lesquels sont les mieux notés ?
- Quel [métier] à [ville] intervient en urgence le week-end ?
Formation (exemple : organisme de formation en marketing digital)
- Quelles sont les meilleures formations en [thème] pour un débutant ?
- Quelle formation en [thème] finançable par le CPF ?
- Quelle formation en [thème] en ligne pour un salarié qui travaille à plein temps ?
- Quel organisme de formation en [thème] à [ville] ?
- Quelle formation en [thème] pour se reconvertir ?
Cabinet de conseil (exemple : conseil en transformation RH)
- Quels cabinets de conseil en [domaine] pour une ETI en France ?
- Quel cabinet accompagne [projet : un plan de transformation, une mise en conformité] dans le secteur [secteur] ?
- Quel consultant en [domaine] pour une PME de [taille] salariés ?
- Comment choisir un cabinet de conseil en [domaine], et lesquels sont reconnus ?
- Quel cabinet de conseil en [domaine] à [ville] ?
Avant d’ajouter une question au panel, posez-la une fois à plusieurs assistants : si aucun ne cite de marque, reformulez-la. Le test de visibilité IA gratuit de Tonaily pose une question à ChatGPT, Claude, Gemini et Perplexity, sans compte, trois fois par jour : de quoi trier vos questions candidates.
Comment valider votre panel avant de lancer la mesure ?
Relisez chaque question avec la liste ci-dessous. Une question qui échoue à un seul point se reformule ou se retire avant le premier passage, pas après trois mois de mesures.
Sources
- OpenAI API : Text generation (prompt engineering) developers.openai.com
- OpenAI API Reference : Create chat completion (seed, temperature) developers.openai.com
- OpenAI API : Web search (user location) developers.openai.com
- Google Search Central : AI features and your website developers.google.com
- Atil et al., Non-Determinism of « Deterministic » LLM Settings (arXiv, 2024) arxiv.org
- Aggarwal et al., GEO: Generative Engine Optimization (arXiv, KDD 2024) arxiv.org
Ce guide décrit l’état des sources à la date indiquée. Les assistants IA et les moteurs changent souvent : vérifiez les liens avant une décision importante.