Comment ChatGPT augmente  le quotidien des PM ?

Après avoir compris la transformation portée par l’Intelligence Artificielle, défini des cas d’usage pour un PM, nous te proposons des astuces concrètes et applicables dès aujourd’hui, par l’intermédiaire de prompts (instruction/question posée) pour l’outil ChatGPT. Il est important de garder à l’esprit que cette nouvelle technologie, reste un outil. Il reste donc un moyen et non une fin. L’enjeu est d’en comprendre l’intérêt, les limites, d’apprendre à s’en servir de manière pragmatique pour améliorer, augmenter son quotidien de PM.

Qu’est-ce que l’outil ChatGPT ?

Développé par OpenAI, ChatGPT est une implémentation spécifique de l'architecture GPT (Generative Pre-trained Transformer). Ce Chatbot s’appuie sur une version avancée des NLP (Natural Language Processing) notamment via la technologie LLM (Large Language Model) qui permet de générer du texte, répondre à des questions, rédiger des articles et apporter une aide dans de nombreuses autres tâches textuelles.

Cet outil est basé sur un modèle statistique qui analyse de nombreuses quantités de texte pour générer ses réponses. Il ne « comprend » pas le contenu de manière consciente avec le contexte social ou culturel associé à sa réponse, comme le ferait un être humain. Au lieu de cela, il utilise des schémas dans ses données d’entraînement pour produire des réponses guidées par des probabilités. Pour chaque morceau de texte, il essaie de prédire le mot suivant en se basant sur les mots précédents. Par exemple pour la phrase « Le ciel est … », il pourrait apprendre que « bleu » est une suite probable. Basé sur l’architecture des « transformers » développée par Google, ChatGPT « se concentre » sur les « parties importantes » de la question pour proposer la meilleure réponse possible.

En date de septembre 2023, la version gratuite de ChatGPT fournit des réponses basées sur GPT 3.5 et la version payante, sur GPT 4.0 qui est une version entraînée sur un ensemble de données plus étendues. GPT 4.0 accepte des données d’entrée multimodales (texte et image) et comprend 1000 milliards de paramètres contre 175 milliards pour sa version GPT 3.5. Il est à noter cependant que les informations fournies par ChatGPT ne sont pas toujours actuelles, car les données avec lesquelles il a été entraîné s’arrêtent en 2021.

Quels prompts concrets pour le quotidien d’un PM ?

ChatGPT est un outil qui nécessite un maximum de contexte afin d’affiner ses réponses. L’une des techniques les plus simples, lorsqu’il s’agit d’un domaine d’« expertise », est de démarrer l’ensemble de ses prompts par « Agis en qualité d’expert du Product Management qui s’adresse à une audience également spécialisée dans le numérique. »

Améliorer sa phase de Strategy produit

Bien que moins fréquent, des prompts ChatGPT peuvent permettre d’ouvrir sa réflexion en phase de Strategy tout en gardant en tête que communiquer des éléments stratégiques à une IA peut conduire au stockage de ces données sensibles et ainsi une potentielle utilisation non maîtrisée.

Voici quelques exemples de prompts qu’un PM peut utiliser en phase de Strategy :

• Challenger sa stratégie produit :

Étant donné le paysage concurrentiel actuel pour [Domaine ou marché, ex : "les plateformes de streaming musical"], comment notre produit [Nom du produit, ex : "MusixStream"] se différencie-t-il en termes de [Caractéristiques spécifiques, ex : "qualité audio, découverte de nouvelles musiques, ou intégration avec d'autres plateformes"] ? Quels sont les besoins non satisfaits de nos utilisateurs actuels et potentiels que nous pourrions aborder dans les prochaines versions pour renforcer notre position sur le marché ?

• Challenger sa Roadmap :

En considérant nos objectifs à long terme pour [Produit/Service, ex : "notre plateforme de e-commerce"], quels sont les jalons clé que nous devons atteindre au cours des prochains [Temps, ex : "12 mois"] ? Comment ces étapes s'alignent-elles avec nos priorités actuelles comme [Éléments spécifiques, ex : "l'acquisition d'utilisateurs, l'amélioration de la rétention, ou l'intégration de nouveaux partenaires"] ?

• Challenger le modèle de monétisation :

Avec notre produit actuel [Préciser le produit, ex : "application mobile de méditation"], comment nos utilisateurs perçoivent-ils la valeur ajoutée ? Si nous comparons notre modèle de monétisation actuel [ex : "abonnement mensuel"] avec d'autres modèles potentiels comme [Autres modèles, ex : "paiement unique, freemium, ou modèle basé sur la publicité"], quels avantages et inconvénients chacun présente-t-il pour nos utilisateurs cible et nos objectifs financiers à [Temps spécifique, ex : "long terme"] ?

Améliorer sa phase de Discovery produit

La phase de Discovery nous permet d’ouvrir le champ des possibles, de diverger vers de nombreuses possibilités avant de converger vers une ou plusieurs solutions retenues. Il est à noter que dans le cas de produits numériques en perpétuelle évolution, l’une des limites de ChatGPT réside dans l’ancienneté de ses données d’entraînement en date de septembre 2021 (limites de l’outil à découvrir en fin d’article).

De manière globale, l’outil peut permettre un gain de temps élevé dans la phase de Discovery avec plusieurs usages :

• Anticipation des contraintes :

Si nous devions mettre en œuvre [solution ou amélioration suggérée], quelles seraient les principales contraintes ou défis dans le contexte de [environnement/plateforme/situation actuelle] ?

• Comparaison des fonctionnalités :

En considérant notre fonctionnalité [Préciser la fonctionnalité], comment les utilisateurs interagissent-ils avec des fonctionnalités similaires proposées par nos concurrents majeurs [Nommer un ou plusieurs concurrents] ? Quels sont les principaux parcours utilisateur et les cas d'utilisation observés pour cette fonctionnalité chez les concurrents ?

• Analyse d’adoption concurrentielle :

Quels sont les retours des utilisateurs concernant une fonctionnalité similaire à [solution ou amélioration suggérée] chez nos concurrents, notamment [noms des concurrents] ? Y a-t-il des douleurs, des lacunes ou des points de friction couramment mentionnés qui pourraient informer notre propre implémentation ?

• Évaluation d’impact stratégique :

Comment l'ajout de cette fonctionnalité par nos concurrents a-t-il affecté leur positionnement sur le marché, leur acquisition d'utilisateurs ou leur fidélité client ? Quelles leçons pouvons-nous tirer de leur stratégie et de leur communication autour de cette fonctionnalité ?

• Comparaison des mécanismes d’engagement :

Comment la fonctionnalité de [Concurrent spécifique] encourage-t-elle l'engagement des utilisateurs ? Quels mécanismes d'incitation ou d'interaction sont en place pour augmenter l'utilisation de cette fonctionnalité, et comment se comparent-ils à ce que nous envisageons pour notre user story dans [Ton produit ou plateforme] ?

Améliorer sa phase de Delivery produit

L’usage le plus simple et le plus récurrent de ChatGPT en tant que PM est sa capacité à challenger le contenu des User Stories. Un Product Manager peut ainsi utiliser ChatGPT pour challenger :

• La valeur utilisateur :

Si [nom de la user story] est implémentée, quel problème spécifique de l'utilisateur résolvons-nous ?

• Les règles de gestion :

Pour [cette fonctionnalité ou caractéristique précise de la user story], quelle action spécifique l'utilisateur est-il censé accomplir ?

• Les critères d’acceptance :

Quels seraient les trois principaux signes ou indicateurs qui démontreraient que [nom de la user story] a été correctement implémentée ?

Afin de préparer les cérémonies agiles de Poker Planning, te peux challenger l’effort ou le temps de développement de tes US avec ChatGPT. Pour cela il va falloir enrichir de données d’architecture, de stack technique, de documentation fonctionnelle de ton produit actuel dans un même « chat ». Une fois les données de contexte spécifique à ton produit partagées à ChatGPT, tu peux poser des questions spécifiques ou ouvrir le champ des possibles :

• Défis technologiques :

Quels sont les principaux défis techniques associés à [nom de la user story] ?

• Dépendances :

De quels autres systèmes, fonctionnalités ou user stories cette tâche dépend-elle, et comment cela affecte-t-il son estimation ?

• Ressources :

Aurons-nous besoin de ressources externes ou de compétences supplémentaires pour accomplir cette user story, et si oui, combien de temps cela pourrait-il ajouter à notre estimation ?

ChatGPT peut également t'aider dans la priorisation des US de ton backlog :

• Valeur pour l’utilisateur :

Quel impact [nom de la user story] aura-t-elle sur l'expérience utilisateur ou sur nos principaux indicateurs de performance (KPI) [citer tes KPIs principaux]?

• Valeur pour l’entreprise :

Si nous devions retarder cette user story au prochain sprint ou à la prochaine version, quel serait le coût d'opportunité ou le risque pour l'entreprise ?

• Retour sur investissement (ROI):

Sur une échelle de 1 à 10, comment évaluerai-tu l'effort nécessaire pour réaliser cette user story par rapport à la valeur qu'elle apportera ?

Pour fluidifier les relations avec les développeurs, lead tech et architectes, ChatGPT peut également permettre d’anticiper des contraintes techniques :

• Contraintes techniques détaillées :

Étant donné notre stack technologique actuel qui comprend [Lister les éléments du stack, ex : "React pour l'interface utilisateur, Node.js pour le backend, et MongoDB pour la base de données"], quels composants techniques spécifiques seront nécessaires pour implémenter cette user story ? Comment interagiront-ils avec nos technologies actuelles ? Sont-ils compatibles avec [Éléments de la stack] ? Y a-t-il des dépendances ou des intégrations à prendre en compte avec [Services tiers, ex : "API Stripe pour les paiements"] ? Comment pourrions-nous anticiper et atténuer ces problèmes ?

• Évaluation des ressources & compétences :

Avec les compétences actuelles de notre équipe, qui comprend [Lister les compétences spécifiques, ex : "développeurs full-stack, un spécialiste en DevOps, et un architecte de base de données"], sommes-nous équipés pour mettre en œuvre cette user story ? Si des outils, formations ou expertises supplémentaires sont nécessaires, lesquels seraient-ils par rapport à notre contexte actuel avec [Éléments de la stack] ? Comment pourrions-nous anticiper et atténuer ces problèmes ?

Cet outil peut également te permettre d’estimer au mieux les enjeux de qualité autour de l’implémentation de ton User Story (US) :

• Analyse des intégrations systèmes :

Compte tenu de notre architecture actuelle qui comprend [Lister les éléments majeurs de l'architecture, ex : "microservices, APIs tierces, et systèmes d'authentification"], comment cette user story interagit-elle avec chacun de ces éléments ? Quels sont les points d'intégration potentiels qui pourraient être sensibles aux bugs, en particulier lorsqu'elle interagit avec [Élément spécifique, ex : "notre API de paiement"] ?

• Évaluation des scénarios & parcours utilisateur :

Quels sont les principaux parcours utilisateurs qui seront impactés ou qui utiliseront cette nouvelle user story dans notre application [Préciser, ex : "notre application mobile sous Android"] ? Quels sont les points potentiels de friction ou de défaillance lors de scénarios d'utilisation réels, en particulier dans des situations comme [Scénario spécifique, ex : "lorsque l'utilisateur est hors ligne ou a une mauvaise connectivité"] ?

• Tests et validation :

Quels types de tests automatisés [ou manuels, selon le contexte] devons-nous mettre en place pour valider cette user story dans notre environnement actuel qui utilise [Outils/technologies de test, ex : "Jenkins pour l'intégration continue et Selenium pour les tests d'interface utilisateur"] ? Quels scénarios spécifiques devraient être testés en priorité pour anticiper des bugs, en particulier ceux liés à [Aspect spécifique, ex : "la synchronisation de données entre dispositifs"] ?

Quelles limites et alternatives à ChatGPT  ?

Quelles limites à l’outil ChatGPT  ?

Comme évoqué en introduction, un outil reste toujours un moyen pour mener des actions. Il ne constitue pas une fin en soi. Pour utiliser au mieux ChatGPT, il est nécessaire de comprendre ses limites pour pouvoir remettre en question ses réponses.‍

• ‍Biais liés à ses données d’entraînement : ChatGPT a été formé, entraîné sur d’immenses quantités de données internet. Ce qui signifie que nativement, l’outil reproduit les biais présents dans ces données. Ainsi, les liens les plus visités, les plus lus, avec le plus de liens HTML vont être mis en avant dans ses réponses. Ces corpus de texte peuvent comprendre déjà des biais sexistes ou racistes. L’ensemble de ces données d’entraînement peuvent également provenir d’une région du monde spécifique comme l’Amérique du Nord. La performance des réponses pourra donc être confrontée à un manque d’informations ou de contexte détaillé pour d’autres régions du monde (EX : Asie, Afrique, Amérique latine,…)‍
• Biais liés à ses ingénieurs concepteurs/entraîneurs :  ChatGPT est le fruit du travail d’un groupe d’ingénieurs & chercheurs appartenant à un groupe démographique sensiblement similaire. Il est également probable qu’une partie significative d’entre eux adhèrent à des perspectives politiques ou sociales similaires notamment autour de la culture de la Silicon Valley. En effet, celle-ci prône avant tout l’innovation technologique, le libertarisme sans prendre spécifiquement en compte de la régulation, de l’éthique, du progrès social.  De plus, l’éthique et la morale variant d’une culture à une autre, ces ingénieurs ont pu, sans le vouloir, incorporer leurs propres normes. Cette subjectivité humaine peut donc conduire à des lacunes dans la prise en compte de diverses perspectives, ou dans la capacité de réponse à des questions spécifiques à certaines cultures ou groupes démographiques différents.‍
• Informations sensibles ou inappropriées : sauf à utiliser un prompt extrêmement exhaustif, le modèle ne sait pas toujours quand les informations sont sensibles ou inappropriées pour une situation donnée. Il peut donc parfois manquer de jugement contextuel. L’usage de ses réponses sans relecture attentive peut donc heurter certaines personnes.‍
• Fiabilité inférieure à 100% : ChatGPT peut parfois donner des réponses différentes ou contradictoires à des questions similaires ou légèrement modifiées. Le modèle peut commettre des erreurs ou parfois fournir des informations inexactes. Cette fiabilité a tendance à se réduire au vu de la compétition actuelle et les progrès effectués version après version.‍
• Dépendance aux données d’entraînement : en date de septembre 2023, le modèle n'a pas la capacité d'apprendre de nouvelles informations après sa dernière mise à jour (en septembre 2021). Donc, il ne peut pas connaître les événements, les innovations technologiques, avoir accès à la toute dernière version des produits de tes concurrents après cette date. Pour une étude approfondie, il est donc important de coupler ChatGPT jusqu’à septembre 2021 puis avec une recherche sur le web pour les années suivantes.

Quelles alternatives à l’outil ChatGPT ?

À la date d’écriture de cet article, l’outil ChatGPT d’OpenAI dans sa version GPT 4.0 semble être l’outil d’IA générative de texte le plus performant. Cependant celui-ci nécessite un coût et évoluera dans le temps, au même titre que les produits de ses partenaires ou concurrents. Ainsi, voici quelques autres chatbot concurrents à tester pour challenger ChatGPT : Chatsonic de Writesonic, Jasper Chat de Jasper AI, Bard de Google, Claude d’Anthropic ou encore Llama2 de Meta AI. Et enfin Bing chat de Microsoft, lui-même également basé sur la technologie GPT 4.0 dans le cadre du partenariat OpenAI & Microsoft. Basé sur un système de monétisation par la publicité et la donnée, il te donnera accès à la version 4.0 gratuitement. Des chatbots équivalents sont également proposés par les BATX chinois (Baidu, Alibaba, Tencent, Xiaomi) qui sont entraînés sur un corpus de texte sensiblement différents, avec une éthique et un contrôle étatique différents.

Cet article a pour objectif de se focaliser sur l’outil ChatGPT, mais de nombreux éditeurs utilisent l’Intelligence Artificielle pour améliorer leurs produits actuels. Voici donc une liste non exhaustive d’outils à creuser, en tant que Product Manager :

• Google Analytics : (analyse de données) qui ****utilise des algorithmes pour identifier des tendances, prévoir des trafics et proposer des insights. Il dispose aussi d'une fonctionnalité "Analytics Intelligence" qui permet de poser des questions naturelles et d'obtenir des réponses basées sur les données.
• Amplitude : (analyse de données) qui propose des insights basés sur des algorithmes pour identifier des tendances et des comportements d'utilisateurs.
• Pendo : (analyse de parcours) qui utilise la data science pour fournir des analyses avancées sur le comportement des .Cela peut inclure la segmentation des utilisateurs, la prédiction de la rétention ou de la désactivation. Il propose des guides intégrés basés sur l’IA pour améliorer l’onboarding.
• Optimizely : (A/B testing) qui utilise des algorithmes statistiques pour déterminer les gagnants des tests A/B et pour évaluer la significativité des résultats. De plus, ils ont introduit des fonctionnalités de personnalisation qui peuvent utiliser l'IA pour adapter automatiquement le contenu ou les fonctionnalités pour différents segments d'utilisateurs.
• Intercom : (Plateforme d’interaction client) qui propose un bot de chat appelé "Answer Bot" qui utilise l'IA pour répondre automatiquement aux questions courantes des clients. Ce bot est entraîné avec les FAQ et les réponses précédentes pour fournir des réponses instantanées sans intervention humaine.
• Des outils comme Trello, Jira, Figma, Notion vont ou intègrent déjà des plugins ou des extensions utilisant l'IA pour des recommandations de design, des analyses, l’automatisation des tâches,…

Ce qu’il faut retenir :

• ChatGPT est un modèle de langage basé sur l'architecture GPT développé par OpenAI qui génère du texte et répond à des questions en se basant sur des probabilités, mais qui ne comprend pas le contenu de manière consciente. La version gratuite est basée sur GPT 3.5, tandis que la version payante utilise GPT 4.0 avec plus de paramètres.
• ChatGPT peut être utilisé par les PM pour améliorer leur travail à travers des prompts spécifiques. Il peut aider dans les phases de Strategy, Discovery ou Delivery.
• Si à date ChatGPT est l’outil d’IA le plus performant, il présente néanmoins des limites liées aux biais de ses données d'entraînement, aux perspectives de ses concepteurs, à la fiabilité de ses réponses et à sa dépendance aux données passées. Des alternatives existent, notamment d'autres chatbots (Chatsonic, Jasper Chat, Bard,…) permettant de challenger ChatGPT.