Camille
·
October 18, 2024
A l’heure où le recueil, la collecte et l’exploitation des données sont primordiaux pour toute équipe digitale, Product Manager IA et Data Analyst sont amenés à collaborer étroitement. En effet, tous deux sont responsables de deux types de données différentes : performances techniques pour le Product Manager IA (pourcentage d’hallucinations, de biais cognitifs, d’erreurs…) et données utilisateurs pour la Data Analyst. Leurs compétences sont aussi distinctes : bien qu’un Product Manager IA doive avoir une forte appétence technique, il n’est pas nécessaire qu’il maîtrise des technologies précises (Python, SQL…) comme c’est le cas du Data Analyst. Les deux métiers se répondent et se complètent, dans un objectif d’amélioration continue du Produit.
Un Product Manager IA est un Product Manager responsable d’un produit d’intelligence artificielle, ou d’une stratégie Produit incluant des technologies d’intelligence artificielle. Le Product Manager IA est amené à travailler avec des Data Engineers et des Data Scientists. Il doit posséder une appétence ou des connaissances techniques, afin de comprendre les tâches exercées par ces corps de métiers, mais aussi afin d’appréhender parfaitement les différents modèles d’IA et leur application potentielle, et comment les aligner avec les objectifs stratégiques de l’entreprise. En effet, un Product Manager IA peut soit directement gérer un produit d’IA, comme un Large Language Models par exemple, ou alors utiliser l’IA pour servir un produit traditionnel : la mise en place d’un algorithme de recommandations, de reconnaissance de doublons… Le Product Manager IA est donc amené à étudier la donnée, afin d’améliorer son produit. Ce point le rapproche du Data Analyst.
Un Data Analyst est responsable de l’analyse de données, provenant d’une interface web ou mobile. Il travaille main dans la main avec un ou plusieurs Product Managers, afin de définir avec eux :
- Les KPIs à suivre
- Les indicateurs de contrôle (par exemple, l’ouverture à 100% d’un produit web est conditionné à une perte de trafic n’excédant pas X%)
- La conduite d’AB tests (KPIs à suivre, définition de la stratégie d’AB test, signifiance statistique pour déterminer la durée de l’AB test, pourcentage de divisions des deux groupes, restitution des résultats)
- La mise en place du tracking avec la tracking team.
Il est aussi responsable de la visualisation de données, à travers la conception de dashboards, accessibles par le Product Manager, lui permettant d’identifier rapidement et de façon autonome les performances de son produit. Le Data Analyst peut aussi avoir un rôle de conseils auprès du Product Manager, mais il n’est pas responsable d’un Produit : in fine, c’est le Product Manager qui concevra sa roadmap Produit et décidera des améliorations à engager, en s’appuyant sur les données fournies par le data analyst.
La principale différence entre Product Manager IA et Data Analyst réside donc à la fois dans leur périmètre de compétences, mais aussi dans leur zone de responsabilités. Le Product Manager IA est responsable de la qualité de son produit auprès des utilisateurs : il doit aussi être capable de naviguer entre les exigences techniques et les attentes utilisateurs. En outre, il est garant des évolutions et de la roadmap Produit. Cependant, le Product Manager IA, tout comme le Data Analyst, doit être en mesure d’exploiter les données fournies par le modèle d’IA utilisé. Par exemple, dans le cas d’un Large Language Model (LLM), le Product Manager IA doit être capable d’étudier le pourcentage d’utilité des réponses fournies, mais aussi le pourcentage d’hallucinations, de biais cognitifs et d’erreurs. En fonction de ces critères, il pourra par exemple décider de changer modèle d’intelligence artificielle, ou changer la structuration des données dans le datalake ou la façon dont le LLM exploite ces données. Le Product Manager IA se doit donc d’être très proche de la donnée et de la technique, afin d’améliorer la pertinence de son produit auprès de ses utilisateurs.
Le Data Analyst est garant de la qualité et de la fiabilité de la donnée : il doit être capable de l’exploiter pour en extraire des KPIs et des dashboards. Son rôle est avant tout de fournir une donnée de qualité à ses intervenants, mais il n’est pas décisionnaire dans les orientations Produit. C’est là l’une des différences majeures avec le Product Manager IA. Par ailleurs, le Data Analyst doit maîtriser des outils d’analyse et de visualisation de données spécifiques, ainsi que certains langages de code, ce qui n’est pas le cas du Product Manager IA. Parmi les outils de visualisation les plus fréquemment utilisés par les Data Analyst, en voici certains :
- Tableau
- Looker
- Power BI.
Et les technologies :
- Google Analytics
- SQL ; - Python
Et les outils d’AB testing :
- Kameleoon
- AB Tasty.
Comme son nom l’indique, le Data Analyst est avant tout un « analyste » : son rôle est de fournir des analyses à des commanditaires, qui sont la plupart du temps les Product Managers, et de les conseiller dans leur prise de décisions. Contrairement au Product Manager IA, le Data Analyst est aussi garant de la bonne qualité de la donnée : pour cela, il doit travailler main dans la main avec l’équipe de tracking, afin de mettre en place un plan de tracking adéquat et de vérifier que la donnée remonte bien dans les bases de données (données web) ou valider les data pipeline avec les Data Engineers (données datalake).
Le Product Manager IA a donc besoin du Data Analyst pour prendre des décisions Produit pertinentes. En effet, si le Product Manager IA peut récupérer en autonomie ou avec l’aide de sa stack technique des KPIs sur la performance technique de son Produit d’intelligence artificielle, il lui faut en revanche s’appuyer sur le Data Analyst pour connaître l’utilisation de son produit auprès de ses utilisateurs. Par exemple, un Product Manager chez ChatGPT pourra faire des tests réguliers sur son produit, sur le pourcentage d’hallucinations, de biais cognitifs, de questions ayant donné lieu à des réponses d’erreur, autant de pistes qui pourraient le conduire à améliorer techniquement son produit. En revanche, l’appréciation de son produit par les utilisateurs, l’évolution et la provenance du trafic, le type de questions posées par les utilisateurs sont des éléments apportés par le Data Analyst. Ainsi, le Data Analyst ne s’occupe pas de la performance technique du produit en tant que telle, mais plus d’extraire des KPIs pour le Product Manager lui permettant d’évaluer l’appréciation de son produit auprès de ses utilisateurs, et lui donnant des pistes d’améliorations pour trouver de nouveaux utilisateurs ou augmenter la conversion.
Il est ainsi primordial que Data Analyst et Product Manager AI travaillent main dans la main, à travers par exemple la tenue de réunions hebdomadaires, permettant de faire le point sur l’évolution des KPIs. Par ailleurs, le Product Manager AI peut solliciter le Data Analyst afin de travailler à l’élaboration d’un AB test, ou encore le prévenir lors d’un changement Produit majeur, afin de surveiller certains KPIs pour s’assurer que cette évolution n’impacte pas négativement le Produit auprès des utilisateurs.
Product Manager IA et Data Analyst sont deux métiers distincts mais complémentaires : le Product Manager IA est responsable de la bonne évolution de son Produit, doit définir une roadmap, piloter les équipes de Data Scientists, Data Engineers et développeurs back et front. Il peut aussi mener à bien des évolutions, en se fondant sur des indicateurs techniques, en lien avec son produit d’intelligence artificielle. Cependant, il doit s’appuyer sur le Data Analyst pour connaître l’appréciation et l’utilisation de son produit auprès de sa cible. Le Data Analyst pourra ainsi lui fournir :
- La qualification de son audience
- Les sources du trafic
- Les appréciations des utilisateurs
- La performance du tunnel de conversion
- Les call-to-actions les plus utilisés.
Le Data Analyst pourra aussi le conseiller sur des améliorations Produit potentielles, ou mener à bien des analyses précises (A/B tests, études d’un segment d’utilisateurs…), mais il n’interviendra pas dans les évolutions Produit, qui resteront à la main du Product Manager IA selected.
