[Case Study] Microsoft Copilot : la promesse d’une promesse (qui promet)

Tout au long de l’année 2023, Microsoft a multiplié les effets d’annonces sur une mise à jour majeure et imminente de leur suite d’outils M365 : Copilot. Une série de vidéos teasing s’enchaînent, laissant entrevoir un outil révolutionnaire qui s’adresse à nos désirs les plus fous de “knowledge worker”, notamment la possibilité de faire travailler une IA à notre place pour toutes les tâches de création, restitution et synthèse d’information. Mais après plusieurs faux départs, une course à l’innovation de tout l’écosystème, et un lancement généralisé qui n’a finalement pas fait beaucoup de bruit, qu’en est-il réellement de Microsoft Copilot pour la suite M365 ? Quelles sont les promesses tenues et celles qui restent lettre morte ?

Disclaimer : Je suis client M365, partenaire de Microsoft, et cofondateur de VirtualBrain (assistant IA pour les consultants). J’ai donc plein de raisons contradictoires d’être subjectif.

1. Un onboarding complexe & coûteux, et une utilisation frustrante

D’abord uniquement réservé à une liste secrète de clients, Microsoft annonce un déploiement généralisé de Copilot en Novembre 2023 mais à partir de 300 licences et en paiement annuel (donc pour un coût d’entrée supérieur à 100K€). Le secret le mieux gardé de la Sillicon Valley est finalement rendu public début Janvier 2024 avec un accès à partir d’une seule licence mais toujours en paiement annuel. C’est donc après des mois d’attente un paiement obligatoire de 400€ TTC (et quelques heures de setup/debug de notre organisation Microsoft par mon CTO) que je peux finalement démarrer mon test individuel.

Les premiers pas sont pour moi sources de confusion à de multiples égards. Voici les 3 éléments que j’aurais aimé avoir en tête avant de me lancer dans mes tests :

• Copilot est à la fois une application à part entière (ex-”Bing Entreprise”) et une fonctionnalité à l’intérieur de chaque application. Ses capacités changent d’une version à l’autre ce qui rend l’onboarding plus difficile que prévu sans tutoriel/formation. Je conseille donc vivement, voire impérativement, de consulter les modules d’e-learning fournis par Microsoft afin de tirer le maximum de l’outil.
• Copilot est instable, rendant la discovery des fonctionnalités complexe. Il est difficile de savoir si les problèmes rencontrés viennent de vos prompts, de Copilot, ou des fonctionnalités disponibles de Copilot. C’est un phénomène commun dans les produits GenAI, en tant qu’utilisateur j’ai souvent du mal à cerner le périmètre des compétences de l’IA car ses capacités linguistiques laissent présager (à tort) que l’IA peut tout faire.
• Copilot n’est pas encore au point pour la recherche et l’analyse de corpus de documents. Les documents mettent du temps à être “indexés” et donc ne sont pas immédiatement disponibles à la recherche/analyse (les PDFs ne sont d’ailleurs pas du tout pris en charge). En revanche la recherche et l’analyse à l’intérieur d’un document individuel semblent très efficaces.

Du point de vue d’un Product Manager, je vois 2 problèmes fondamentaux à ce stade :

• Effet d’ancrage négatif : je n’arrive pas à me détacher des promesses marketing et toute mon expérience est gâchée par un effet “instagram vs. reality”. Cette tendance à la surenchère dans les produits d’IA devient néfaste pour l’écosystème car elle crée des attentes irréalistes côté utilisateur et rend anecdotiques de vraies prouesses techniques (et il faut le dire, déployer Copilot en un an est une véritable prouesse technique de la part de Microsoft).
• Absence de Jobs-to-be-done : j’ai rapidement un sentiment de gadget car les tâches que je souhaite accomplir ne sont pas faisables (ex : créer un PPT à partir de la trame d’une présentation existante) et que les fonctionnalités parfaitement gérées par l’outil ne font pas du tout partie de mes cas d’usages (ex : créer une présentation à partir de zéro, qui fait ça ?). J’ai donc cette impression que Copilot est un ensemble de fonctionnalités qui cherchent des problèmes à résoudre, une approche par la technologie plutôt que par le besoin de l’utilisateur.

Maintenant que les règles du jeu sont posées, on va pouvoir explorer plus en détail les fonctionnalités de Copilot.

2. Une mise à jour de la suite 365 à fort potentiel mais encore expérimentale

Une fois la phase de deuil de la promesse marketing écoulée, on commence rapidement à accepter et apprécier Copilot pour ce qu’il est, et à présager un fort potentiel pour le futur :

• Le mariage parfait de ChatGPT et la suite office pour la rédaction de texte. Plus jamais d’effet page blanche. J’ai pu obtenir, en une seule requête, 10 pages très bien rédigées de SLA pour ma société. J’ai également pu générer une belle présentation des fleurs à planter au printemps dans le sud de la France (photos et animation vidéo inclues). C’est vraiment hyper bluffant, bien qu’à mon sens rarement utile.

• Le retour de Clippy, mais cette fois il est pertinent. Copilot embarqué dans Excel, Powerpoint et Word fait aujourd’hui office d’un excellent chatbot d’aide à l’utilisation de la suite office. Il est encore loin d’effectuer les actions à votre place mais il saura vous indiquer comment les faire. Il peut aussi résumer, reformuler et extraire de l’information dans le document. Mais j’insiste, c’est la réincarnation de Clippy, on est encore très loin de Jarvis. On travaille document par document, le traitement des requêtes est long, et on sent un début de comportement “agent IA” qui peut effectuer plusieurs tâches à la suite, mais vous passerez plus de temps à corriger les slides générés qu’à les rédiger vous-mêmes.

• L’application Copilot (ex-Bing Entreprise) laisse présager un point d’entrée unique. On sent avec leur application dédiée Copilot que Microsoft mise sur un futur où toute tâche commence par une question posée à un assistant d’IA. L’interface rappelle l’approche “No-Code” de Notion avec la possibilité de tag un document ou une personne spécifique en tapant “/”.

3. Pour des tâches spécifiques, des alternatives plus efficaces sont à considérer

Le challenge pour Microsoft c’est d’avoir sorti en moins d’un an un outil qui puisse répondre à une multitude de cas d’usages tout en intégrant la GenAI à leur suite d’outils déjà très complexe. Mais ils l’ont fait, c’est loin d’être parfait mais c’est un excellent début et Microsoft confirme sa position de pionnier sur ces sujets.

L’autre difficulté pour Microsoft c’est la vitesse à laquelle l’écosystème avance, et de nombreux acteurs n’ont pas attendu Copilot pour déployer des produits beaucoup plus performants sur des cas d’usages spécifiques. Et avec une technologie aussi jeune, miser sur des produits spécialisés permet réellement de déployer toute la puissance de la GenAI :

• Pour l’enregistrement des Meetings et la génération de transcripts de qualité, je conseille plutôt de regarder du côté de TL;DV, Notta ou Fireflies. Les transcripts sont de meilleure qualité et des fonctionnalités dédiées de recherche, filtre et clipping permettent vraiment de réutiliser la matière de vos conversations.
• Pour la génération de slides, j’ai entendu beaucoup de bien de Gamma, Beautiful AI ou Slides AI. Rien ne vous empêche de faire une première génération de qualité supérieure avec ces outils pour ensuite reprendre la main sur Powerpoint.
• Pour la partie “Helpdesk” de recherche interne sur le suivi des projets ou les questions RH, on pourra plutôt se diriger vers Siit ou Klartai qui offrent des solutions dédiées sur ces sujets et qui s’intègrent à vos Slack/Teams
• Pour le travail un peu plus “deep” d’analyse de corpus de documents (audit, due diligence, onboarding, réponse à des appels d’offres, consolidation d’interviews, etc.) vous pouvez opter pour VirtualBrain (self-promo, ndlr) qui a été construit autour de ces cas d’usages. Et pour ceux qui veulent aller jusqu’à automatiser des tâches complexes on pourra regarder vers Dust ou Twin.

Pour conclure, ma recommandation aux entreprises est la suivante : ne sacrifiez pas l’ensemble de votre budget de POC/Expérimentations GenAI à équiper 100% des employés avec Copilot car l’outil est jeune, généraliste, et moins performant que des alternatives moins chères, sans engagement et spécialisées pour VOS cas d’usages.

En revanche, prenez quelques licences Copilot et commencez dès maintenant à expérimenter sur une population test afin de vous familiariser avec la technologie, faire émerger des cas d’usages, et de mesurer l’impact progressif de l’intégration de la GenAI dans votre travail au quotidien. Profitez-en pour équiper d’autres groupes tests au sein de votre entreprise avec des solutions spécialisées afin de participer pleinement à la révolution.

Nombreuses entreprises avec qui j’échange ont la “FOMO” de Microsoft Copilot qui excelle en communication (leur dernière publicité Super Bowl me donne des frissons). Mais ne manquez pas de découvrir de formidables startups/scaleups qui gardent un temps d’avance sur le géant de par leur agilité et spécialisation !

‍