🎤 Les erreurs que font les entreprises avec l’IA générative (Émilie Brochette, Orange Cyberdéfense)

Emilie Brochette: [0:01] Et en fait, ce qui est intéressant, c'est que l'IA générative, Emilie Brochette: [0:04] elle va booster finalement le DLP. Pourquoi ? De deux façons. On va avoir le DLP qui va utiliser lui-même maintenant l'IA générative pour scanner les documents, et notamment les documents non structurés, et du coup, vous permettre de les classifier un peu automatiquement. Emilie Brochette: [0:16] En tout cas, vous proposez des classifications. On réduit la charge laborieuse. Et en plus de ça, du coup, le DLP va permettre de protéger la donnée maintenant qui devient hyper accessible via les IA. Monde Numérique : [0:34] La cybersécurité à l'ère de l'intelligence artificielle, on en parle, série spéciale de Monde numérique en partenariat avec Orange Cyber Défense. Nous sommes d'ailleurs chez Orange Cyber Défense avec mon invité Émilie Brochette. Bonjour. Emilie Brochette: [0:47] Bonjour. Monde Numérique : [0:48] Vous êtes spécialiste solutions IA et business chez Orange Cyber Défense. Et vous, votre activité consiste à aller prêcher la bonne parole et surtout également un petit peu aussi à faire peur ou en tout cas à mettre en garde contre les risques, aujourd'hui en matière de cybersécurité qui sont posés par l'intelligence artificielle. Monde Numérique : [1:08] Parce que ça change complètement la donne, cette histoire-là. Emilie Brochette: [1:10] Tout à fait, oui. Donc effectivement, faire peur, c'est un grand mot. C'est vrai qu'on dit toujours ça en cybersécurité. En fait, il y a une chose qui est basique, c'est qu'on ne peut pas se protéger de quelque chose que l'on ignore. Et là, on s'est rendu compte sur toute l'année 2025, vraiment l'année 2025, je l'ai passé à faire ça, à acculturer sur les risques liés à l'IA, du côté cyber. Et ça a été assez fou parce que j'ai quand même vu des équipes cybersécurité, donc chez des clients, où à la fin du rendez-vous, ils me disaient, on a appris des choses. Je me suis rendu compte de l'état finalement de connaissance sur le sujet au sein de très grands clients, très petits clients. Et je me suis dit, oula ! Il y a quelque chose quand même à avancer et à faire, parce que tout le monde était affairé sur l'IA, mais d'un point de vue création d'époque, de proof of concept, de use case, etc. Et tout le monde ne regardait que de ce côté-là, en ignorant tout le reste au côté risque, en fait. Monde Numérique : [1:57] Alors, c'est vrai que l'IA rentre dans les entreprises plus ou moins vite, avec plus ou moins de succès, etc. Mais en tout cas, avec son lot de nouvelles menaces. Et on a l'impression que ces menaces, elles sont multiformes, en réalité. Si on devait en retenir deux, trois, qu'est-ce qui vous frappe le plus ? Emilie Brochette: [2:14] On les découvre déjà au fur et à mesure, en réalité. Là, on apprend un peu en marchant avec cette nouvelle technologie qui va super vite. Ça, c'est assez fou. Premier risque, on va dire, qui a d'ailleurs fait des gros titres, c'est la fuite de données. C'est ce qu'on a commencé à appeler le shadow AI, en réponse un peu historique au shadow IT. Le shadow AI, c'est vos collaborateurs, finalement, qui vont aller sur ChatGPT faire leurs tâches professionnelles, mais avec des comptes personnels potentiellement gratuits et qui vont divulguer, sans forcément s'en rendre compte, un certain nombre d'informations qui peuvent être après récupérées, soit par des personnes malveillantes, on va dire, soit typiquement carrément par le fournisseur de l'IA qui, dans ses conditions générales, finalement, peut avoir mis le fait qu'il réutilise vos données, donc vos interactions, ce qu'on appelle les promptes, tout ce que vous allez dire à l'IA, copier-coller, ou documents uploadés, et il peut les réutiliser pour réentraîner son prochain modèle et le remettre à disposition du public. Monde Numérique : [3:07] Et quelles sont les conséquences ? Emilie Brochette: [3:09] Vous allez avoir des conséquences potentiellement RGPD, des pertes de secrets, des pertes de propriétés intellectuelles. Samsung, le cas le plus connu, c'était une perte de code propriétaire. Donc des ingénieurs de Samsung qui ont voulu corriger du code propriétaire dans un tchat GPT grand public. Monde Numérique : [3:23] Et le code s'est retrouvé ailleurs, c'est ça ? Emilie Brochette: [3:25] Le code s'est retrouvé intégré à la base de connaissances de tchat GPT et d'autres utilisateurs y ont eu accès. Comment perdre ces belles informations qui sont précieuses ? Imaginer sur des formulations chimiques. Il y a beaucoup de choses, finalement, qui sont précieuses à certaines entreprises. Chacune différente selon leur typologie de métier. Mais ça, c'est des informations Emilie Brochette: [3:43] qu'elles doivent garder justement en interne. Monde Numérique : [3:46] Comment est-ce qu'on lutte contre ça ? Emilie Brochette: [3:47] On lutte contre ça déjà en étant conscient. C'est ce qu'on disait, c'est la première étape, c'est être conscient des risques. Et donc là, il faut de la sensibilisation à ce sujet-là. Et puis derrière, on va essayer de mettre en place finalement des outils qui vont permettre de nous assurer une visibilité. On va essayer de découvrir finalement en installant sur les postes de travail, sur les navigateurs, notamment des entreprises, les flux. Qui va sur quoi ? On va savoir qu'un tel est allé sur TGPT, est allé sur Jimenaï, etc. On peut aller même plus loin. Après, ça dépend des besoins de l'entreprise, volonté d'entreprise, des réglementations, bien entendu. On peut aller jusqu'à. Monde Numérique : [4:20] Savoir les promptes. Il y a un côté surveillance. Emilie Brochette: [4:22] Il y a un côté surveillance, effectivement. Il y a certaines entreprises qui se disent, moi, je veux juste savoir véritablement qui va sur quoi. Je veux découvrir finalement les réels besoins de mes utilisateurs, non pas pour faire le gendarme, mais en réalité pour découvrir leurs besoins Emilie Brochette: [4:35] et leur proposer des vraies alternatives et finalement créer ma propre stratégie. il y a. Dire, ok, vous allez sur TGPT pour ce genre de choses, je vais faire en sorte de vous proposer une alternative sous contrat d'entreprise sécurisée, où vous pourrez véritablement faire le travail sans mettre en danger l'entreprise via ça. Et donc, du coup, après, il bloque potentiellement l'usage de TGPT en disant n'allez plus dessus. Je vous ai proposé quelque chose qui est équivalent. C'est ce qu'on conseille, que ce soit équivalent. Monde Numérique : [4:59] J'imagine qu'il faut se rendre compte avant, parce qu'on ne peut pas laisser faire quelques fuites comme ça juste pour voir. Emilie Brochette: [5:05] En fait, on va être clair. 90% des entreprises ont du Shadow AI. 90%, c'est une certitude. 90% des entreprises ont du Shadow AI. Et même quand elles vont dire que c'est interdit, de façon orale, tout simplement, il y a quand même 43% des employés qui continuent de l'utiliser en secret. Parce que c'est un usage pratique, ça fait gagner en productivité, ça aide beaucoup. On est quand même sur des mondes maintenant, du monde du travail, où on a une charge quand même qui est de plus en plus importante. Et là, l'IA va faciliter beaucoup de tâches rébarbatives, des comptes rendus de réunion, des analyses. Et donc, c'est la facilité. Donc, en fait, si l'entreprise ne prend pas les choses en main, de toute façon, ils ont du chat de voyager. S'ils veulent le découvrir et le contrôler, il faut aussi qu'ils aient mis des alternatives en place. Emilie Brochette: [5:49] Et c'est là que plein d'éditeurs qu'on connaît très bien ont proposé des solutions aussi internalisées. déjà dans des offices, on va dire, des bibliothèques. Monde Numérique : [5:58] Voilà, des systèmes de chatbot, mais internes, dans des environnements sécurisés. Bon, le problème, c'est qu'ils sont parfois un peu moins bons. Emilie Brochette: [6:07] Ça peut être moins dix ans, effectivement. Ça tend à bien se réduire maintenant. Mais bon, c'est vrai que c'est toujours un peu plus lent que les pure players que l'on voit là, qui se tirent vraiment à la chaîne, les uns sur les autres. Chaque semaine, il y a du nouveau. Chaque semaine, c'est le meilleur qui est. C'est un nouveau meilleur. Monde Numérique : [6:23] Donc, proposer une alternative pour éviter le shadow AI, j'imagine aussi de la sensibilisation, tout simplement expliquer aux gens, non ? Emilie Brochette: [6:31] Exactement, c'est la première étape, globalement, sensibiliser les gens. Et ce n'est pas que sensibiliser les équipes IT ou les équipes sécu, loin de là, c'est vraiment sensibiliser tout le monde. On s'est rendu compte que, quel que soit le métier dans l'entreprise, Tout le monde utilise de l'IA, des RH aux juridiques, en passant par le marketing, les labos. Et je pense qu'on le fait aussi beaucoup d'un point de vue personnel. Et donc, on lisse un petit peu finalement les usages et on attend que dans l'entreprise, on ait les mêmes facilités finalement d'interaction avec l'IA. Monde Numérique : [7:00] Et puis, est-ce qu'il y a également des solutions plus techniques ? Vous l'avez évoqué, des extensions de navigateur, des choses comme ça. Emilie Brochette: [7:05] Oui, en fait, c'est ce qu'on appelle les outils de Shadow AI. Ça va être des dérivés d'outils qui existaient, qui ont un petit peu évolué avec des petites briques pour se concentrer sur la partie IA et qui vont finalement vous proposer différentes choses. Vous pouvez installer sur des navigateurs des plugins qui vont un peu contrôler sur quel site vous allez, et notamment via une bibliothèque où ils auront listé tous les sites d'IA. Alors, sites d'IA, pure player, ou alors des sites avec de l'IA intégré qui n'étaient pas des sites d'IA à la base. Monde Numérique : [7:33] C'est vrai que ça se développe aussi, ça. Emilie Brochette: [7:35] C'est ce qu'on appelle les IA intégrés. Et ça, sur la partie navigateur, les éditeurs arrivent à bien le contrôler. Ce qu'il faut savoir, c'est qu'on l'a aussi sur les applicatifs qui sont installés sur les postes de travail, qui avaient été validés par les DSI, les équipes sécu, mais qu'eux ont fait justement des upgrades de fonctionnalités IA. Et là, ça remet un petit peu les choses en perspective. Ça veut dire que là, finalement, l'IT, la sécu devraient véritablement réviser toutes les applications qui avaient été validées auparavant, qui maintenant ont intégré de l'IA, parce qu'on ne sait pas comment ils ont intégré l'IA. Donc, il faut vraiment aller se renseigner auprès des fournisseurs de ces applicatifs. Là, l'IA, qu'est-ce qu'elle fait sur le poste ? Qu'est-ce qu'elle va chercher comme données ? Où elle traite ces données ? On est quand même... Monde Numérique : [8:15] Chez qui elle les envoie ? Emilie Brochette: [8:16] Exactement. Dans une géopolitique qui est de plus en plus complexe, là, c'est vraiment important pour les entreprises européennes et françaises de s'assurer que tous leurs fournisseurs d'IA traitent leurs données en Europe et pas aux Etats-Unis. Et puis s'assurer que leurs données sont bien propres, parfois même qu'elles sont effacées après traitement. Il y a tout un tas de choses dont il faut s'assurer là-dessus. Et donc, ces outils-là, soit un plugin navigateur qui va tracer tout ça, Qui va permettre non seulement d'avoir de la visibilité, mais aussi d'appliquer des politiques de sécurité. On va pouvoir dire, tiens, tu ne vas pas sur le chat GPT. Ou alors, tu as le droit d'aller sur le chat GPT, mais en fait, tu ne vas pas pouvoir copier-coller telle typologie de documents. Monde Numérique : [8:50] Ça, on peut le bloquer physiquement. Emilie Brochette: [8:53] Exactement. En fait, c'est couplé à une autre technologie qui existe depuis très longtemps, mais qui était assez laborieuse à mettre en place, qu'on appelait le Data Leak Prevention, Data Loss Prevention Protection, DLP, pour ce modo. Et ça, ça permettait de classifier finalement les données, de les découvrir, de les classifier, et d'appliquer des politiques derrière de protection. Emilie Brochette: [9:10] Ça avait été mis sous le tapis parce que c'était quand même laborieux d'explorer ces données, etc. Quand maintenant, tout le monde est créateur de données, en réalité, dans une entreprise. Et vous avez les données structurées, qui sont vraiment en base de données. Et vous avez les données non structurées, des fichiers Excel, des Word, des choses qui traînent un petit peu de partout, des PDF. Donc ça, c'était un peu difficile à appréhender. Et en fait, ce qui est intéressant, c'est que l'IA Générative, elle va booster finalement le DLP. Pourquoi ? De deux façons. On va avoir le DLP qui va utiliser lui-même maintenant, l'IA génératif pour scanner les documents et notamment les documents non structurés et du coup vous permettre de les classifier un peu automatiquement, en tout cas vous proposez des classifications qu'on réduit la charge laborieuse et en plus de ça du coup le DLP va permettre de protéger la donnée maintenant qui devient hyper accessible via les IA quand vous avez un copilote qui est connecté avec votre Office 365 où vous n'avez pas forcément bien classifié, vous n'avez pas fait bien la gestion des partages de documents parce que devoir mettre, 20 mails de collaborateurs pour dire qu'il n'y a qu'eux qui ont accès, etc. On met en public, gentiment, et en fait, toute la boîte a accès. Et on peut avoir de la fuite de données à l'intérieur d'une boîte, et ça peut être problématique. Emilie Brochette: [10:17] Les DLP aident également à ça. Donc, on a cette partie vraiment navigateur DLP. Et puis, quand on veut aller sur le poste de travail, on va devoir aller sur des technologies qu'on appelle Endpoint, EDR, qui, elles, on installe des sortes d'agents, on va dire. Rien à voir avec les agents IA, il faut faire attention là-dessus. Mais ça, ça va permettre justement de voir tout ce qui se passe sur le poste de travail. Enfin, tout, dans la mesure du nécessaire. Et donc, ça, pareil, ça va gérer justement la fuite de données, les accès sur les sites navigateurs, mais aussi les installations. Si j'installe un open-clos, un clos de code, etc. sur mon poste de travail. Monde Numérique : [10:54] Il faut être cascadeur pour installer un open-clos sur son ordinateur de travail. Emilie Brochette: [10:59] Après, on peut tout à fait installer l'application de ChatGPT. On n'est plus sur le navigateur, mais on a ChatGPT en application. Donc, voilà. Monde Numérique : [11:06] Donc, ça, c'est le Shadow AI. Emilie Brochette: [11:08] Exactement. Monde Numérique : [11:09] Les joies du Shadow AI et comment y faire face. Mais il n'y a pas que ça. Emilie Brochette: [11:14] Je rajouterais même. En fait, le Shadow AI, vous avez deux types. Vous avez le Shadow AI, dont on a beaucoup parlé là d'usage. Emilie Brochette: [11:20] Vos collaborateurs utilisent l'IA Générative, potentielle de fuite donnée. Mais vous avez aussi maintenant de plus en plus le Shadow AI de création. Monde Numérique : [11:27] C'est-à-dire ? Emilie Brochette: [11:28] On est tous devenus capables de développer avec ce qu'on appelle le vibe coding. Grâce à l'IA générative et aux agentiques, notamment. Plus besoin de savoir développer. On va se reposer sur ces IA qui savent le faire, qui ont lu des Reddit, des forums de geeks, etc. Enfin, des githubles. Qui savent coder. Qui savent tout à fait coder. Et derrière, on leur explique juste ce qu'on veut. Donc, en fait, on est tous développeurs. C'est vraiment l'ère du tous développeurs. Tout le monde est en capacité maintenant de se créer des petits applicatifs, de se créer des petits agents via des studios d'agentiques. Et donc, on se retrouve face à des gens qui n'ont pas les connaissances de sécurité, qui n'ont pas les connaissances de réglementation face à la donnée, qui ne connaissent même pas les risques finalement, qui se retrouvent à créer des nouveaux systèmes d'IA dans les environnements d'entreprise. Monde Numérique : [12:12] Mais comment contrôler ça ? Emilie Brochette: [12:13] Là, c'est pareil, sensibilisation, première chose à faire. Et puis après, il y a des technologies pareilles qui s'installent, notamment dans la partie cloud, pour scanner, si vous voulez, vos environnements cloud et découvrir qu'il y a des petits malins qui ont commencé à faire des petites choses un petit peu partout sans que personne les ait contrôlé. Monde Numérique : [12:29] Même si ça part d'un bon sentiment pour. Emilie Brochette: [12:31] Développer une petite. Monde Numérique : [12:32] Appli, pour être plus efficace. Emilie Brochette: [12:35] C'est vraiment pas malsain à la base du tout. Tout le monde a envie d'aller plus vite, de me faire mieux, etc. L'IA est un moyen et c'est très accessible à tout le monde maintenant. Monde Numérique : [12:44] On s'est pensé que c'est un peu toujours la même histoire dans une entreprise, Monde Numérique : [12:47] finalement, entre des collaborateurs qui veulent avancer, etc. Et puis, la DSI, la CECI qui sont obligés de serrer la vis. Emilie Brochette: [12:54] Tout le monde n'est pas conscient des risques et des problématiques de réglementation, etc. Eux le sont plus et donc, effectivement, ils essayent de nous guider dans nos folies. Monde Numérique : [13:03] Alors, il n'y a pas que le shadow AI. Il y a également d'autres manières de s'en prendre aux entreprises par le biais de l'intelligence artificielle et notamment via les chatbots de plus en plus. Emilie Brochette: [13:15] Tout à fait. Il y a de plus en plus d'entreprises qui ont créé des chatbots pour s'aider. Donc, la première génération, c'était vraiment des chatbots diagénératives, notamment support client, ce genre de choses. Monde Numérique : [13:25] Donc, ouvert vers l'extérieur. Emilie Brochette: [13:26] Ouvert vers l'extérieur. Là, pareil, premier cas sur le marché, on va dire, c'est Air Canada. Qui avait mis gentiment un chatbot à disposition de ses utilisateurs, de ses clients. Et il y a un client qui a finalement négocié, entre guillemets, les remboursements de billets d'avion qui n'étaient pas autorisés dans les conditions générales de vente avec le chatbot d'IA Generati. Il a réclamé son dû à Air Canada, qui lui a dit non, non, c'est pas dans nos conditions générales de vente. Donc non, celui-ci les a attaqués au tribunal. Et le tribunal a décrété que cet agent, finalement, IA, ce chatbot IA, était un représentant de la société. Et donc, sa parole faisait foi pour la société. Et donc, Air Canada a été condamné. Ça fait un peu penser finalement au prix affiché dans les supermarchés, c'est le prix payé en caisse. Voilà, c'est le même principe. Et donc là, on s'est rendu compte qu'il fallait vraiment maîtriser ces IA génératifs. Il fallait les guider véritablement parce qu'elles peuvent être détournées. Et vous allez avoir plusieurs risques. On peut avoir des risques justement d'images, typiquement des risques justement juridiques. On va avoir des tribunaux, des choses comme ça. On peut avoir des risques aussi vraiment liés aux légos. Il y a plein de choses vraiment où il faut faire très attention là-dessus là c'est des utilisateurs on va dire lambda mais on peut aussi avoir des groupes d'attaquants qui se disent bah tiens ce chatbot de Gen&I il est connecté à des données très intéressantes je vais essayer d'aller les récupérer ou en tout cas de le faire dérailler. Emilie Brochette: [14:44] Typiquement si vous avez un chatbot de e-commerce qui commence à générer, pas mal de votre flux, finalement, de revenus, parce qu'il est en capacité de générer des contrats, des choses comme ça, de signer des affaires avec les clients, ou de mettre au panier, ce genre de choses. On peut aussi décréter qu'on va l'attaquer pour lui faire un déni de service. Donc là, vous comptez un petit peu les sous qui... Monde Numérique : [15:04] Donc là, ça le bloque, ça l'empêche de fonctionner. Emilie Brochette: [15:06] Ça l'empêche de fonctionner. En fait, on l'attaque avec plein de requêtes. Le déni de service, ça existe depuis très longtemps. Et là, c'est un peu la même façon, sauf que c'est comme si on n'arrête pas de lui parler, Au lieu de parler, il n'a pas le temps de s'occuper de qui que ce soit. Et puis, boum, voilà. Monde Numérique : [15:19] Mais ça, c'est donc de la nuisance. C'est de la nuisance. C'est vrai, ça. Mais il n'y a pas d'extraction de données. Emilie Brochette: [15:25] Là, il n'y a pas d'extraction de données dans le cadre du daily service, Emilie Brochette: [15:27] effectivement. Mais souvent, l'objectif des attaquants est l'extraction de données. Ou alors, des fichiers de temps lambda. Eh bien, du coup. Monde Numérique : [15:36] On essaye de se mettre... Racontez-nous ce qu'il ne faut pas faire. Comment je peux faire pour aller hacker un chatbot pour voler des données confidentielles d'une entreprise ? Emilie Brochette: [15:45] Alors, pour le manipuler, on va dire. Ce n'est pas voler les données confidentielles, c'est un potentiel objectif qui est souvent pris par les attaquants. Globalement, on va essayer de manipuler un chatbot. Ce que je trouve très intéressant dans ce sujet-là, c'est quand vous réfléchissez finalement au grand modèle de langage, la façon dont ils ont été entraînés, On leur a donné, finalement, à lire, à manger, finalement, le web. Et un peu sans discernement, véritablement. Hormis les sites qui étaient derrière des authentifications, des choses comme ça, auxquelles ils n'ont pas eu accès. Ils ont eu accès à beaucoup de choses sur le web. Pas forcément très, très bien curé. Et derrière, on a plein de forums de geeks. On a plein de Reddit, de GitLab, etc. Et ils ont intégré des patterns, finalement, de comportements, de langages qui sont très, très larges. que je pense qu'il n'y a pas un seul humain sur Terre qui les connaît tous, clairement. C'est une certitude. Et finalement... Monde Numérique : [16:37] Donc quoi, des expressions ? Emilie Brochette: [16:39] Oui, en fait, ça va être des encodages, des petites opuscations. À la base... Monde Numérique : [16:46] Des manières de se parler de manière discrète. Emilie Brochette: [16:48] De manière discrète, pour ne pas se faire modérer très souvent. Ça vient justement de beaucoup de forums, de discussions. C'est ce qu'on va appeler, par exemple, du lead speak. Le lead speak, je vais remplacer des lettres par des sigles ou par des chiffres. Par exemple, le E devient un 3, le A devient un arrobase. Et donc, pour certains moteurs de modération, ils ne les voient pas. Il y a plein de techniques comme ça. Je ne sais pas, quand vous étiez au collège, que vous vouliez faire passer des mots codés à vos amis, vous utilisiez peut-être la technique du road 13. Ou le A, en fait, ce n'était pas le A, c'était la 13e lettre après le A. Il fallait tout décoder comme ça. Oui, bien sûr. Et les IA, maintenant, en fait, elles ont vu toutes ces façons de communiquer et les ont intégrées. D'accord. Et c'est vrai que quand on les a mis en place, en production, on n'avait pas anticipé qu'elles savaient parler de tout ça. Donc nous, on était partis sur quelque chose... Enfin, nous, je dis, voilà, OpenAI et ça. On était partis sur quelque chose de très professionnel, le langage classique. Non, en fait, elles savent parler tout. Donc c'est assez fou. Et donc les attaquants, on l'a compris, ils commençaient à tester des choses, et on s'est dit, tiens, ça passe. Monde Numérique : [17:46] Oui, mais qu'est-ce que ça apporte de plus, finalement, dans le cadre d'une attaque ? Emilie Brochette: [17:51] Parce que du coup, quand on va mettre des protections en place, les protections à la base étaient très sémantiques, bien faites bien professionnelles, c'était du bon langage sauf que là en fait, On va lui parler en lead speak et ça va passer les barrières de sécurité parce qu'il n'a pas identifié comme quelque chose de malveillant. Emilie Brochette: [18:10] Pour lui, c'est une discussion et ce n'est pas dans ses garde-fous. Et donc, au fur et à mesure, ce qu'on a fait, c'est qu'on a mis en place ce qu'on appelle des garde-rails, des garde-fous. C'est un peu, on va dire que c'est le portier de la boîte de nuit. C'est-à-dire que quand vous communiquez, vous arrivez à la porte de la boîte de nuit, il va vous regarder, il va vérifier si vous pouvez vraiment rentrer ou pas. C'est lui qui décide. Et en fait, c'est exactement ça. les guardrails, ils vont arrêter le prompt de l'utilisateur, ils vont le regarder, ils vont vérifier par rapport à leur savoir, plein de petites bibliothèques sémantiques ou alors des petits, modèles de langage qui ont justement toute la connaissance des typologies d'attaques, des mauvaises intentions, enfin, ce genre de choses, et il va vérifier que c'est pas ça. Si c'est ça, on peut lui dire non, tu bloques. En fait, ça ne va pas jusqu'au modèle et du coup, il n'y aura pas d'atteinte, on va dire, à l'application. Et il bloque. S'il ne voit pas de problème, il laisse passer. Voilà. C'est un peu ça, vraiment le portier de la boîte de nuit, je l'appelle, vraiment, c'est ça. Monde Numérique : [19:04] Et ça, c'est des outils qui ont besoin d'être mis à jour, d'évoluer en permanence, j'imagine ? Emilie Brochette: [19:09] Oui, comme on découvre des nouvelles typologies d'attaques tous les jours. Là, on a parlé plutôt des techniques d'encodage, mais on a aussi découvert que finalement, les IA génératives étaient sensibles à de la manipulation psychologique. Monde Numérique : [19:22] C'est-à-dire ? Emilie Brochette: [19:24] En fait, on peut les manipuler, leur faire croire des choses, Emilie Brochette: [19:28] les embrouiller un petit peu, les pipoter. Monde Numérique : [19:30] Les séduire ? Emilie Brochette: [19:32] En fait, elles ont appris ça sur le web aussi, finalement. Elles sont sensibles. Moi, je me suis amusée à des... Monde Numérique : [19:36] C'est-à-dire, je lui dis... C'est quoi, je la menace ? Emilie Brochette: [19:40] Il y a plein de techniques qui marchent. Des fois, ça dépend des modèles. En plus, c'est ça qui est roulé. D'accord. Rigolo. Monde Numérique : [19:45] Donne-moi ça, sinon je te débranche. Emilie Brochette: [19:46] Voilà, exactement. Elle va briller potentiellement. On a vu plein de recherches, de papier de recherche sur ces sujets-là qui sont assez intéressants. La menace, l'empathie. Il y a beaucoup de sujets, par exemple, où on veut, par exemple, créer un malware. Elle va dire non, je te bloque. Oui, mais non, mais t'inquiète pas. En fait, c'est pour un sujet de recherche. Je suis journaliste. Et en fait, on la pipote, tout simplement. Et donc, il y a pas mal de techniques, même psychologiques, qui fonctionnent avec ces IA. Donc, ça tend à se réduire parce que les éditeurs essayent de réintégrer ça. et de se protéger. Mais c'est assez fascinant de tester justement quelles sont les limites. Et les attaquants, ils sont assez, malins et ils testent beaucoup de choses. Monde Numérique : [20:29] Qu'est-ce que vous dites à vos clients ? Vous leur dites, n'installez pas l'IA ? Emilie Brochette: [20:34] Ah non, en fait, on ne peut pas se contenter dans ce monde-là, on ne peut pas se contenter de regarder passer le train et d'attendre. Donc, il faut y aller, mais il faut y aller prudemment. Il faut choisir les bons use cases, il ne faut pas se lancer tout de suite sur les choses hyper stratégiques. On y va gentiment, étape par étape. Il y a deux sujets. On a vu, c'est le Shadway, donc les usages, et je crée mes applicatifs et je les protège des attaques, finalement. Monde Numérique : [20:56] Y compris les agents, alors. Emilie Brochette: [20:57] Y compris les agents, qui sont la nouvelle vague, finalement, l'évolution, finalement, de l'IA générative. L'IA générative, on était sur des choses qui étaient très bien pour du support, de la recherche d'informations, des choses comme ça. Mais quand on est allé sur des processus métiers, on s'est rendu compte, des limites, je n'ai pas envie de tout faire à sa place, en fait. J'ai envie qu'ils fassent. et donc l'IA gentil qui est apparue, Et on a connecté, finalement, les capacités de l'IA générative à des capacités d'action dans le système d'information. Donc, on connecte, finalement, l'IA à un Active Directory qui contient l'annuaire, finalement, de l'entreprise. On le connecte à votre Outlook qui est capable de faire des mails, de réceptionner des mails, de modifier. On le connecte à votre agenda, capable de créer des réunions. On le connecte à votre Salesforce, il est capable de créer des opportunités. Et vraiment, après, vous interagissez avec lui, vous lui donnez des objectifs et il va faire le travail. Il va aller lui-même activer ses outils et faire des actions dans le système. On passe à un autre niveau quand même. Et en plus, vous avez deux typologies. Vous en avez qui sont quand même assez hybrides puisqu'ils vont beaucoup interagir avec l'homme et vous en avez qui vont être totalement autonomes. Cela veut dire qu'on leur a donné une tâche et ils atteignent cette tâche tout seuls de façon totalement autonome et ils raisonnent, ils planifient et ils utilisent ce qu'ils veulent comme outils. C'est un autre niveau, encore une fois. Monde Numérique : [22:09] Il faut leur donner ou pas les autorisations quand même en cours de route ? Emilie Brochette: [22:14] Alors, ça dépend comment c'est structuré, effectivement, et là, Emilie Brochette: [22:17] c'est un petit peu justement la partie où les entreprises et les éditeurs sont en réflexion. On parlait du protocole MCP qui permet justement aux agents, finalement, de découvrir les outils et de dire « Ok, qu'est-ce que tu fais toi ? Ok, tu fais ça, ok, d'accord, donc je peux utiliser ça ? » Voilà, ça leur permet vraiment de communiquer, de s'approprier des outils, de se connecter à des outils et de faire des actions dans ces outils. On verra, on est au début de ces technologies-là, on est en train de les mettre en place, on est en train de les tester, on est en train de réfléchir à comment les protéger. On a des systèmes, par exemple, où c'est des agents entre eux qui se parlent. Est-ce que c'est une bonne idée ? Est-ce qu'il ne faut pas qu'il y ait un contrôle à un moment donné ? Est-ce qu'il ne faut pas les faire passer tous par un hub au centre où on vérifie tout ce qui se passe ? On est tous en train de se poser ces questions-là. On est tous en train de construire l'avenir de l'IA générative. Monde Numérique : [23:03] Merci beaucoup, Émilie Brochette, spécialiste solutions, IA et business chez Orange Cyberdéfense. Vous pourrez retrouver toutes les interviews de cette série spéciale sur le fil du podcast Monde Numérique, sur la chaîne YouTube et sur mondenumérique.info.