Red Hat lance Red Hat AI 3

À mesure qu’elles dépassent le cap de l’expérimentation de l’IA, les entreprises sont confrontées à des obstacles importants, parmi lesquels la confidentialité des données, le contrôle des coûts et la gestion de modèles diversifiés. L’étude The GenAI Divide : State of AI in Business réalisée dans le cadre du projet NANDA du Massachusetts Institute of Technology met en évidence la réalité de l’IA en production, soulignant qu’environ 95 % des entreprises ne parviennent pas à générer un retour financier mesurable sur les quelques 40 milliards de dollars dépensés.

Red Hat AI 3 a pour objectif de relever directement ces défis en offrant une expérience plus cohérente et unifiée aux DSI et aux responsables IT, afin de maximiser leurs investissements dans les technologies informatiques accélérées. Elle permet de monter en échelle et de répartir rapidement les charges de travail d’IA dans les environnements hybrides et multi fournisseurs tout en améliorant la collaboration entre les équipes sur des charges d’IA de nouvelle génération, comme les agents — et ce, sur une seule et même plateforme commune. Reposant sur des standards ouverts, la solution Red Hat AI 3 accompagne les entreprises au fil de leur parcours vers l’IA en prenant en charge tous types de modèles sur tous types d’accélérateurs matériels, des centres de données aux environnements de cloud publics en passant par l’IA souveraine et la périphérie de réseau la plus éloignée.

De la formation à l’exécution : évoluer vers l’inférence d’IA d’entreprise

À mesure que les entreprises déplacent leurs projets d’IA en production, leur focalisation passe des modèles de formation et de réglage à l’inférence, c’est-à-dire à la phase d’exécution de l’IA d’entreprise. Red Hat AI 3 met l’accent sur une inférence évolutive, au coût optimisé, en s’appuyant sur les projets des communautés vLLM et llm-d qui connaissent un grand succès, ainsi que sur les capacités d’optimisation des modèles de Red Hat, pour assurer le déploiement en production de grands modèles de langage (LLM).

Pour aider les DSI à tirer le meilleur parti de leur accélération matérielle à forte valeur ajoutée, Red Hat OpenShift AI 3.0 annonce la disponibilité générale de l’inférence distribuée llm-d, qui réinvente la façon dont les grands modèles de langage s’exécutent en mode natif en environnement Kubernetes. llm-d offre une inférence distribuée intelligente, en exploitant la valeur éprouvée de l’orchestration Kubernetes et les performances du grand modèle de langage virtuel vLLM, associées à des technologies open source clés telles que Kubernetes Gateway API Inference Extension, la bibliothèque de transfert de données à faible latence NVIDIA Dynamo (NIXL) et la bibliothèque de communication DeepEP Mixture of Experts (MoE), permettant ainsi aux organisations : permettant aux entreprises :

d’abaisser leurs coûts et d’améliorer leur efficacité en tirant parti d’un service désagrégé pour offrir de meilleures performances par dollar ;
de simplifier les opérations et d’optimiser la fiabilité grâce à des « well-lit paths » prescriptifs qui rationalisent le déploiement de modèles à grande échelle sur Kubernetes.
d’optimiser la flexibilité grâce à la prise en charge multiplateforme pour déployer l’inférence LLM sur différents accélérateurs matériels, notamment NVIDIA et AMD.

L’inférence distribuée llm-d s’appuie sur le grand modèle de langage virtuel vLLM, le faisant évoluer d’un moteur d’inférence à nœud unique de haute performance vers un système de service distribué, cohérent et évolutif, conçu pour conjuguer des performances prévisibles, un retour sur investissement quantifiable et une planification efficace de l’infrastructure. Ces améliorations permettent de relever directement les défis liés à la gestion de charges de travail LLM très variables et à la prise en charge de modèles massifs tels que les modèles Mixture-of-Experts (MoE).

Une plateforme unifiée pour l’IA collaborative

La solution Red Hat AI 3 se caractérise par une expérience unifiée et flexible adaptée aux exigences collaboratives inhérentes à la création de solutions d’IA générative prêtes à entrer en production. Conçue pour démystifier l’IA, elle génère une valeur tangible en favorisant la collaboration et en unifiant les workflows entre les différentes équipes. En outre, elle constitue une plateforme unique qui permet aux ingénieurs de plateforme et aux ingénieurs d’IA d’exécuter leur stratégie d’IA. Les nouvelles fonctionnalités axées sur la productivité et l’efficacité nécessaires pour passer de la preuve de concept à la production comprennent :

Les fonctionnalités Model as a Service (MaaS), qui s’appuient sur l’inférence distribuée et permettent aux équipes informatiques de remplir elles-mêmes le rôle de fournisseurs MaaS, en proposant des modèles communs de manière centralisée et en offrant un accès à la demande aux développeurs et aux applications d’IA. Cela permet une meilleure gestion des coûts et prend en charge les cas d’utilisation qui ne peuvent pas fonctionner sur les services d’IA publics en raison de problèmes de confidentialité ou de données.
AI Hub permet aux ingénieurs de plateforme d’explorer, de déployer et de gérer les ressources fondamentales de l’IA. Il fournit un hub centralisé avec un catalogue de modèles sélectionnés, comprenant des modèles d’IA générique validés et optimisés, un registre pour gérer le cycle de vie des modèles et un environnement de déploiement pour configurer et surveiller toutes les ressources IA fonctionnant sur OpenShift AI.
Gen AI Studio offre un environnement pratique permettant aux ingénieurs IA d’interagir avec les modèles et de prototyper rapidement de nouvelles applications d’IA générique. Grâce à la fonctionnalité d’accès aux ressources d’IA, les ingénieurs peuvent facilement découvrir et utiliser les modèles et les serveurs MCP disponibles, qui sont conçus pour rationaliser la manière dont les modèles interagissent avec les outils externes. L’environnement de test intégré offre un environnement interactif et « stateless » permettant d’expérimenter des modèles, de tester des prompts et d’ajuster les paramètres pour des cas d’utilisation tels que le chat et la génération augmentée par la récupération (RAG).
De nouveaux modèles validés et optimisés par Red Hat sont inclus pour simplifier le développement. La sélection comprend des modèles open source populaires tels que gpt-oss d’OpenAI, DeepSeek-R1, ainsi que des modèles spécialisés tels que Whisper pour la conversion de la parole en texte et Voxtral Mini pour les agents vocaux.

Poser les bases des agents d’IA de nouvelle génération

Alors que les agents d’IA devraient pouvoir transformer la manière dont les applications sont créées, leurs workflows autonomes d’une grande complexité vont lourdement solliciter les capacités de l’inférence. La version Red Hat OpenShift AI 3.0 pose les bases de systèmes d’IA agentique évolutifs, non seulement grâce à ses capacités d’inférence, mais également à ses nouvelles fonctionnalités et améliorations axées sur la gestion des agents.

Afin d’accélérer la création et le déploiement d’agents, Red Hat a introduit une couche d’API unifiée basée sur Llama Stack, qui permet d’aligner le développement sur des outils standard tels qu’OpenAI. De plus, soucieuse de promouvoir un écosystème plus ouvert et interopérable, Red Hat compte parmi les tout premiers utilisateurs du protocole MCP (Model Context Protocol), un puissant standard émergent qui rationalise la façon dont les modèles d’IA interagissent avec les outils externes, ce qui représente une fonctionnalité primordiale pour les agents d’IA de nouvelle génération.

Red Hat AI 3 introduit une nouvelle boîte à outils modulaire et extensible pour la personnalisation des modèles, basée sur les fonctionnalités existantes d’InstructLab. Elle fournit des bibliothèques Python spécialisées qui offrent aux développeurs une plus grande flexibilité et un meilleur contrôle. La boîte à outils s’appuie sur des projets open source tels que Docling pour le traitement des données, qui rationalise l’ingestion de documents non structurés dans un format lisible par l’IA. Elle comprend également un cadre flexible pour la génération de données synthétiques et un centre de formation pour le réglage fin des LLM. Le centre d’évaluation intégré aide les ingénieurs en IA à surveiller et à valider les résultats, leur permettant ainsi d’exploiter en toute confiance leurs données propriétaires pour obtenir des résultats d’IA plus précis et plus pertinents.