L'exécution de modèles d'IA en local sort du cercle des passionnés. Des PC Windows équipés de la puce RTX Spark de Nvidia arrivent chez les principaux constructeurs, avec jusqu'à 128 Go de mémoire unifiée et environ un pétaflop de calcul. Nvidia y fait tourner un modèle ouvert de 125 milliards de paramètres, présenté comme comparable à de nombreux modèles du cloud. Une station d'équipe offre 748 Go de mémoire pour des modèles proches du millier de milliards de paramètres, et AMD annonce des machines de 192 Go capables d'exécuter des modèles jusqu'à 300 milliards de paramètres.
Les arguments sont d'abord économiques. L'inférence locale supprime le compteur à la requête. Pour des agents qui tournent en continu, la dépense devient un coût matériel fixe et amortissable, plutôt qu'une facture qui suit le volume. S'y ajoutent la confidentialité, puisque les données restent sur le poste, et la prévisibilité budgétaire.
Pour les DSI, cette évolution ouvre une troisième voie entre l'API d'un grand fournisseur et le déploiement lourd en datacenter. Elle crée aussi de nouvelles responsabilités. Un modèle local doit être qualifié : origine, licence, rythme de mise à jour. Les postes deviennent des environnements d'exécution d'IA qu'il faut confiner, superviser et inventorier.
Aucun outil neutre ne permet encore de comparer sérieusement coûts locaux et coûts cloud, les simulateurs des constructeurs excluant notamment les coûts d'administration. Chaque direction informatique devra construire son propre modèle de coût.
L'arbitrage se fera par cas d'usage : volume de requêtes, sensibilité des données, besoin de performance. L'inférence locale ne remplace pas le cloud, elle oblige à décider plus finement.
#IA #InferenceLocale #IAGenerative #Data #DSI #FinOps #Confidentialite #GouvernanceIA #PosteDeTravail #Cloud #AgentsIA #Souverainete
