Apple recadre l’image en janvier 2026 avec MANZANO et DeepMMSearch-R1

En janvier 2026, Apple a publié deux travaux de recherche sur l’IA multimodale. DeepMMSearch-R1 recadre les images avant d’interroger le Web, tandis que MANZANO tente de comprendre, générer et modifier des images avec une architecture commune. Prometteur sur le papier, mais pas encore une fonction cachée dans le prochain iPhone.

Apple passe les pixels au grand angle

Depuis iOS 18Image Playground permet déjà de générer des images localement sur un iPhone, sans connexion Wi-Fi. La fonction vise surtout des créations stylisées, souvent proches du style cartoon. Les deux publications présentées en janvier 2026 sur le blog officiel Apple Machine Learning s’attaquent à un problème moins spectaculaire : comment faire comprendre à un modèle ce qu’il regarde avant de lui demander une réponse ou une nouvelle image.

Un modèle multimodal de grande taille, ou MLLM, traite plusieurs types de données, notamment du texte et des images. DeepMMSearch-R1 l’utilise pour améliorer la recherche Web. MANZANO cherche de son côté à réunir la compréhension et la génération d’images au lieu de confier chaque tâche à un modèle différent.

Le sujet n’est donc pas de produire une image rigolote de plus, mais de limiter les erreurs quand l’IA doit regarder, chercher et répondre.

DeepMMSearch-R1 recadre avant le plantage

Une recherche multimodale peut dérailler lorsque le modèle analyse toute une image ou s’appuie sur des mots-clés trop vagues. Apple prend l’exemple d’un héron, appelé egret en anglais. Si l’utilisateur demande la vitesse maximale de l’oiseau, le système peut trouver une page qui parle de sa vitesse moyenne et répondre à côté. Le mot « vitesse » est bien présent, mais la donnée n’est pas la bonne.

Le second scénario est plus visuel. Une photo montre un cheval avec un oiseau dans un coin supérieur. Une recherche lancée sur l’image entière risque de privilégier le cheval, tandis que l’oiseau reste noyé dans le décor. DeepMMSearch-R1 peut alors recadrer la zone utile, lancer une recherche visuelle sur l’oiseau, l’identifier comme un héron, puis chercher sa vitesse maximale dans des pages textuelles.

Le modèle combine une recherche textuelle, une recherche d’image et un outil de mise au point appelé grounding. Ce dernier sélectionne la partie pertinente de la photo. Le recadrage n’est donc pas automatique : le modèle doit décider si l’opération apporte quelque chose. Pas question de découper chaque image comme un stagiaire paniqué devant Photoshop.

Un héron, un cheval et le mot-clé qui dérape

La séquence décrite par Apple impose plusieurs décisions au modèle : identifier l’objet, choisir une zone, effectuer une recherche visuelle, puis vérifier que le résultat correspond à la question. Pour la vitesse du héron, trouver une page contenant les mots « vitesse » et « héron » ne suffit pas. Il faut distinguer une moyenne d’un record.

Les chercheurs ont entraîné le système en deux étapes. Le réglage supervisé, ou SFT, limite les recadrages inutiles. L’apprentissage par renforcement en ligne, ou RL, pousse ensuite le modèle à utiliser ses outils de manière plus efficace. Dans leur évaluation, ils indiquent que DeepMMSearch-R1 dépasse nettement des méthodes de type RAG et des agents de recherche guidés uniquement par des instructions.

L’intérêt tient au choix de l’action : l’IA peut cadrer, chercher, puis contrôler sa réponse au lieu de foncer tête baissée.

MANZANO, deux casquettes pour un tokenizer

Le second travail s’intitule MANZANO: A Simple and Scalable Unified Multimodal Model with a Hybrid Vision Tokenizer. Son point de départ est simple : un modèle doué pour comprendre une image n’est pas forcément aussi précis lorsqu’il doit en générer une. À l’inverse, un spécialiste de la création visuelle peut perdre en finesse lorsqu’il doit décrire ce qu’il voit. Apple cherche à réduire ce compromis.

MANZANO utilise un tokenizer visuel sémantique unifié. Pour les tâches de compréhension, il produit des représentations continues. Pour la génération, il produit des représentations quantifiées. Un décodeur de langage manipule ensuite le texte et les représentations d’image, tandis qu’un décodeur d’image transforme les tokens visuels en pixels à partir de bruit gaussien.

Du texte au pixel, le même circuit

Cette architecture permet d’entraîner le modèle sur du texte seul, des séquences mêlant texte et images, des tâches image vers texte et des tâches texte vers image. Le même système peut ainsi analyser une photographie, répondre à une question, générer un visuel ou modifier une image selon une consigne.

La publication d’Apple présente cette approche autorégressive comme une façon d’apprendre simultanément la compréhension et la génération. Le modèle ne repose pas sur deux chaînes complètement séparées pour traiter ces tâches. Sur le papier, c’est plus cohérent. En pratique, il faudra encore vérifier la qualité des images, la précision des réponses et le coût de calcul.

MANZANO veut faire passer le flambeau entre compréhension et création sans laisser tomber les pixels en route.

Du papier au produit, le mur des tokens

Ces travaux ne constituent pas l’annonce d’une nouvelle fonction grand public. Les publications décrivent des modèles et des méthodes de recherche, pas un déploiement de DeepMMSearch-R1 ou de MANZANO dans SiriiOS ou l’application Photos.

La différence avec Image Playground est nette. La fonction d’iOS 18 génère des images localement sur l’iPhone, tandis que DeepMMSearch-R1 s’appuie sur des outils de recherche Web et sur des pages externes. Les deux approches ne demandent donc pas la même puissance de calcul et ne posent pas les mêmes questions sur le délai, l’accès aux données et la confidentialité.

Pour l’instant, le plus concret reste dans les publications du blog Apple Machine Learning : une IA qui recadre avant de chercher, puis une autre qui tente de comprendre et de créer avec le même tokenizer visuel. Le prochain test sera moins spectaculaire qu’une keynote : faire fonctionner ces modèles sans inventer la vitesse du héron. Apple a le papier. Il reste à éviter la sortie de route.