🚀🚀Introducing Ferret, a new MLLM that can refer and ground anything anywhere at any granularity.
— Zhe Gan (@zhegan4) October 12, 2023
📰https://t.co/gED9Vu0I4y
1⃣ Ferret enables referring of an image region at any shape
2⃣ It often shows better precise understanding of small image regions than GPT-4V (sec 5.6) pic.twitter.com/yVzgVYJmHc
Supériorité de Ferret sur GPT-4
L’avantage de Ferret par rapport à GPT-4, le modèle de langage développé par OpenAI jusqu’alors considéré comme le plus avancé, réside dans son habileté supérieure à analyser les images.
Ferret présente une grande précision dans l’examen de zones spécifiques d’une image, tout en générant moins d’erreurs, selon les affirmations de Gan.
La puissance déployée pour entraîner Ferret
Apple a mobilisé d’importantes ressources pour l’entraînement de Ferret, utilisant notamment huit GPU Nvidia A100, éminents pour leur puissance de calcul et équipés chacun de 80 Go de RAM HBM2e.
L’A100 se distingue par sa capacité à effectuer des calculs à la vitesse de 312 TeraFLOPS et par son rôle clé dans l’avènement de la technologie d’IA générative.
Vers une IA accessible sur smartphone ?
Si Apple en est encore aux premiers stades de l’exploitation de l’IA générative avec Ferret, l’ambition de l’entreprise est claire : rendre le modèle compatible avec les smartphones.
Actuellement, les modèles de langage d’une complexité comparable à celle de GPT-4 dépassent de loin la capacité des smartphones.
En réponse, les chercheurs chez Apple explorent la possibilité d’utiliser la mémoire flash en complément de la RAM pour supporter des LLM plus vastes sur ces appareils.
Perspectives futures pour l'IA sur les dispositifs Apple
L’implication active d’Apple dans le domaine de l’IA générative laisse présager que les futurs appareils de la marque, comme l’iPhone 16, pourraient bénéficier d’assistants personnels fortement améliorés par l’intelligence artificielle.
Avec Ferret, les utilisateurs pourraient vivre une expérience enrichie par des capacités multimodales avancées.
