Gratuit, open source et incroyablement efficace. Que demande le peuple ? Un outil de qualité, qui en plus, est gratuit. Ce qui n’est pas toujours le cas avec les outils d’intelligence artificielle, dont l’efficacité et la performance n’est pas forcément au point même pour les versions avancées et payantes. LLaVA est le nouvel outil IA conversationnel basée sur l’image que vous n’allez pas regretter d’utiliser.
Que faire avec LLaVA ?
Large Language and Vision Assistant, dit LLaVA, est un outil IA qui permet de décrypter une question, de donner des orientations à partir d’une image. L’outil est présenté comme un grand modèle multimodal entraîné de bout en bout qui connecte un encodeur de vision et de grands modèles de langages pour une compréhension visuelle et linguistique générale. Comme vous pouvez le voir sur l’image ci-dessous, il est possible de poser une question à propos d’une image que vous chargez dans l’outil. On peut aisément remarquer que la réponse donnée par l’outil est très correcte.
Ce qui fait la différence avec LLaVA
LLaVA démontre des capacités impressionnantes de conversation multimodale, montrant parfois les comportements du GPT-4 multimodal sur des images, des instructions non vues et produit un score relatif de 85.1% comparé au GPT-4 sur un ensemble de données synthétiques multimodales de suivi d’instructions. Lorsqu’elle est affinée sur Science QA, la synergie de LLaVA et GPT-4 atteint une nouvelle précision de pointe de 92,53%.
Mais au-delà de la performance de LLaVA qui représente une véritable différence, il faut remarquer qu’il s’agit d’un outil gratuit. Entre Claude et la version payante de ChatGPT qui offraient déjà la possibilité de charger des documents et des images, cet outil se démarque en faisant un focus sur les images. LLaVA est un outil complètement gratuit et open source. Imaginez tous les projets qui pourraient découler de ce modèle qui pourrait être répliqué et dupliqué en des projets plus intéressants. C’est véritablement de grands avantages que cette solution peut offrir à tous les utilisateurs de l’Intelligence Artificielle. N’hésitez pas à y jeter un coup d’œil.
