Télécharger le guide System One
Un PDF éditorial et un guide PowerPoint concis et visuel.
Bon, là, c’est vraiment intéressant.
Pendant les dernières années, presque tous les produits d'IA ont été construits autour de LLMs. Vous envoyez quelque chose, le modèle génère quelque chose, peut-être qu'il vous donne JSON, puis votre logiciel utilise ce qui en est sorti. Ce qui fonctionne parfaitement bien pour beaucoup de choses, mais aussi signifie que nous appelons parfois un modèle massif juste pour répondre à une question ridiculement petite comme si quelque chose est suspect ou où exactement cette demande devrait aller.
Maintenant il y a Jev, créé par TypeSafe, et ils appellent ce nouveau modèle de système de classe. Jev ne parle pas à vous. Vous lui donnez un certain état et lui demandez de prendre une certaine décision, et il retourne le choix avec probabilités/confiance. Imaginez donc quelque chose de plus proche d'une fonction de décision extrêmement intelligente plutôt qu'un autre chatbot. TypeSécurités introduction
Ma première réaction a été honnêtement un peu okay, n'est-ce pas fondamentalement un classificateur?Eh bien, dans un certain sens oui. Mais puis j'ai commencé à penser à combien de appels LLM stupidement chers dans les produits réels sont essentiellement des classificateurs portant un costume de 20 $.
Laissez-vous dire que vous avez quelques SaaS où chaque requête entrante va actuellement à un modèle de frontière. Certaines demandes sont triviales. Certaines devraient aller à un modèle moins cher. Certaines nécessitent un examen humain. Certaines pourraient être suspectes. Jev peut prendre cette première décision très rapidement et puis votre modèle coûteux réel ne se réveille quand vous en avez vraiment besoin.
request → Jev → decision → whatever actually needs to happen
Il y a un exemple de Reddit que j'aimais exactement parce que c'est si simple. Ils avaient un grand contexte allant dans un LLM essentiellement pour savoir s'il y avait quelque chose de préoccupant. Après avoir déplacé cette première vérification à Jev, ils ont rapporté aller de 3 à 6 secondes à millisecondes, tandis que le plus grand LLM est appelé seulement si Jev trouve quelque chose qui vaut la peine de vérifier plus. Lisez la discussion
Et honnêtement, pour les gens du produit cela pourrait être plus intéressant que certains nouveaux modèles avec un score 2% plus élevé sur un autre benchmark. Le produit peut devenir plus rapide. Votre facture d'inférence peut devenir plus petit. Vous pouvez également avoir ces petites décisions partout sans se sentir comme vous envoyez chaque chose minuscule à Godzilla.
Vous n'avez pas nécessairement besoin du modèle géant le plus intelligent pour chaque petite décision dans le produit. Parfois, ce dont vous avez besoin est fondamentalement une déclaration si très intelligente.
Il y a aussi Liquid d1, conçu pour ce type de tâche décisionnelle. Nous commençons donc à voir plusieurs mises en œuvre de cette idée, et je suis curieux de voir où cette catégorie nous mènera. Sa documentation décrit le même principe : on fournit un état, et le modèle renvoie une réponse Choice, Score ou Noul pour une question oui/non. Lisez la documentation Liquide ї
Les LLM restent tout à fait adaptés quand j’ai besoin de générer, expliquer, transformer ou résumer quelque chose. Mais si, quelque part dans mon architecture, un appel à un LLM ne sert finalement qu’à renvoyer true, « sales » ou 0.83, je commencerais sérieusement à me demander s’il a encore sa place. Un article de la communauté Hugging Face consacré à Jev décrit justement cette différence entre sorties délimitées et décisions prises dans un logiciel. Lisez l'article de la communauté
Maintenant bien évidemment ne reconstruire toute l'entreprise autour de ce demain. Jev est nouveau, beaucoup des nombres de performances impressionnants viennent de TypeSafe eux-mêmes, et le fil Reddit a des gens disant que c'est une classification glorifiée et/ou fortement surhypnée. Nous avons besoin de tests plus indépendants avant de déclarer une ère complètement nouvelle de l'architecture de l'IA. TypeSécurité Résultats ї · Débat sur les Reddits
Mais si vous créez des produits d’IA, je vous conseille vraiment de l’essayer.
Surtout si vous regardez votre utilisation de LLM et soudain réaliser la moitié de cela existe juste pour prendre de petites décisions.
Télécharger le guide System One
Un PDF éditorial et un guide PowerPoint concis et visuel.