Met de toenemende beschikbaarheid van krachtige LLM-modellen op platforms zoals HuggingFace, en de vooruitgang van beschikbare AI-systemen zoals H2O, Text Gen en GPT4All, kunt u nu LLM-modellen rechtstreeks op uw computer downloaden en uitvoeren. Dit betekent dat u niet langer verbonden hoeft te zijn met internet om flexibel en veilig toegang te krijgen tot AI-mogelijkheden. Als u AI lokaal wilt uitproberen, zijn hier negen van de beste offline LLM-modellen die u nu kunt proberen om te profiteren van snelheid en veiligheid bij de verwerking en bescherming tegen het bekijken van uw informatie door verschillende providers.
Snelle links
1. Hermes 2 Pro GPTQ
Hermes 2 Pro is een geavanceerd taalmodel dat is verfijnd door Nous Research. Het maakt gebruik van een bijgewerkte, schone versie van de OpenHermes 2.5-dataset, samen met de nieuw geïntroduceerde Function Calling- en JSON Mode-dataset die intern is ontwikkeld. Dit model is gebaseerd op de Mistral 7B-architectuur en is getraind op 1000000 instructies/chats met GPT-4-kwaliteit of beter, wat voornamelijk synthetische gegevens zijn.
Steekproef | Hermes 2 Pro GPTQ |
---|---|
Modelgrootte | 7.26 GB |
de docenten | 7 miljard |
Kokhalzen | 4-bit |
Type | mistral |
Vergunning | Apache 2.0 |
Hermes 2 Pro op Mistral 7B is het nieuwe vlaggenschipmodel van de Hermes 7B, dat verbeterde prestaties levert in verschillende benchmarks, waaronder AGIEval, BigBench Reasoning, GPT4All en TruthfulQA. De verbeterde mogelijkheden maken het geschikt voor een breed scala aan taken op het gebied van natuurlijke taalverwerking (NLP), zoals het genereren van code, het maken van inhoud en de ontwikkeling van AI-chat-apps.
Downloaden: Hermes 2 Pro GPTQ via Gezicht knuffelen
2. Zephyr 7B Bèta
Zephyr is een serie taalmodellen die zijn getraind om als nuttige assistent te fungeren. Zephyr-7B-Beta is het tweede model in de serie, dat is verfijnd op basis van Mistral-7B-v0.1 met behulp van Direct Preference Optimization (DPO) op een mix van openbaar beschikbare synthetische datasets.
Steekproef | Zephyr 7B bèta |
---|---|
Modelgrootte | 7.26 GB |
de docenten | 7 miljard |
Kokhalzen | 4-bit |
Type | mistral |
Vergunning | Apache 2.0 |
Door de inline-uitlijning van trainingsdatasets te verwijderen, vertoont de Zephyr-7B-Beta verbeterde prestaties op benchmarks zoals MT-Bench, waardoor de bruikbaarheid ervan bij verschillende taken wordt vergroot. Deze wijziging kan echter problematische tekst opleveren wanneer er op bepaalde manieren om wordt gevraagd.
Downloaden: Zephyr 7B bèta via Gezicht knuffelen
3. Falcon Instrueer GPTQ
Deze kwantumversie van Falcon is gebaseerd op de decoder-architectuur met hogere resolutie van het onbewerkte Falcon-7b-model van TII. Het basismodel van Falcon is getraind met behulp van 1.5 biljoen tokens die via het openbare internet zijn verkregen. Als een decoderingsmodel met uitsluitend instructies, gelicentieerd onder Apache 2, is Falcon Instruct ideaal voor kleine bedrijven die op zoek zijn naar een model om te gebruiken voor taalvertaling en gegevensinvoer.
Steekproef | Falcon-7B-Instrueer |
---|---|
Modelgrootte | 7.58 GB |
de docenten | 7 miljard |
Kokhalzen | 4-bit |
Type | valk |
Vergunning | Apache 2.0 |
Deze versie van Falcon is echter niet ideaal voor verfijning en is alleen bedoeld voor gevolgtrekking. Als je Falcon wilt verfijnen, zul je het onbewerkte model moeten gebruiken, waarvoor mogelijk toegang nodig is tot trainingshardware op bedrijfsniveau, zoals NVIDIA DGX of AMD Instinct AI-accelerators.
Downloaden: Falcon-7B-Instrueer via Gezicht knuffelen
4. GPT4ALL-J Groovy
GPT4All-J Groovy is een model met alleen een decoder, verfijnd door Nomic AI en gelicentieerd onder Apache 2.0. GPT4ALL-J Groovy is gebaseerd op het originele GPT-J-model, waarvan bekend is dat het uitstekend is in het genereren van tekst uit prompts. GPT4ALL -J Groovy is geconfigureerd als chatsjabloon, wat geweldig is voor snelle en creatieve toepassingen voor het genereren van tekst. Dit maakt GPT4All-J Groovy ideaal voor makers van inhoud om hen te helpen met hun schrijf- en creatieve werken, of het nu gaat om poëzie, muziek of verhalen.
Steekproef | GPT4ALL-J Groovy |
---|---|
Modelgrootte | 3.53 GB |
de docenten | 7 miljard |
Kokhalzen | 4-bit |
Type | GPT-J |
Vergunning | Apache 2.0 |
Helaas is het basis GPT-J-model alleen getraind op een Engelse dataset, wat betekent dat zelfs dit verfijnde GPT4ALL-J-model alleen in het Engels kan chatten en tekst kan genereren.
Downloaden: GPT4ALL-J Groovy via Gezicht knuffelen
5. DeepSeek Coder V2-instructie
DeepSeek Coder V2 is een geavanceerd taalmodel dat de mogelijkheden voor programmeren en wiskundig redeneren verbetert. Het ondersteunt een breed scala aan programmeertalen en biedt uitgebreide contextlengte, waardoor het een veelzijdige tool voor ontwikkelaars is.
Steekproef | DeepSeek Coder V2-instructie |
---|---|
Modelgrootte | 13 GB |
de docenten | 33 miljard |
Kokhalzen | 4-bit |
Type | Diepzoeken |
Vergunning | Apache 2.0 |
Vergeleken met zijn voorganger laat DeepSeek Coder V2 aanzienlijke vooruitgang zien op het gebied van programmeergerelateerde taken, redeneren en algemene mogelijkheden. Het breidt de ondersteuning voor programmeertalen uit van 86 naar 338 en breidt de contextlengte uit van 16K naar 128K tekens. In benchmarkevaluaties presteert het beter dan modellen zoals GPT-4-turbo و Claude 3 Opus En Gemini 1.5 Pro in coderings- en wiskundebenchmarks.
Downloaden: DeepSeek Coder V2 Instrueer via Gezicht knuffelen
6. Mixtral-8x7B
Mixtral-8x7B is een schaars Mix of Expert (MoE) -model ontwikkeld door Mistral AI. Het beschikt over acht experts voor elke MLP, met in totaal 45 miljard parameters. Tijdens de inferentie worden echter slechts twee experts per code geactiveerd, waardoor deze rekenkundig efficiënt is en qua snelheid en kosten vergelijkbaar is met een model met 12 miljard parameters.
Steekproef | Mixtral-8x7B |
---|---|
Modelgrootte | 12 GB |
de docenten | 48 miljard |
Kokhalzen | 4-bit |
Type | Mistral MOE |
Vergunning | Apache 2.0 |
Mixtral ondersteunt een contextlengte van 32K tokens en presteert beter dan Llama 2 70B op de meeste benchmarks, waarbij de GPT-3.5-prestaties worden geëvenaard of overtroffen. Het is bedreven in meerdere talen, waaronder Engels, Frans, Duits, Spaans en Italiaans, waardoor het een veelzijdige keuze is voor verschillende natuurlijke taalverwerkingstaken.
Downloaden: Mixtral-8x7B via Gezicht knuffelen
7. Tovenaar Vicuna Uncensored-GPTQ
Wizard-Vicuna GPTQ is een gekwantiseerde versie van Wizard Vicuna, gebaseerd op de Lama. In tegenstelling tot de meeste LLM-modellen die voor het publiek worden vrijgegeven, is Wizard-Vicuna een model zonder toezicht en zonder controle. Dit betekent dat het model niet dezelfde veiligheids- en ethische normen hanteert als de meeste modellen.
Steekproef | Wizard-Vicuna-30B-Uncensored-GPTQ |
---|---|
Modelgrootte | 16.94 GB |
de docenten | 30 miljard |
Kokhalzen | 4-bit |
Type | Lama |
Vergunning | GPL 3 |
Hoewel dit een probleem kan opleveren bij het controleren van de AI, haalt het hebben van een LLM-model zonder toezicht ook het beste uit het model naar boven, doordat het zonder enige beperking kan antwoorden. Hierdoor kunnen gebruikers ook aangepaste afstemming toevoegen over hoe de AI zal handelen of reageren op basis van een specifieke prompt.
Downloaden: Wizard-Vicuna-30B-Uncensored-GPTQ via Gezicht knuffelen
8. Orca Mini-GPTQ
Wil je een model ervaren dat getraind is in een unieke leermethode? Orca Mini is een onofficiële modelimplementatie van Microsoft's Orca Research Papers. Er werd getraind met behulp van een leraar-leerling-leermethode, waarbij de dataset vol stond met uitleg in plaats van alleen maar aanwijzingen en antwoorden. In theorie zou dit maatwerk moeten resulteren in een slimmere student, omdat het model het probleem kan begrijpen in plaats van alleen maar te zoeken naar input-output-paren zoals typische LLM-modellen doen.
Steekproef | Orca Mini-GPTQ |
---|---|
Modelgrootte | 8.11 GB |
de docenten | 3 miljard |
Kokhalzen | 4-bit |
Type | Lama |
Vergunning | MIT |
Met slechts drie miljard parameters is Orca Mini GPTQ eenvoudig te gebruiken, zelfs op minder krachtige systemen. Dit formulier mag echter niet voor iets professioneels worden gebruikt, omdat het valse informatie en bevooroordeelde en aanstootgevende reacties genereert. Dit model moet worden gebruikt om te leren en te experimenteren met de orka en zijn manieren.
Downloaden: Orca Mini-GPTQ via Gezicht knuffelen
9. Lama 2 13B Chat GPTQ
Llama 2 is de opvolger van de originele Llama LLM en biedt verbeterde prestaties en veelzijdigheid. De 13B Chat GPTQ-variant is verfijnd voor AI-toepassingen die bedoeld zijn voor voor gesprekken geoptimaliseerde Engelse dialogen.
Steekproef | Lama 2 13B Chat GPTQ |
---|---|
Modelgrootte | 7.26 GB |
de docenten | 13 miljard |
Kokhalzen | 4-bit |
Type | Lama 2 |
Vergunning | Meta-licentie |
Llama 2 is bedoeld voor commercieel en onderzoeksgebruik. Dankzij de licentievoorwaarden kunnen bedrijven met minder dan 700 miljoen gebruikers er zonder extra kosten gebruik van maken. Dit model is ideaal voor organisaties die op zoek zijn naar een krachtige chatbotoplossing die weinig aanvullende training vereist.
Downloaden: Llama 2 13B Chat GPTQ via Gezicht knuffelen
Sommige van de bovenstaande modellen hebben meerdere versies qua parameters. Over het algemeen geven versies met hogere parameters betere resultaten, maar vereisen ze krachtigere hardware, terwijl versies met lagere parameters resultaten van lagere kwaliteit genereren, maar op minder krachtige hardware kunnen worden uitgevoerd. Als u niet zeker weet of uw computer dit model kan uitvoeren, probeer dan eerst de versie met de laagste parameters en ga dan door totdat u vindt dat de prestatiedaling niet langer acceptabel is. Je kunt nu bekijken Moet u een lokaal LLM-model gebruiken? Voordelen, nadelen en best practices.