Nvidia startet Chat mit RTX, einen lokalen Windows-Chatbot, der von GeForce RTX GPUs unterstützt wird

Als der Trend der KI-Chatbots Fahrt aufnahm, verwendeten die meisten Menschen einen, der mit einem cloudbasierten Server verbunden war. In letzter Zeit gibt es jedoch einen wachsenden Trend, Chatbots lokal auf PCs und Smartphones laufen zu lassen. Heute hat Nvidia eine neue Möglichkeit für Windows-PC-Besitzer eingeführt, ihre eigenen KI-Chatbots mit großen Sprachmodellen zu erstellen, die mit lokal gespeichertem Inhalt verbunden sind.

Nvidia nennt dies Local LLM Chat mit RTX und es ist jetzt als Demo-Version auf der Website des Unternehmens verfügbar. Wie der Name vermuten lässt, benötigt Ihr PC eine Nvidia GeForce RTX GPU, um diesen lokalen Chatbot auszuführen. Hier sind die genauen Hardware-Anforderungen:

GPUs - Nvidia GeForce RTX 30 oder 40 Series GPU oder Nvidia RTX Ampere oder Ada Generation GPU mit mindestens 8GB VRAMRAM - 16GB oder mehrOS - Windows 11Geforce Driver - 535.11 oder höher

Sobald Sie es heruntergeladen und installiert haben, können Sie die Chat mit RTX-App mit Ihrem lokal gespeicherten Inhalt verbinden, wie z.B. Dokumente, PDF-Dateien, Videos und mehr. Sie können dann dieses lokale Datenset verwenden, um dem Chatbot Fragen zu stellen, damit er Ihnen Antworten geben kann, ohne durch all dieses Material zu suchen.

Darüber hinaus kann Chat mit RTX Informationen in einigen YouTube-Videos finden. Alles, was Sie tun müssen, ist die Video-URL in die App zu kopieren und dann Fragen zum Inhalt des Videos zu stellen. Chat mit RTX sollte Ihnen die Antworten liefern.

Natürlich ist das größte Merkmal von lokalen LLM-Apps wie Chat mit RTX, dass Sie einen KI-Chatbot haben können, der keine Daten an den Cloud-Server eines Unternehmens zur Schulung und für andere Zwecke sendet. Der Kompromiss besteht darin, dass Sie einen recht leistungsstarken PC benötigen, um dies auszuführen.

Nvidia bezeichnet die Chat mit RTX-App als kostenloses technisches Demo. Das könnte darauf hindeuten, dass das Unternehmen Pläne hat, sie zu einem kostenpflichtigen oder abonnementbasierten Angebot mit weiteren Funktionen in der Zukunft zu machen.

Quelle: neowin.net

 

[l.]

Das ist einfach großartig!!!

 

[t.]

8 GB RAM. Mist, mein 3060 hat nur 6.

 

[z.]

35 GB Download lol

 

[c.]

Der Download dauert nur 5 Minuten, die Website gibt mir 105 MB/s

 

[l.]

Es ist amüsant, wie Sie davon ausgehen, dass jeder über eine 1-Gbit/s-Internetverbindung verfügt ...

Bei 105 MB/s sind es „nur“ 5 Minuten, keine große Sache!!!

 

[T.]

Jawohl. Dies wird auf einer Art fetten Pfeife gehostet. Ich habe gerade 110 MB/s erreicht. Auch hier in nur etwa 5 Minuten fertig. Das gilt auch für WU, Store-Updates und Microsoft 365/Office.

Einige Aspekte des „Lebens in der Zukunft“ sind schön.

 

[I.]

Oh wow, ich liebe es, Nvidia dabei zuzusehen.

Es gab keine einfache Möglichkeit, ein Open-Source-Modell ohne großen Konfigurationsaufwand auszuführen.

 

[c.]

GitHub - nomic-ai/gpt4all: gpt4all: run open-source LLMs anywhere Das gibt es schon seit einiger Zeit. Wählen Sie ein Modell aus, es wird heruntergeladen und Sie können es dann verwenden. Es ist zwar nicht schnell, aber Sie können beliebige Modelle verwenden, auch unzensierte.

 

[C.]

Ich finde LM Studio etwas besser als GPT4all. LM wird CUDA und OpenCL für die HW-Beschleunigung verwenden. Meine 1070 GTX leistet gute Arbeit mit einigen 7B- und niedrigeren Modellen.

 

[I.]

Es ist perfekt für Leute, die sich mit all diesen mit der Cloud verbundenen Chatbots beschäftigen.

 

[F.]

Keine Titan RTX? Das ist ein Skandal!