Die August-Ausgabe. Es ist schon August? Keine Ahnung, wieso der letzte Monat so schnell verdampft ist. Aber die Frage ist die gleiche: Was habt ihr diesen Monat gemacht, um digital unabhängiger zu werden? Was plant ihr?
(bei mir war es etwas ruhiger. Ich hab den Proxmox upgegradet und mir dort ein selbstgehostetes n8n aufgesetzt. Das macht eigentlich einen ganz guten Eindruck, ich hab aber irgendwie das Gefühl, dass das mit der Firma so im Hintergrund nicht ewig gut gehen wird)
ollama soll wohl schlechtere Performance als llama.cpp haben, wenn man RAM und VRAM kombiniert, aber es gibt viele widersprüchliche Aussagen (und KI-generierte) Artikel die beide miteinander vergleichen.
Selbst getestet habe ich es noch nicht. ollama war am einfachsten für mich aufzusetzen - einfach das Binary (und das AMD rocm-Paket) runterladen,
ollama serveeingeben, fertig. Ich benutze ollama mit webstorm als Harness, da kann man das direkt ins KI-Plugin integrieren. Es kann dort wohl auch für Tab Completion genutzt werden, das Feature verwende ich allerdings nicht, da es mehr stört als nutzt.