Die August-Ausgabe. Es ist schon August? Keine Ahnung, wieso der letzte Monat so schnell verdampft ist. Aber die Frage ist die gleiche: Was habt ihr diesen Monat gemacht, um digital unabhängiger zu werden? Was plant ihr?
(bei mir war es etwas ruhiger. Ich hab den Proxmox upgegradet und mir dort ein selbstgehostetes n8n aufgesetzt. Das macht eigentlich einen ganz guten Eindruck, ich hab aber irgendwie das Gefühl, dass das mit der Firma so im Hintergrund nicht ewig gut gehen wird)
Ich habe das Wochenende genutzt und angefangen claude-code durch einen eigenen Stack zu ersetzen. Ich würde das mal als di.day Errungenschaft setzen, da ich heute morgen um 1 Uhr die ersten sinnvollen Ergebnisse bekommen habe.
Der Techstack basiert auf pi.dev mit llamacpp Server als Backend. Das ganze läuft jeweils in docker und schützt somit mein notebook vor dem YOLO Ansatz von pi.dev, welcher zwar cool ist, aber auch schnell schaden anrichten kann.
Zu den sonstigen Rezepten da habe ich keine mehr über. Das letzte was ich gemacht habe, war Fairphone auf e/OS umstellen und dem Fernseher Google soweit es geht austreiben. Letztere kann aber leider nicht auf Linux gewechselt werden, da meine Frau sich weigert da auch noch Komfort zu verlieren. 😅
Wie performant ist denn so ein lokales Dings auf einem Notebook? Ist das brauchbar schnell?
Es ist nutzbar, aber nicht instant. Ich benutze das Modell qwen3.6:35b (das braucht 24GB VRAM) und nutze es oft, um über ein Projekt zu gehen und mir Verbesserungsvorschläge zu geben.
Die Antworten dauern zwischen 30s bis 5min nachdem man eine Anfrage gestellt hat (und je nachdem wie komplex der Task ist). So Schnellschuss-Sachen kann man damit also nicht machen, das ist aber auch ganz gut, weil ich kein Vibecoder bin und meine Aufgaben mit Bedacht angehe.
Die Qualität der Antworten ist vergleichbar mit ChatGPT und Gemini. Man merkt, dass der Kontext schneller verlorengeht wenn man im gleichen Thread Folgeanfragen stellt, aber meiner Meinung braucht man eigentlich die großen teuren Abomodelle gar nicht, das kann alles lokal laufen.
Solche Auswüchse wie Loops und 10 Agenten gleichzeitig auf ein Problem draufzuwerfen geht natürlich nicht, das ist aber in meinen Augen eh eine sehr fragwürdige Methode der Softwareentwicklung und wird hoffentlich wieder aussterben (schon allein aufgrund der hohen Kosten).
Auch der techstack oder anders? Hatte am Anfang ollama, aber llamacpp macht mir einen performanteren Eindruck, wenn man ein Modell exklusiv nutzen mochte.
Zum Thema vibecoding sehe ich genauso, aber für Tasks die man nicht so gerne machen möchte geht es zumindest mit gemma4 echt gut. Will morgen mal gucken, ob ich Infrastrukturaufgaben abgeben kann. Haben ein paar Skripte mit denen alle unzufrieden sind, aber keiner Lust und Zeit hat diese zu überarbeiten. Danach will ich auch mal sehen, ob es reviews von pull requests machen kann und eine erste Einschätzung machen kann. Vll. auch refactorings vorschlagen kann.
ollama soll wohl schlechtere Performance als llama.cpp haben, wenn man RAM und VRAM kombiniert, aber es gibt viele widersprüchliche Aussagen (und KI-generierte) Artikel die beide miteinander vergleichen.
Selbst getestet habe ich es noch nicht. ollama war am einfachsten für mich aufzusetzen - einfach das Binary (und das AMD rocm-Paket) runterladen,
ollama serveeingeben, fertig. Ich benutze ollama mit webstorm als Harness, da kann man das direkt ins KI-Plugin integrieren. Es kann dort wohl auch für Tab Completion genutzt werden, das Feature verwende ich allerdings nicht, da es mehr stört als nutzt.Ich habe ein Ryzen 7850HS (32GB) mit einer RTX 4060 (8GB) und lasse da z.B. gemma4 26B A4B drauf laufen. Es ist sicher nicht so performant wie cloud Modelle, aber ich finde man kann damit gut arbeiten. Habe gestern qwen3.6 als MoE probiert und das war eine Katastrophe. Denke kommt stark auf die Hardware, Model und letztendlich auf die Tasks an.
Habe heute ihn selbst Docker, Compose und Startskript über arbeiten lassen und am Ende eine saubere Readme.md schreiben lassen, ging erschreckend gut.
Hint: Ich hoste noch ein paar Dienste auf einem NUC8i7 und wollte es darauf probieren, ist ja im Grunde auch Mobile Hardware, Katastrophe.
Ist llama nicht von Meta?
Also llamacpp hat nichts mit den llama Modellen von meta zu tun. Llamacpp ist ein service wo du verschiedene llm Modelle darüber bereitstellst. Quasi eine ollama alternative.
Die Open weight Modelle laufen ja im eigenen Netz, sind zwar von Meta (mit Raubdaten) trainiert, aber die Nutzung hat dann mit Meta nichts mehr zu tun. Und die Software ist ja OpenSource.