Der Flaschenhals in der Softwareentwicklung war nie das Programmieren, sondern das Verstehen des Problems. Über den unterschätzten ROI von Verständnis.
Übrigens fällt dieser Beitrag (und einige weitere hier im Faden) exakt in das Muster, das ich erst heute morgen in meinem Kommentar auf c/[email protected] als eine weitere Marketing-Strategie unter einem Arsenal von Strategien beschrieben habe, mit der versucht wird GenAI unter Softwareentwicklern an den Mann, bzw an die Frau zu bringen:
da wird erstens eingeräumt, dass GenAI unter bestimmten Bedingungen (Entwickleunerfahren / zu erfahren / Problem zu komplex / keine genaue Spezifikation / Lösungsstrategie schon klar usw.) keinen Vorteil bringt
und dann wird behauptet, dass es aber unter anderen Bedingungen (Entwickler erfahrener / weniger erfahren / genaue Spezifikationen vorhanden / Problem nicht definiert / Problem einfach / “Boilerplate”) dann doch angeblich einen Vorteil hat.
Belege für diese angeblichen Vorteile gibt es nie.
Eindeutige Untersuchungen, die z.B. Vorteile für erfahrene Entwickler belegen, gibt es nicht.
Offizielle Angaben, wozu KI nun gut geeignet sein soll und wozu nicht, gibt es keine.
Das ist letztlich eine Variante von “moving the goal posts”.
Ich beschreibe hier lediglich meine eigenen Erfahrungen - ich halte nicht viel davon Dinge blind zu hassen ohne sich das naeher angeschaut zu haben. I spiele seit etwa drei Jahren mit LLMs, hauptsaechlich auf lokaler Hardware. Die letzten Monate kamen Claude credits dazu weil es fuer bestimmte Probleme tatsaechlich Sinn gemacht hat.
Mein Hauptproblem mit LLMs ist der massive Energieaufwand, vor allem fuer Training - da sollte reguliert werden dass das zwingend erneuerbare Energien sein muessen (und zwar dafuer neu gebaut, nicht bestehende), und entsprechende Strafzoelle auf Benutzung von LLMs ausserhalb von EU wo wir nicht regulieren koennen. Das naechste ist dass der aktuelle Hype zum einen eine unnoetige Investitionsblase ist, zum anderen dann ohne Nachzudenken ueberall LLMs eingebaut werden, ohne dass verstanden wird zu welchem Zweck, oder auch wie das Fehlerverhalten ist. Zu Fehlerverhalten bei Codegenerierung habe ich oben ja was geschrieben - ich hab bisher grob 100EUR an Claude Credits verbrannt einfach nur um zu beobachten wie das Ding versucht weiterzumachen wenn es steckenbleibt (tl;dr: in dem Fall ist es praktisch immer besser das von Hand zu machen - teilweise ist es klar billiger, und ansonsten wird ziemlich sicher der erzeugte Code scheisse sein, bzw, deutlich zu viel neu schreiben).
Ich gehe davon aus dass wir langfristig mit LLMs arbeiten werden - aber sicher >95% der aktuellen Einsatzzwecke ein Platzen der Investitionsblase nicht ueberleben werden, aus einer Kombination von “das war von Anfang an doof” und “nachdem die jetzt tatsaechliche Kosten bezahlt haben wollen ist das zu teuer”. Ich gehe auch nicht davon aus dass bei Bezug auf Code wir eine Verbesserung ueber die 10k-20k LOC sehen werden - auch um das zu erreichen steigt die Koordinationsarbeit vom Menschen um die relevanten Informationen im Context Window zu halten, und ein Vorhalten von nennenswert groesseren Context Windows wuerde das zu sehr verteuern.
Ich wuerde darauf tippen dass generell das Generieren von Code mit Ende der Blase deutlich weniger werden wird - das duerfte sich dann nur noch bei Modellen lohnen die man lokal laufen lassen kann. Bei Reverse Engineering und aehnlichen Analysen wuerde ich erwarten dass das weiterhin viel genutzt wird - da sind heute schon lokale Modelle recht nuetzlich.
Es gibt zu viele Menschen die blind KI haten weil es neu ist und Arbeitsplätze gefährdet. Der Weg in die Zukunft ist ein Bedingungsloses Grundeinkommen, nicht ein Festhalten an Jobs und einer damit einhergehenden Blindheit für die Potenziale von KI, die durchaus beachtlich sind.
Ich beschreibe hier lediglich meine eigenen Erfahrungen - ich halte nicht viel davon Dinge blind zu hassen ohne sich das naeher angeschaut zu haben.
Da gibt es bei mir zwei Aspekte:
Ich halte meinerseits ganz sachlich nichts davon, so quasi das Wohlergehen der gesamten Wirtschaft auf eine angebliche Wundertechnologie zu wetten, bei der nicht ansatzweise belegt werden kann, dass die hält, was das Marketing verspricht. Extraordinary claims require extraordinary evidence.
Beim Ausgangspost ging es darum, dass ein genaues Verständnis des Codes in der Softwareentwicklung wesentlich ist, und dass der Zeitanteil für die Codeeingabe so gering ist, dass selbst eine völlig automatisierte Eingabe Softwareentwicklung gar nicht nennenswert beschleuniglen kann. Gibt es irgendwelche Evidenz, dass das nicht so ist?
Ich hasse es allerdings in der Tat, ständig Bullshit erzählt zu bekommen und damit regelrecht vollgespammt zu werden. Da finde ich es auch angemessen, mal deutlich zu werden.
Gibt es irgendwelche Evidenz, dass das nicht so ist?
Hatte ich doch geschrieben - ich habe diverse Tools die mich etwa 2-3 Wochen Arbeit gekoestet haetten, und ich so in knapp unter einer Woche gebaut habe. Mit Aufarbeiten des Codes damit er wartbar ist - fuer Wegwerftools ist das etwa ein Tag. Weitere Entwicklung danach mach ich manuell, da taugt das nicht fuer, unter anderem wegen fehlendem Codeverstaendnis fuer das was er generiert hat. Hauptarbeit ist auch das so zu lenken dass wartbarer Code rauskommt.
Ergebnis haengt auch sehr stark von der Sprache ab - ich hatte mit Abstand die besten Ergebnisse mit elisp (und mir da auch diverse Sachen gebastelt fuer die ich sonst keine Zeit gehabt haette). Das hilft da deutlich dass es durch den lisp-interpreter gute Fehlermeldungen gibt, und die eingebaute Dokumentation exzellent ist. Da die Welt wohl leider nicht auf Emacs umsteigen wird ist das allerdings fuer die meisten Leute wohl eher nicht relevant.
Übrigens fällt dieser Beitrag (und einige weitere hier im Faden) exakt in das Muster, das ich erst heute morgen in meinem Kommentar auf c/[email protected] als eine weitere Marketing-Strategie unter einem Arsenal von Strategien beschrieben habe, mit der versucht wird GenAI unter Softwareentwicklern an den Mann, bzw an die Frau zu bringen:
Belege für diese angeblichen Vorteile gibt es nie.
Eindeutige Untersuchungen, die z.B. Vorteile für erfahrene Entwickler belegen, gibt es nicht.
Offizielle Angaben, wozu KI nun gut geeignet sein soll und wozu nicht, gibt es keine.
Das ist letztlich eine Variante von “moving the goal posts”.
Ich beschreibe hier lediglich meine eigenen Erfahrungen - ich halte nicht viel davon Dinge blind zu hassen ohne sich das naeher angeschaut zu haben. I spiele seit etwa drei Jahren mit LLMs, hauptsaechlich auf lokaler Hardware. Die letzten Monate kamen Claude credits dazu weil es fuer bestimmte Probleme tatsaechlich Sinn gemacht hat.
Mein Hauptproblem mit LLMs ist der massive Energieaufwand, vor allem fuer Training - da sollte reguliert werden dass das zwingend erneuerbare Energien sein muessen (und zwar dafuer neu gebaut, nicht bestehende), und entsprechende Strafzoelle auf Benutzung von LLMs ausserhalb von EU wo wir nicht regulieren koennen. Das naechste ist dass der aktuelle Hype zum einen eine unnoetige Investitionsblase ist, zum anderen dann ohne Nachzudenken ueberall LLMs eingebaut werden, ohne dass verstanden wird zu welchem Zweck, oder auch wie das Fehlerverhalten ist. Zu Fehlerverhalten bei Codegenerierung habe ich oben ja was geschrieben - ich hab bisher grob 100EUR an Claude Credits verbrannt einfach nur um zu beobachten wie das Ding versucht weiterzumachen wenn es steckenbleibt (tl;dr: in dem Fall ist es praktisch immer besser das von Hand zu machen - teilweise ist es klar billiger, und ansonsten wird ziemlich sicher der erzeugte Code scheisse sein, bzw, deutlich zu viel neu schreiben).
Ich gehe davon aus dass wir langfristig mit LLMs arbeiten werden - aber sicher >95% der aktuellen Einsatzzwecke ein Platzen der Investitionsblase nicht ueberleben werden, aus einer Kombination von “das war von Anfang an doof” und “nachdem die jetzt tatsaechliche Kosten bezahlt haben wollen ist das zu teuer”. Ich gehe auch nicht davon aus dass bei Bezug auf Code wir eine Verbesserung ueber die 10k-20k LOC sehen werden - auch um das zu erreichen steigt die Koordinationsarbeit vom Menschen um die relevanten Informationen im Context Window zu halten, und ein Vorhalten von nennenswert groesseren Context Windows wuerde das zu sehr verteuern.
Ich wuerde darauf tippen dass generell das Generieren von Code mit Ende der Blase deutlich weniger werden wird - das duerfte sich dann nur noch bei Modellen lohnen die man lokal laufen lassen kann. Bei Reverse Engineering und aehnlichen Analysen wuerde ich erwarten dass das weiterhin viel genutzt wird - da sind heute schon lokale Modelle recht nuetzlich.
Weiter so - lass dich nicht entmutigen :-)
Es gibt zu viele Menschen die blind KI haten weil es neu ist und Arbeitsplätze gefährdet. Der Weg in die Zukunft ist ein Bedingungsloses Grundeinkommen, nicht ein Festhalten an Jobs und einer damit einhergehenden Blindheit für die Potenziale von KI, die durchaus beachtlich sind.
Da gibt es bei mir zwei Aspekte:
Beim Ausgangspost ging es darum, dass ein genaues Verständnis des Codes in der Softwareentwicklung wesentlich ist, und dass der Zeitanteil für die Codeeingabe so gering ist, dass selbst eine völlig automatisierte Eingabe Softwareentwicklung gar nicht nennenswert beschleuniglen kann. Gibt es irgendwelche Evidenz, dass das nicht so ist?
Hatte ich doch geschrieben - ich habe diverse Tools die mich etwa 2-3 Wochen Arbeit gekoestet haetten, und ich so in knapp unter einer Woche gebaut habe. Mit Aufarbeiten des Codes damit er wartbar ist - fuer Wegwerftools ist das etwa ein Tag. Weitere Entwicklung danach mach ich manuell, da taugt das nicht fuer, unter anderem wegen fehlendem Codeverstaendnis fuer das was er generiert hat. Hauptarbeit ist auch das so zu lenken dass wartbarer Code rauskommt.
Ergebnis haengt auch sehr stark von der Sprache ab - ich hatte mit Abstand die besten Ergebnisse mit elisp (und mir da auch diverse Sachen gebastelt fuer die ich sonst keine Zeit gehabt haette). Das hilft da deutlich dass es durch den lisp-interpreter gute Fehlermeldungen gibt, und die eingebaute Dokumentation exzellent ist. Da die Welt wohl leider nicht auf Emacs umsteigen wird ist das allerdings fuer die meisten Leute wohl eher nicht relevant.