KI – Kaum Intelligent

KI – Kaum Intelligent

Von Johannes Rabold, Gesina Schwalbe
Von Johannes Rabold, Gesina Schwalbe Sprache: german
Science Natural SciencesScience
Echte Gespräche über künstliche Intelligenz

Alle Episoden

KI und Klimaschutz

03.07.2023, 20:39

Welche Auswirkungen hat die Nutzung von KI für das Klima und welche positiven Beiträge kann KI zum Klimaschutz leisten? Unser Gast Bettina beleuchtet dieses Thema genauer mit uns.

Nochmal kurz für Beepo

  • Unser Gast: Bettina Finzel ist zur Zeit Doktorandin zum Thema KI an der Universität Bamberg, Schwerpunkt KI in der Medizin und Methoden der erklärbaren KI
  • Klimaschutz ist ein wichtiges und lange überfälliges Thema: Es muss dringend der weltweite Ausstoß von Treibhausgasen z.B. für die Energiegewinnung wegen übermäßigen Energieverbrauchs verringert werden.
  • Entlang des gesamten Lebenszyklus einer KI-Anwendung werden Resourcen (Energie/Strom, Wasser, Computerbestandteile, etc.) verbraucht, oft aber teilweise vermeidbar:
    • Datenacquise -> Wähle das Modell richtig um nötige Daten zu reduzieren
    • Datenvorprozessierung, Code-Qualität -> Kein unnötiger Energieverbrauch durch unsauberen Code, z.B. teures Vorprozessieren
    • Training -> kleinere Modelle verwenden statt mit riesigen starten, wenn möglich; nach Möglichkeit Vorwissen einbringen, um das Training zu verkürzen
    • Betreiben des Modells -> kleine, effiziente Modelle verwenden
    • Updates & Wiederverwendbarkeit -> Modelle sollten einfach aktualisierbar oder in neuen Anwendungen wiederverwendbar sein
  • Intelligente KI-Anwendungen haben das Potenzial, netto dem Klima zu helfen (= Energieverbrauch durch die Modelle wird durch dank KI erzielter Einsparungen in anderen Bereichen aufgehoben); dazu muss aber viel getan und beachtet werden!
  • Bewusstsein ist wichtig! Hier kann viel schon bei der Auswahl der Anwendung und der Entwicklung der KI getan werden.

Das Problem im Überblick

  • Mehr Daten, mehr Interesse an großen, rechenintensiven KI Verfahren wie neuronalen Netzen heißt mehr Verbrauch von Rechenleistung (=Strom, Kühlwasser, etc.)
  • Ganz kurz: Was ist die Klimakrise?
    • Aktuell typische Energieerzeugungsmöglichkeiten setzen sehr viele (zusätzliche) Treibhausgase frei, die die Erde aufheizen
    • Treibhausgase verursachen eine globale Klimaerwärmung mit deutlich gesteigerter Anzahl und Schwere von Extremwettersituationen (z.B. Trockenheit, Sturzregen) als Folge
    • Für Schadensbegrenzung müssen wir Ausstoß von Treibhausgasen, z.B. durch übermäßigen Energie-/Stromverbrauch, vermeiden/eindemmen, und knapper werdende Resourcen (z.B. Frischwasser) schonen!

Wie KI dem Klimaschutz helfen kann

  • Beispielanwendungen, die direkt dem Klima nützen können:
    • Navigation für kurze Fahrtwege
    • Wettervorhersage
    • Assistenzsystem für Unfallvermeidung im Straßenverkehr und damit Vermeidung von Sachschaden und neuen Produktionskosten
    • Präzisionslandwirtschaft, z.B. bildbasierte Erkennung kranker Bäume
    • Effizientere Produktion (aber Achtung, das kann auch den Konsum und damit Resourcenverbrauch ankurbeln und damit letztenendes einen negativen Effekt haben!)
  • Beispielanwendungen, die indirekt dem Klima nützen können:
    • Klimafreundlichere Anwendungen durch KI attraktiver machen, z.B.
      • Videokonferenzen (anstatt Hinfahren)
    • Wissensmanagement und Bildung, z.B.
      • Verfügbarmachen von Wissen, z.B. über den Klimawandel, über z.B. Suchmaschinen, um informierte Entscheidungen zu ermöglichen
      • Visualisierung von Informationen für bessere Nahbarkeit / „Wachrütteln“, z.B. Anwendung, die mögliche Folgen des Klimawandels wie Naturkatastrophen veranschaulicht

Wie KI schädlich fürs Klima sein kann

Probleme, die von KI verursacht werden können

  • Stromverbrauch (bei Datenbeschaffung, (Neu-)Training, Betreiben des KI-Modells)
  • Frischwasserverbrauch beim Training und Betreiben großer Modelle in Rechenzentren durch Kühlwasserbedarf
  • Resourcen– und Energieverbrauch für Herstellung benötigter Computern, z.B. Gold, seltene Erden
  • Konsumsteigerung durch Automatisierung, z.B. Steigerung der Produktionsleistung -> geplante KI-Anwendung vorher prüfen

Wie kann KI klimaschädlich sein und was hilft dagegen

  • Verwendung eines Modells: Wenn das Modell oft ausgewertet wird, sollte die Auswertung möglichst recheneffizient sein!
    Möglichkeiten, das zu erreichen:
    • Expertenwissen in das Modell einbauen: Auf die wesentlichen Informationen konzentrieren hilft, kleine Modelle zu finden
    • Pruning = gezielt trainierte Modelle verkleinern, indem Bestandteile entfernt werden, die für gute Funktion nicht gebraucht werden
    • Sparsamere Modelle (z.B. keine neuronalen Netze) verwenden, wo es geht
  • Training: Mehr Rechenleistung wird benötigt
    • je mehr Parameter man zu optimieren hat
    • je mehr Trainingsdaten herangezogen werden
    • je weniger Vorwissen angewendet wird
  • Trainingsdaten: Mehr Trainingsdaten heißt auch
    • mehr Aufwand (und damit Resourcenverbrauch) für die Datenacquise, z.B. Testfahrten -> Verwende bevorzugt Modelle, die wenig Daten brauchen
    • Mehr Speicherplatz und Energieverbrauch fürs Speichermanagement (z.B. Verschieben) von Daten
  • Datenvorprozessierung und allgemein schlechte Code-Qualität: Prozessierungsschritte wie Normalisierung können rechenaufwendig sein -> wenn nötig, zwischenspeichern
  • Wiederverwendbarkeit: Concept Drift = die Umwelt ändert sich, sodass ein neues Modell nötig wäre (z.B. Klima);
    Damit man Modelle nicht immer wegwerfen muss:
    • Verwende flexible Modelle, die leicht aktualisiert bzw. auf andere Aufgaben übertragen werden können
    • Erstelle ein möglichst allgemeines Modell, das mehrere Aufgaben erfüllt werden können;
      aber Achtung, große Modelle können wieder viel Rechenleistung brauchen! Groß & allgemein steht im Gegensatz zu klein & spezialisiert.
  • Rechenplattformen:
    • Herstellung von Computern braucht auch wichtige Resourcen und Energie, z.B. hochreines Silizium, selte...

      Episode herunterladen

Wie funktioniert der YouTube Algorithmus?

06.03.2023, 12:35

Es geht um den Algorithmus, mit dem YouTube die Videos auf der Startseite bzw. die Watch Next Empfehlungen bestimmt. Wir betrachten sowohl die technischen Aspekte als auch die sozialen Implikationen.

Inhalt

Funktionsweise: Grundlegende Zielsetzung und Einflussfaktoren

  • Was sind Recommender Systeme (Empfehlungsdienste): Zeige einem Nutzer aus einer Auswahl die Objekte, die am relevantesten sind. Nutzt Methoden des maschinellen Lernens und des Information Retrieval.
  • Allgemeines Ziel: Glückliche User, die viel Zeit auf der Platform verbringen (z.B. um viel Werbung einblenden zu können)
  • Historie von YouTube Recommendations:
    • YouTube Gründung 2005, seit 2006 Tochtergesellschaft von Google
    • Bis 2012: Ranking nach Anzahl der Clicks (View-Count) => provoziert viel Click-Bait (reißerische Titel statt gutem Inhalt)
    • Ab 2012: Ranking nach Watch-Time => langatmige Videos, deren wichtigster Inhalt erst am Schluss kommt
    • Ab 2016 (teilweise Offenlegung in einem Whitepaper): Verwendung von Deep Neural Networks => Verwendung vieler weiterer Features
    • Bis heute: Weitere Anpassungen, um anstößige Inhalte zu reduzieren und gut kuratierte Inhalte zu fördern; s. z.B. hier und hier

Technik dahinter

  • Im Speziellen: Wie funktioniert der Youtube Algorithmus (das Whitepaper)
  • Datengetriebene Black-box (tiefe neuronale Netze) mit vielen Features
  • Welche Features sind u.a. wichtig:
    • Metadaten des Videos: Tags, Titel, Beschreibung etc.
    • Video-Performanz
    • Ähnliche User
    • Watch-Time
    • Demographie der User
  • Zweigeteilter Prozess:
    • Kandidatengenerierung: Erst Eingrenzung auf mehrere hundert Videos
      • Ziel: Vorhersage, welches Video als nächstes geschaut wird
      • Embedding von User mit Suchanfrage und Embeddings von Videos werden gematcht
    • Personalisierte Auswahl: Ranking und Fitting auf den User mit wenigen dutzend Videos
      • Weitere User- und Video-spezifische Features (Videos vom selben Channel gesehen, wann das letzte Mal etwas gesehen etc.)
      • Ranking erneut durch Matching der Embeddings
      • Hier wichtigstes Ziel: Watch-Time erhöhen

Soziale Implikationen

Was kann es für einzelne und die Gesellschaft für Probleme geben?

  • Das System ist proprietär => Keiner, insbesondere auch keine unabhängigen Stellen, kann nachschauen, ob hier alles im Lot ist!
  • Ein Recommender-System wählt Vorschläge, die „relevant“, tatsächlich aber einfach bequem für den User sind.
  • Probleme mit Bequemlichkeit:
    • Man wird in seiner eigenen Meinung bestärkt. Egal, ob ein weiterer Blick besser wäre oder nicht.
    • Einem wird möglicherweise eine „heile Welt“ vorgegaukelt.
    • Man wird nicht ermutigt, weitere Meinungen einzuholen oder sich mit weiteren Themen zu befassen.
  • Zementieren von gesellschaftlichem Bias: Es werden sehr sensible Merkmale für die Empfehlungen verwendet, z.B. Geschlecht!
  • Anstößiger, verwerflicher Inhalt, Desinformation: Wer sollte fürs Kuratieren in sozialen Netzwerken zuständig sein? Was sollte der Betreiber bestimmen und ab wann sollte eine unabhängige Stelle oder der Staat das erledigen? Wie verhindert man dabei dann staatliche Kontrolle von unabhängigen Medien?
  • Unsicherheit für Youtuber (=Personen, die über YouTube-Beiträge ihr Haupteinkommen beziehen): Guidelines zum Ranking ändern sich teilw. willkürlich; sie sollten einen klaren Einblick in Verbesserungsmöglichkeiten bekommen!

Sonstige Quellen

Episode herunterladen

Familientreffen

31.12.2022, 19:00

Ein paar der Fragen, mit denen wir uns befassen:

  • Über uns:
    • Wer sind unsere Gäste?
      • Laura: Beepos „Mama“ und unsere Designerin
      • Oli: Podcast-„Papi“ und unser technischer Support
    • Wie würde Oli eine KI in eine Achterbahn einbauen?
    • Was treiben die Podcastenden und die Podcasteltern sonst so?
    • Wie motivieren wir uns für Sport?
  • Zum Podcast:
    • Wie sind wir auf die Idee gekommen, einen Podcast zu machen?
    • Was haben sich Laura und Oli dabei gedacht?
    • Wann war Beepos Geburtstag? 3.6.2021
    • Woher hat Beepo seinen Namen?
    • Wenn man für Beepo ein Geschlecht angeben müsste, welches wäre das? Kind – auch wenn das kein Geschlecht ist 😉
      Kann man KIs in Geschlechter unterteilen?
    • Wann schaffen wir es, Folgen von unter 1h Länger zu produzieren?
    • Welche Formate sind sonst so geplant?
    • Mit welchem Tool nehmt ihr auf und schneidet? (Reaper + Studiolink)
  • Und ein paar unserer Abschweifungen waren:
    • Was ist eine kumulative Promotion?
    • Was heißt ein Duett in Disneyfilmen?
    • Wie ist das Ende von How I met your mother?
    • Was ist Unterwasserrugby?
    • Überlebenstipps fürs (Promotions-)Studium.

Sonstige Interessante Links

Episode herunterladen

Ist KI kreativ?

04.12.2022, 19:00

Wir beschäftigen uns heute mit der Frage, ob KI als kreativ bezeichnet werden kann. Nach einer Begriffsklärung zur Kreativität und dem Aufzählen von möglichen Techniken zur Datengenerierung betrachten wir Beispiele zur Bild-, Musik- und Textgenerierung.

Nochmal kurz für Beepo

  • Es gibt KI Algorithmen die auf Basis von vorhandenen Daten aus gegebenen (z.B. zufälligen) Eingaben neue, potentiell „kreative“ Daten erschaffen
  • KI kann eher als Assistentin für kreativ Schaffende dienen
  • Kreativität ist schwer zu definieren, da
    • das Kriterium „Originalität“ sehr subjektiv und schwer abzugrenzen ist; z.B.
      • Nicht alle Problemstellungen lassen originelle Lösungen zu => Eine Lösung kann nur so kreativ sein, wie es die Problemstellung zulässt!
      • Wenn die Eingaben nicht von einem Zufallsgenerator stammen, z.B. eine textuelle Bildbeschreibung oder ein vorgegebenes Foto, auf dem Style Transfer angewendet wird: Hier agiert die KI als eine Transformation der vorgegebenen Eingaben. Ab wann ist so eine Transformation (potentiell) kreativ und wann liegt die Kreativität noch rein in der Eingabe (= KI als besseres Bearbeitungstool)?
    • die Problemstellung an sich genügend Freiraum für kreative Lösungen geben muss

Was ist Kreativität?

  • Definition lt. Duden: „schöpferische Kraft, kreatives Vermögen“
  • Psychologie-Definition: Fähigkeit zu originellen (=nicht häufigen), produktiven (=schöpferischen) und nützlichen (= zweckdienlichen) Leistungen. (Stangl, 2022);
    Abgrenzung:
    • Intelligenz
      • Sucht eine richtige Lösung
    • Kreativität
      • Sucht alternative, nützliche, ästhetische Problemlösungen
      • Sehr subjektiv (insb. Originalität)
  • Nach Margaret A.Boden in „ Creativity and artificial intelligence“ (von 1998): KI-Techniken können auf 3 wegen kreative neue Ideen kreieren:
    • Neue Kombinationen bekannter Ideen
    • Durchsuchen eines Lösungsraums
    • Bereitstellen solcher Transformationen, die Generierung vorher unmöglicher Ideen ermöglichen

Techniken zur Datengenerierung

Wir brauchen generative, nicht diskriminative Prozesse.

  • Autoencoder
    • System, welches zur Aufgabe hat, Eingabedaten möglichst originalgetreu zu replizieren
    • Die Netzwerkarchitektur erzwingt, dass eine möglichst effizienten interne Codierung (Kompression) erlernt wird.
    • Für kreative neuartige Ausgaben: Die komprimierte Codierung kann gezielt oder zufällig verändert werden, um neue Ausgaben zu erhalten.
  • Generative Adversarial Networks (GANs)
    • Gegenseitiges Hochschaukeln von Generator (versucht, echt aussehende Ausgaben zu erzeugen) und Diskriminator (versucht, erzeugte von echten Beispielen zu unterscheiden)
    • Analogie: Geldfälscher (Generator) vs. Polizei (Diskriminator)
  • Transformer: Nehmen Sequenzen von Symbolen an und generieren Ausgabesequenzen
    • Abfolge von Encodern und Decodern
      • Encoder bringen die Eingabesymbole (z.B. Wörter) in eine interne Repräsentation (Vektoren); Position in der Sequenz beeinflusst die Repräsentation
      • Decoder bringen interne Repräsentation zurück in Symbole
    • Transformer lernen die interne Funktion zwischen Ein- und Ausgabesequenzen und beachten zusätzlich die Relationen zwischen Eingabesymbolen (z.B. Subjekt-Verb-Objekt-Beziehung in Text)

Anwendungsbeispiele

Bild: Style Transfer

  • Ziel von Style Transfer: Nehme ein Bild und lass es eine KI malen im Stil eines anderen Fotos / eines Künstlers
  • Unterschied zu anderen Aufgaben:
    • Traditionelle ML-Ansätze müssen aus vielen Paaren von Ein- und Ausgabebildern lernen; diese Paaren existieren hier nicht
    • Deshalb müssen die Eigenschaften vom Originalbild und der Stil-Referenz gelernt werden
  • Mögliche Modellarchitektur:
    • Zwei Netzwerke: Ein bereits trainierter „Feature Extractor“ und ein „Transfer-Netzwerk“
    • Feature Extractor kümmert sich um Extraktion von Content (spätere Ebenen) und Style (frühere Ebenen)
    • Transfer-Netzwerk kümmert sich um Generierung eines kombinierten Bildes
    • Loss-Funktion vergleicht Unterschiede zwischen Content/Style Outputs und generiertem Bild

Musik

Komponist Lucas Kantor nutzt KI um Franz Schuberts Symphonie Nr. 8, die „Unvollendete“ zu vollenden

  • Aufgabenformulierung:
    • Musik-Generierung nicht auf dem Level von Schallwellen, sondern auf dem Noten-Level (welche Noten kommen wo hin?)
    • KI spuckt Melodien aus und Cantor arrangiert diese
  • Daten-Grundlage: 2000 Schubert-Stücke
  • KI ist hier ein Tool, welches nichts ohne einen Menschen kann

Text: Textvervollständigung

  • Idee: Schreibe einen kurzen einleitenden Text und ein ML Modell schreibt den Text weiter
  • Kann live ausprobiert werden in Online-Demo basierend auf GPT-2, einem „Transformer-Netzwerk“

Links und sonstige schöne Quellen

Was sind Social Bots?

06.10.2022, 08:27

In dieser Folge beschäftigen wir uns mit Social Bots; kleinen automatischen Programmen, die in sozialen Netzwerken vereinzelt helfen, aber auch weniger gute Intentionen haben können. Social Bots können stören, überfluten und Meinungen manipulieren. Die Forschung hat aber auch Tools hervorgebracht, die KI-gestützt gegen bösartige Bots vorgehen können.

Nochmal kurz für Beepo

  • Ein Bot (kleiner Roboter) wird normalerweise verstanden als ein Programm, das mit Nutzern über Textnachrichten interagieren kann. Z.B. kann man einen Bot haben, der auf eine Textanweisung in einem Chat hin das Licht ausmachen, oder über eine Chatnachricht Bescheid geben kann, wenn es eine neue Nachricht auf einem Nachrichtenkanal gab.
  • Social Bots sind Programme, die über soziale Netzwerke mit Menschen interagieren, und hier auch Schindluder treiben können.
  • Social Bots sind präsent: Es wird geschätzt, dass ca. 15% der Profile auf Twitter eigentlich Bots sind.
  • Man kann verschiedene Sachen dagegen tun und die Forschung ist aktiv daran, Maßnahmen wie Boterkenner zu entwickeln. Schau dir z.B. mal Botometer an.

Warum habt Johannes diese Folge vorbereitet?

  • Ich sehe, wie viele Social Media Plattformen und Kommentarspalten von demokratie- und wissenschaftsfeindlichen Äußerungen/Meinungen durchsetzt sind, und ich will nicht glauben, dass das das Meinungsbild der Gesellschaft widerspiegelt
  • Ich war interessiert an der Frage, inwiefern Social Bots das Stimmungsbild in Sozialen Medien verzerren können
  • Außerdem wollte ich wissen, wie man Social Bots erkennen kann und wie man sogar etwas dagegen unternehmen kann.

Was sind Social Bots?

  • Kleine Programme, die – meist in sozialen Netzen – automatisiert Handlungen vornehmen (z.B. menschliches Verhalten simulieren, siehe ELIZA, Joseph Weizenbaum)
  • Oft nennt man die Profile, welche solche Handlungen vornehmen, Bots.
  • Aufteilung in gutartige und bösartige Bots:
    • Gutartige Bots können zum Beispiel manuelle Arbeit abnehmen
      • Umrechnen von Währungen
      • Akkumulieren von Informationen
      • Reposts finden (z.B. auf Reddit)
    • Die BPB definiert drei Kategorien für Bots aus der bösartigen Ecke:
      • Überlaster: Plattform / User mit zu vielen Nachrichten bombardieren
      • Trendsetter: viele Nachrichten posten, die einen gewollten Trend unterstützen, um es nach mehr Unterstützern aussehen zu lassen)
      • Auto-Trolle: automatisierte, oft ablenkende Antworten auf Posts von Personen oder mit bestimmter Meinung)

Wie funktionieren sie?

  • Häufig stellen soziale Netzwerke eine Programmierschnittstelle (API) zur Verfügung.
  • Über APIs (=programmatische Schnittstellen) lassen sich Bots starten und steuern; z.B.:
    • Die Timeline lässt sich nach Schlüsselworten durchsuchen und der Bot kann mit (teilweise auch kontextsensitiven) Tweets antworten
  • Bot-Profile folgen oft einfach zufällig anderen Profilen, um ihre Reichweite zu erhöhen
  • „Intelligenz“ von Bots:
    • Oftmals nur vage basierend auf komplexer KI, wenn überhaupt (meistens reichen wenige statische Regeln)
    • Ausgeklügeltere Bots können aber auch Fragen beantworten oder ganze Konversationen führen (vgl. Chatbots)

Gefahren von Social Bots

  • Einschätzung: ca. 9-15 % der Twitter-Profile sind Bots (Varol et al., 2017)
  • Weitreichende und schnelle Auswirkungen durch Automatisierung
  • Menschen als soziale Wesen tendieren zum „Folgen der Masse“
  • Verzerrung des (politischen) Meinungsbildes
    • Ein Thema kann künstlich aufgeblasen werden; z.B.:
      • Politiker:innen werden gut oder von ihren Gegner:innen schlecht dargestellt
      • Falsch-Informationen über die Impf-Debatte können rasant verteilt werden
    • Aber noch recht unbekanntes Forschungs-Terrain: Die Größe des Einflusses von Social Bots ist umstritten.

Was kann man gegen sie tun?

  • Machine Learning gegen bösartige Social Bots
  • Z.B. Supervised ML (gelabeltes Datenset von Tweets; Bot ja oder nein)
    • Problem: Woher kommt die Ground Truth?
      • Honeypots
        • Accounts, die nur Kauderwelsch tweeten
        • Bots wollen ihre Reichweite erhöhen und folgen zufälligerweise auch diesen Accounts
    • Als Attribute können sowohl Inhalt als auch Metadaten von Tweets verwendet werden
    • LSTMs als Methode, zeitabhängige Daten (auch Text) zu verarbeiten
  • Bei Botnets können Unsupervised ML Methoden verwendet werden um zu untersuchen, ob sich Accounts synchron verhalten
  • Botometer
    • Errechnet einen Bot-Score auf Profil-Ebene
    • Supervised ML Ansatz mit über 1000 Features
    • Subscores, damit man sieht, welche Faktoren wie viel Einfluss auf den Score hatten
    • Auf englischsprachige Profile ausgerichtet; es gibt aber auch einen sprachunabhängigen Score

Quellen und weitere interessante Links