Audio-Modelle per API: STT, TTS und Voice Agents 2026

Drei Aufgaben, drei unterschiedliche Modelltypen

„Audio“ ist kein einheitlicher API-Einsatzzweck. Bei Speech-to-Text wird eine Aufnahme in Text umgewandelt; je nach Modell kommen Zeitstempel und Sprecherzuordnung hinzu. Text-to-Speech macht aus geschriebenem Text gesprochene Ausgabe. Realtime-Voice-Modelle verbinden Erkennung und Sprachausgabe zu einem Gespräch, in dem ein Agent auf Unterbrechungen und Sprecherwechsel reagieren muss.

Entscheiden Sie zuerst, was Ihre Anwendung tatsächlich braucht. Für ein Meeting-Protokoll zählt, ob Namen und Sprecherwechsel brauchbar erfasst werden. Bei Hörbuch oder mehrsprachiger Produktansage sind Sprachabdeckung und gleichmäßiger Vortrag wichtiger. Für einen Telefonagenten ist entscheidend, wie schnell die gesamte Anwendung reagiert – nicht nur, wie schnell das Modell einen Teil der Antwort liefert.

• Transkription: aufgezeichnete Gespräche, Interviews, Besprechungen oder Diktate in Text umwandeln.
• Sprachausgabe: Texte natürlich vorlesen lassen, etwa für Vertonung, Apps oder IVR-Menüs.
• Voice Agent: Sprache in Echtzeit verstehen und beantworten, gegebenenfalls mit Werkzeugaufrufen.

Speech-to-Text: Sprecher, Zeitstempel und Fachgebiet prüfen

Für nachträgliche Transkriptionen ist scribe_v2 von ElevenLabs eine Option, wenn Sie Wort-Zeitstempel oder Sprechertrennung benötigen: Die Dokumentation nennt Diarisierung für bis zu 32 Sprecher. Für klinische Aufnahmen gibt es scribe_v2_medical, ein Batch-Modell, das auf medizinisches Audio abgestimmt ist. Das ist ein engerer Einsatzzweck als allgemeine Meeting-Transkription; prüfen Sie trotzdem, ob Erkennung und Verarbeitung zu Ihren Anforderungen passen.

Bei Mistral deckt die Voxtral-Transcribe-3-Familie Transkription und Diarisierung ab. Für Live-Anwendungen ist Voxtral Mini Transcribe Realtime 3 vorgesehen. Die Bezeichnung „Realtime“ allein sagt jedoch nicht, ob die Antwort schnell genug für Ihren Gesprächsablauf kommt. Testen Sie mit echten Aufnahmen, einschließlich Hintergrundgeräuschen, mehreren Sprechern und den Akzenten, die in Ihrem Produkt vorkommen.

OpenAIs gpt-4o-transcribe sollten Sie nicht als aktuelle Standardempfehlung einplanen: Die Modellseite kennzeichnet es als veraltet. Ältere Tutorials oder Einträge in Katalogen können den Namen noch aufführen. Vor einer Umsetzung sollten Sie daher den Status und die unterstützten Endpunkte in der jeweiligen Maker-Dokumentation kontrollieren.

Text-to-Speech: Natürlichkeit, Sprachen und lange Texte

Für hochwertige, ausdrucksstarke Ausgabe führt ElevenLabs eleven_v4 mit Unterstützung für mehr als 90 Sprachen. Wenn längere Erzählungen möglichst stabil klingen sollen, ist eleven_multilingual_v2 mit 29 Sprachen auf Longform-Ausgabe ausgerichtet. eleven_v3 unterstützt mehr als 70 Sprachen. Die Sprachzahl allein ist kein Qualitätsversprechen: Hören Sie sich Ausgaben in den konkreten Sprachen und mit Ihrem eigenen Text an.

Wenn kurze Reaktionszeiten Vorrang haben, nennt ElevenLabs für eleven_v4_turbo eine mediane Latenz von etwa 100 Millisekunden; eleven_flash_v2_5 unterstützt 32 Sprachen und nennt ebenfalls etwa 100 Millisekunden. eleven_flash_v2 ist auf Englisch ausgelegt und weist eine mediane Latenz von etwa 135 Millisekunden aus. Diese Herstellerwerte schließen Netzwerk- und Anwendungslatenz aus. Sie sind deshalb kein Messwert dafür, wie schnell die fertige Sprachausgabe in Ihrer App ankommt.

Mistrals Voxtral TTS 3 bietet laut Modellübersicht Sprachgenerierung, Voice Cloning und Streaming. ElevenLabs führt ebenfalls verschiedene Sprachmodelle und zusätzlich Musikmodelle. Wenn Sie eine Stimme klonen möchten, holen Sie die erforderliche Einwilligung ein und beachten Sie die Regeln des jeweiligen Anbieters. Ein API-Feature ersetzt weder diese Zustimmung noch eine Prüfung der Nutzungsbedingungen.

Realtime-Voice-Agents: messen Sie den ganzen Gesprächsweg

Für einen Agenten am Telefon oder im Browser reichen isolierte Modell-Latenzen nicht aus. Zur tatsächlichen Reaktionszeit tragen unter anderem Audioaufnahme, Netzwerk, Verarbeitung, eventuelle Werkzeugaufrufe und die Wiedergabe bei. Messen Sie deshalb den Weg vom Ende der Nutzeräußerung bis zum hörbaren Beginn der Antwort – mit Ihrer Infrastruktur und typischen Gesprächsverläufen.

ElevenLabs nennt eleven_realtime_v1_mini für schnelle Gespräche, Turn-Taking und Unterbrechungen. eleven_realtime_v1_max ist auf mehrstufige Aufgaben ausgelegt und unterstützt Tool Calling. Für eine einfache Sprachsteuerung kann ein schlankerer Gesprächsablauf genügen; muss der Agent dagegen Informationen nachschlagen oder Aktionen ausführen, sollten Sie den gesamten Werkzeugpfad testen. Auch Voxtral Mini Transcribe Realtime 3 ist für Echtzeit-Agenten gedacht. Vergleichen Sie Modelle mit denselben Äußerungen und denselben Antwortaufgaben.

Musik und Sound sind nicht dasselbe wie Sprach-APIs

Musikgenerierung ist ein eigener Anwendungsfall und sollte nicht mit Transkription oder Sprachsynthese gleichgesetzt werden. ElevenLabs führt neben Sprachmodellen music_v2_5, music_v2 und music_v1. Das kann für ein Produkt interessant sein, das Sprache und Musik aus einer API-Familie beziehen möchte. Daraus folgt aber nicht, dass jede Multi-Modell-Plattform diese Modelle anbietet. Auch die Audio-Unterseite unserer Vergleichstabelle zeigt keine einzelnen Audio- oder Musikmodelle an.

Ein Sonderfall für Entwickler, die Audioeingabe in einem eigenen Modell verarbeiten möchten, ist Voxtral Small (25.07): Mistral führt es mit Audioeingabe für Instruct-Anwendungen und Apache-2.0-Lizenz als offen. Verwechseln Sie es nicht mit den Voxtral-Transkriptions- oder TTS-Modellen; die Modellübersicht kennzeichnet diese nicht als offen.

Multi-Modell-Plattform oder direkter Zugang?

Die gefilterte Tabelle umfasst sechs Plattformen: AI/ML API, CometAPI, Novita AI, PiAPI, WaveSpeedAI und BeeSwitch. Sie nennt dort Modellfamilien, aber keine konkreten Audio-Modellnamen. Die ausgewiesenen Modellzahlen beziehen sich auf alle Modellarten, nicht auf Audio. Sie können daraus also nicht ablesen, ob etwa ein bestimmtes ElevenLabs- oder Voxtral-Modell verfügbar ist. Prüfen Sie vor der Integration die aktuelle Modellliste und die unterstützten Audio-Endpunkte der Plattform.

Eine Multi-Modell-Plattform kann praktisch sein, wenn Sie Anbieter in einer gemeinsamen Umgebung vergleichen oder später leichter zwischen Modellfamilien wechseln möchten. Ob Sie dadurch sparen, hängt jedoch von Plattformaufschlägen, Abrechnung, Funktionsumfang und Ihrem Volumen ab. Der direkte Zugang beim Modellanbieter kann sinnvoll sein, wenn Sie eine bestimmte Funktion brauchen oder die Dokumentation und Modellkontrolle direkt dort nutzen möchten. Achten Sie bei beiden Wegen auf Streaming, Zeitstempel, Diarisierung, Tool Calling, Datenverarbeitung und mögliche Beschränkungen.

Unsere vollständige KI-API-Vergleichstabelle umfasst 7 Pläne von 7 Anbietern; dort beginnen die ausgewiesenen Preise bei 31,33 €. Diese Werte gelten für den gesamten KI-API-Vergleich, nicht speziell für Audio-APIs. Die Preisangaben wurden zuletzt am 31 Oktober 2026 synchronisiert. Die Audio-Tabelle zeigt außerdem Zahlungsmodelle wie Pay-as-you-go oder einen monatlichen Tarif, aber keine vergleichbaren Kosten pro Audiominute oder Textmenge.

Kosten fair vergleichen: erst die Einheiten vereinheitlichen

Audio-APIs rechnen nicht zwingend nach derselben Einheit ab. Transkription wird häufig pro Audiominute berechnet, Sprachgenerierung pro Zeichen oder pro Ausgabeminute. Ein Pauschaltarif oder ein Mindestbetrag zum Aufladen ist wiederum eine Tarifbedingung, keine Angabe darüber, was ein konkretes Gespräch kostet. Vergleichen Sie deshalb keine bloßen Tarifnamen oder Startbeträge.

Erstellen Sie für Ihren Anwendungsfall einen kleinen Testkorpus und halten Sie die Mengen fest: Audiominuten für Transkription, Zeichen oder erzeugte Audiozeit für TTS sowie Gesprächsdauer und Werkzeugaufrufe für Voice Agents. Rechnen Sie die erwartete Nutzung mit den Einheiten und Regeln jedes Angebots durch. Fragen Sie zusätzlich, ob Streaming, Wiederholungen oder weitere Funktionen separat abgerechnet werden. So sehen Sie, ob eine Plattform Ihnen tatsächlich Kosten oder Integrationsaufwand erspart – statt nur eine andere Abrechnung vorzunehmen.