論文の概要: Step-Audio: Unified Understanding and Generation in Intelligent Speech Interaction
- arxiv url: http://arxiv.org/abs/2502.11946v2
- Date: Tue, 18 Feb 2025 07:29:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-19 13:32:01.382222
- Title: Step-Audio: Unified Understanding and Generation in Intelligent Speech Interaction
- Title（参考訳）: Step-Audio:インテリジェント音声対話における統一的理解と生成
- Abstract要約: 本稿では,音声認識のための最初のプロダクション対応オープンソースソリューションであるStep-Audioを紹介する。
1) 統合された理解と生成を実現する統合音声テキストマルチモーダルモデル、2) 安価な音声クローニングフレームワークを確立し、蒸留によりオープンソースで軽量なStep-Audio-TTS-3Bモデルを生産する生成音声データエンジン、3) 方言、感情、歌、RAP間の動的調整を可能にする命令駆動型微制御システム、4) ツールコールとロールプレイング機能を備えた強化認知アーキテクチャ。
- 参考スコア（独自算出の注目度）: 110.38946048535033
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Real-time speech interaction, serving as a fundamental interface for human-machine collaboration, holds immense potential. However, current open-source models face limitations such as high costs in voice data collection, weakness in dynamic control, and limited intelligence. To address these challenges, this paper introduces Step-Audio, the first production-ready open-source solution. Key contributions include: 1) a 130B-parameter unified speech-text multi-modal model that achieves unified understanding and generation, with the Step-Audio-Chat version open-sourced; 2) a generative speech data engine that establishes an affordable voice cloning framework and produces the open-sourced lightweight Step-Audio-TTS-3B model through distillation; 3) an instruction-driven fine control system enabling dynamic adjustments across dialects, emotions, singing, and RAP; 4) an enhanced cognitive architecture augmented with tool calling and role-playing abilities to manage complex tasks effectively. Based on our new StepEval-Audio-360 evaluation benchmark, Step-Audio achieves state-of-the-art performance in human evaluations, especially in terms of instruction following. On open-source benchmarks like LLaMA Question, shows 9.3% average performance improvement, demonstrating our commitment to advancing the development of open-source multi-modal language technologies. Our code and models are available at https://github.com/stepfun-ai/Step-Audio.
- Abstract（参考訳）: リアルタイム音声対話は、人間と機械のコラボレーションの基本的なインターフェースとして機能し、大きな可能性を秘めている。
しかし、現在のオープンソースモデルは、音声データ収集の高コスト、動的制御の弱点、限られたインテリジェンスといった制限に直面している。
これらの課題に対処するために、最初のプロダクション対応のオープンソースソリューションであるStep-Audioを紹介します。
主な貢献は以下の通り。
1)Step-Audio-Chatバージョンをオープンソース化した130Bパラメータ統合音声テキストマルチモーダルモデル
2 安価な音声クローニングフレームワークを確立し、蒸留によりオープンソースの軽量ステップオーディオTTS-3Bモデルを生産する生成音声データエンジン。
3)方言,感情,歌唱,RAPの動的調整を可能にする指示駆動の微調整システム
4)複雑なタスクを効果的に管理するツールコールとロールプレイング機能を備えた認知アーキテクチャの強化。
新たなSteepEval-Audio-360評価ベンチマークに基づいて,人間による評価,特に指示の追従に関して,最先端のパフォーマンスを実現している。
LLaMA Questionのようなオープンソースのベンチマークでは、平均的なパフォーマンス改善が9.3%あり、オープンソースのマルチモーダル言語技術の発展へのコミットメントを示しています。
私たちのコードとモデルはhttps://github.com/stepfun-ai/Step-Audio.comで公開されています。
関連論文リスト
- Qwen-Audio-3.0-ASR Technical Report [52.28849889799101]
本稿では,Mixture-of-Experts (MoE) LLM-based ASRシステムであるQwen-Audio-3.0-ASRを提案する。
Qwen-Audio-3.0-ASRは8つの主要方言領域にまたがる30の言語と16の中国語方言の転写をサポートしている。
レイテンシに敏感なアプリケーションのための専用ストリーミング変種Qwen-Audio-3.0-ASR-Streamingを開発した。
論文 参考訳（メタデータ） (2026-09-07T14:30:56Z) - Covo-Audio Technical Report [61.09708870154148]
7BバックエンドのLALMであるCovo-Audioは、連続的なオーディオ入力を直接処理し、単一の統一アーキテクチャ内でオーディオ出力を生成する。
対話指向の変種であるCovo-Audio-Chatは、意味的に強い会話能力を示す。
論文 参考訳（メタデータ） (2026-02-10T14:31:11Z) - Step-Audio-EditX Technical Report [61.039849674472585]
提案するStep-Audio-EditXは,表現的かつ反復的な音声編集に優れる,初めてのオープンソースのLCMベースオーディオモデルである。
私たちの中心となるイノベーションは、組み込みベースのプリエントや補助モジュールの必要性を回避するために、大規模な合成データのみを活用することです。
Step-Audio-EditX は感情編集やその他の細かい制御タスクにおいて MiniMax-2.6-hd と Doubao-Seed-TTS-2.0 を上回っている。
論文 参考訳（メタデータ） (2025-11-05T16:22:19Z) - VoiceAssistant-Eval: Benchmarking AI Assistants across Listening, Speaking, and Viewing [45.15289852736435]
VoiceAssistant-Evalは、13のタスクカテゴリにまたがる10,497のキュレートされた例で構成されている。
実用性を示すため,21のオープンソースモデルとGPT-4o-Audioを評価した。
プロプライエタリなモデルは、オープンソースモデルより普遍的に優れているわけではない。
論文 参考訳（メタデータ） (2025-09-26T17:59:59Z) - Step-Audio 2 Technical Report [108.04129284951314]
Step-Audio 2は、業界における音声理解と音声会話のために設計された、エンドツーエンドのマルチモーダルな大規模言語モデルである。
遅延オーディオエンコーダと推論中心強化学習(RL)を統合することにより、Step-Audio 2は自動音声認識(ASR)および音声理解において有望な性能を達成する。
論文 参考訳（メタデータ） (2025-07-22T14:23:55Z) - Step-Audio-AQAA: a Fully End-to-End Expressive Large Audio Language Model [85.72664004969182]
本稿では,AQAA(Audio-Audio Answer)タスク用に設計された完全エンドツーエンドのLALMであるStep-Audio-AQAAを紹介する。
このモデルは、言語的特徴抽出と意味的特徴抽出のためのデュアルコードブックオーディオトークンーザを統合している。
我々のポストトレーニングアプローチでは、意味的コヒーレンスを高めるために、テキストとオーディオのインターリーブドトークンアウトプットを用いる。
論文 参考訳（メタデータ） (2025-06-10T16:37:39Z) - VITA-Audio: Fast Interleaved Cross-Modal Token Generation for Efficient Large Speech-Language Model [70.25062476543091]
VITA-Audioは、高速な音声テキストトークン生成を備えたエンドツーエンドの大規模音声モデルである。
MCTPモジュールは、単一のモデルフォワードパス内で複数のオーディオトークンを効率よく生成する。
4段階のプログレッシブ・トレーニング・ストラテジーは,音声品質の低下を最小限に抑えたモデルアクセラレーションを実現するために検討された。
論文 参考訳（メタデータ） (2025-05-06T17:59:53Z) - Nexus: An Omni-Perceptive And -Interactive Model for Language, Audio, And Vision [50.23246260804145]
本研究は, 聴覚, 視覚, 言語的モダリティを統合した, 産業レベルのOmni-Modal Large Language Model (LLM) パイプラインを提案する。
まず、様々なエンコーダ-LLM-デコーダアーキテクチャの柔軟な構成を可能にするモジュラーフレームワークです。
第二に、最先端のビジョン言語モデルであるQwen2.5-VLのオーディオ言語アライメントを事前訓練する軽量なトレーニング戦略である。
第三に、様々な現実世界のシナリオから高品質な音声テキストデータを生成するオーディオ合成パイプライン。
論文 参考訳（メタデータ） (2025-02-26T17:26:36Z) - Baichuan-Audio: A Unified Framework for End-to-End Speech Interaction [9.101978573666546]
Baichuan-Audioは、音声理解と生成をシームレスに統合するエンドツーエンドのオーディオ大言語モデルである。
テキスト誘導されたアライメントされた音声生成機構を備え、理解能力と生成能力の両方でリアルタイムな音声対話を可能にする。
論文 参考訳（メタデータ） (2025-02-24T15:16:34Z) - Lyra: An Efficient and Speech-Centric Framework for Omni-Cognition [57.131546757903834]
Lyraはマルチモーダル能力を向上する効率的なMLLMであり、高度な長音声理解、音声理解、相互モダリティ効率、シームレスな音声対話などが含まれる。
Lyraは様々な視覚言語、視覚音声、音声言語のベンチマークで最先端のパフォーマンスを達成し、計算資源が少なく、訓練データも少ない。
論文 参考訳（メタデータ） (2024-12-12T17:50:39Z) - Where are we in audio deepfake detection? A systematic analysis over generative and detection models [59.09338266364506]
SONARはAI-Audio Detection FrameworkとBenchmarkの合成である。
最先端のAI合成聴覚コンテンツを識別するための総合的な評価を提供する。
従来のモデルベース検出システムと基礎モデルベース検出システムの両方で、AIオーディオ検出を均一にベンチマークする最初のフレームワークである。
論文 参考訳（メタデータ） (2024-10-06T01:03:42Z) - Large Language Model Based Generative Error Correction: A Challenge and Baselines for Speech Recognition, Speaker Tagging, and Emotion Recognition [110.8431434620642]
生成音声の書き起こし誤り訂正(GenSEC)の課題について紹介する。
この課題は、(i)ASR後の転写補正、(ii)話者タグ付け、(iii)感情認識という、3つのASR後の言語モデリングタスクを含む。
本稿では,ベースライン評価から得られた知見と,今後の評価設計における教訓について論じる。
論文 参考訳（メタデータ） (2024-09-15T16:32:49Z) - Mini-Omni: Language Models Can Hear, Talk While Thinking in Streaming [0.0]
ミニオムニ(Mini-Omni)は、リアルタイム音声対話が可能な音声ベースのエンドツーエンド会話モデルである。
そこで本研究では,テキストによる音声生成手法と,推論中のバッチ並列戦略を併用して,性能を向上させる手法を提案する。
また、最適化音声出力のための微調整モデルにVoiceAssistant-400Kデータセットを導入する。
論文 参考訳（メタデータ） (2024-08-29T17:18:53Z) - FunAudioLLM: Voice Understanding and Generation Foundation Models for Natural Interaction Between Humans and LLMs [63.8261207950923]
FunAudioLLMは、人間と大規模言語モデル(LLM)の間の自然な音声相互作用を強化するために設計されたモデルファミリーである
中心となる2つの革新的なモデルとして、多言語音声認識、感情認識、音声イベント検出を処理するSenseVoiceと、複数の言語、音色、話し方、話者識別を制御した自然言語生成を容易にするCosyVoiceがある。
SenseVoiceとCosyVoiceに関連するモデルは、GitHubでリリースされたトレーニング、推論、微調整コードとともに、ModelscopeとHuggingfaceでオープンソース化されている。
論文 参考訳（メタデータ） (2024-07-04T16:49:02Z) - A Multimodal Approach to Device-Directed Speech Detection with Large Language Models [41.37311266840156]
我々は、ユーザが各コマンドをトリガーフレーズで開始しなければならないという要求を省くことが可能かどうかを探る。
音声波形から得られた音響情報のみを用いて分類器を訓練する。
本研究では,1-best仮説などの自動音声認識システムのデコーダ出力を,大規模言語モデルへの入力特徴とみなす。
論文 参考訳（メタデータ） (2024-03-21T14:44:03Z) - AIR-Bench: Benchmarking Large Audio-Language Models via Generative Comprehension [95.8442896569132]
AIR-Benchは,Large Audio-Language Models (LALM) の様々な種類の音声信号を理解し,テキスト形式で人間と対話する能力を評価する最初のベンチマークである。
その結果, GPT-4による評価と人間による評価との間には高い一貫性が認められた。
論文 参考訳（メタデータ） (2024-02-12T15:41:22Z) - Efficient Multimodal Neural Networks for Trigger-less Voice Assistants [0.8209843760716959]
本稿では,スマートウォッチ用ニューラルネットワークを用いたマルチモーダルフュージョンシステムを提案する。
このシステムは、音声とジェスチャーデータの時間的相関をよりよく理解し、正確な呼び出しにつながる。
軽量で、スマートウォッチなどの低消費電力デバイスにデプロイ可能で、起動時間も速い。
論文 参考訳（メタデータ） (2023-05-20T02:52:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。