論文の概要: EvoAudio: Recursive Self-Improvement for Audio Understanding
- arxiv url: http://arxiv.org/abs/2609.27389v1
- Date: Wed, 23 Sep 2026 05:45:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 00:05:17.901383
- Title: EvoAudio: Recursive Self-Improvement for Audio Understanding
- Title(参考訳): EvoAudio: 再帰的な自己改善による音声理解
- Abstract要約: EvoAudioは、音声理解のための自己改善システムである。
1つの閉ループでモデル、波形、質問、難易度を進化させたのは、これが初めてである。
- 参考スコア(独自算出の注目度): 18.096515362250532
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Audio language models understand what is said far better than how it sounds. Closing this gap takes more than data. Detailed acoustic annotation is costly, labels from stronger models inherit their errors and limits, and fixed data cannot adapt as the learner improves. We therefore propose EvoAudio, a recursive self-improvement system for audio understanding. To our knowledge, it is the first to evolve the model, waveforms, questions, and difficulty in one closed loop. EvoAudio uses the current model's performance to set the focus and difficulty of the next training data. A library of audio tools then constructs questions whose answers follow from how the audio was made, providing verifiable supervision without new human annotation. Reinforcement learning updates the model, and validation decides whether it enters the next evolution round. Across 13 rounds, EvoAudio improves five models with different audio encoders and language backbones on MMSU, MMAU-Pro, and MMAR. It achieves the highest average for every backbone, raising overall performance by up to 6.3 points. The improvement unfolds over successive rounds, with each stronger model starting the next round.
- Abstract(参考訳): オーディオ言語モデルは、それがどう聞こえるかよりもずっとよく言っていることを理解します。
このギャップを閉じるにはデータ以上のものが必要です。
詳細な音響アノテーションはコストがかかり、より強力なモデルのラベルはその誤りと限界を継承し、学習者が改善するにつれて固定データは適応できない。
そこで我々は,音声理解のための再帰的自己改善システムであるEvoAudioを提案する。
私たちの知る限り、1つの閉ループでモデル、波形、質問、難易度を進化させるのはこれが初めてである。
EvoAudioは、現在のモデルのパフォーマンスを使用して、次のトレーニングデータの焦点と難しさを設定します。
オーディオツールのライブラリーは、音声の作り方から回答を得た質問を作成し、新しい人間のアノテーションなしで検証可能な監視を提供する。
強化学習はモデルを更新し、それが次の進化ラウンドに入るかどうかを検証する。
13ラウンドにわたって、EvoAudioはMMSU、MMAU-Pro、MMARで異なるオーディオエンコーダと言語バックボーンを備えた5つのモデルを改善している。
各バックボーンの平均は最高で、全体のパフォーマンスは最大6.3ポイント向上する。
改良は連続したラウンドで展開され、それぞれのより強力なモデルが次のラウンドから始まる。
関連論文リスト
- Tracing Audio Grounding and Answer Selection in Audio LLMs [32.37191232040775]
一般的な治療法は、回答がテキストのみから推測できないデータ上でモデルをトレーニングすることである。
私たちは、音声が実際に答えを決定するために、モデル内で何が起こらなければならないのかを尋ねます。
論文 参考訳(メタデータ) (2026-09-04T02:16:45Z) - Audio Flamingo Next: Next-Generation Open Audio-Language Models for Speech, Sound, and Music [112.20887496511165]
AF-NextはAudio Flamingoシリーズの次世代かつ最も有能な大型オーディオ言語モデルである。
言語、環境音、音楽に対する理解と推論を促進するように設計されている。
AF-Nextは、プレトレーニング、ミッドトレーニング、ポストトレーニングの段階にまたがるカリキュラムベースの戦略を使って訓練されている。
すべてのデータ、コード、メソッドに加えて、AF-Next-Instruct、AF-Next-Think、AF-Next-Captionerを含む3種類のAF-Nextをオープンソースにしています。
論文 参考訳(メタデータ) (2026-04-13T02:11:56Z) - MiMo-Audio: Audio Language Models are Few-Shot Learners [87.95443029030969]
MiMo-Audio-7B-Baseは、音声変換、スタイル転送、音声編集などのトレーニングデータから欠落するタスクを一般化する。
MiMo-Audio-7B-Baseはまた、非常にリアルなトークショー、リサイクリング、ライブストリーミング、討論を生成できる強力な音声継続機能をデモしている。
論文 参考訳(メタデータ) (2025-12-29T19:06:05Z) - Kimi-Audio Technical Report [67.69331679172303]
Kimi-Audioは、オーディオ理解、生成、会話に優れたオープンソースのオーディオ基礎モデルである。
モデルアーキテクチャ、データキュレーション、トレーニングレシピ、推論デプロイメント、評価を含む、Kim-Audioの構築プラクティスについて詳述する。
論文 参考訳(メタデータ) (2025-04-25T15:31:46Z) - Make-An-Audio: Text-To-Audio Generation with Prompt-Enhanced Diffusion
Models [65.18102159618631]
マルチモーダル生成モデリングは、テキスト・ツー・イメージとテキスト・ツー・ビデオ生成においてマイルストーンを生み出した。
高品質のテキストオーディオペアを備えた大規模データセットの欠如、長期連続的なオーディオデータのモデリングの複雑さ、という2つの主な理由から、オーディオへの適用は依然として遅れている。
本稿では,これらのギャップに対処する急激な拡散モデルを用いたMake-An-Audioを提案する。
論文 参考訳(メタデータ) (2023-01-30T04:44:34Z) - BEATs: Audio Pre-Training with Acoustic Tokenizers [77.8510930885778]
自己教師付き学習(SSL)は、ここ数年、言語、ビジョン、スピーチ、オーディオドメインで目撃されてきた。
本稿では、音声変換器から双方向表現を学習するための反復型オーディオ事前学習フレームワークBEATを提案する。
最初のイテレーションでは、ランダムプロジェクションを音響トークンとして使用し、マスクとラベル予測の方法でオーディオSSLモデルをトレーニングする。
そこで,本研究では,事前学習あるいは微調整した音声SSLモデルから意味知識を抽出することにより,次のイテレーションのための音響トークン化装置を訓練する。
論文 参考訳(メタデータ) (2022-12-18T10:41:55Z) - AudioGen: Textually Guided Audio Generation [116.57006301417306]
記述文キャプションに条件付き音声サンプルを生成する問題に対処する。
本研究では,テキスト入力に条件付き音声サンプルを生成する自動回帰モデルであるAaudioGenを提案する。
論文 参考訳(メタデータ) (2022-09-30T10:17:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。