論文の概要: Improving Text-to-Audio Instruction Following via Fine-Grained Feedback from Audio-Aware Large Language Models
- arxiv url: http://arxiv.org/abs/2607.13408v1
- Date: Wed, 15 Jul 2026 03:13:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-16 16:39:12.629302
- Title: Improving Text-to-Audio Instruction Following via Fine-Grained Feedback from Audio-Aware Large Language Models
- Title（参考訳）: 音声認識大言語モデルからの微粒フィードバックによるテキスト・音声教育の改善
- Abstract要約: 最近の音声合成モデルは高品質な音声を生成するが、複数の音声イベントと時間順を含む指示に従わないことが多い。
本稿では,音声対応の大規模言語モデルを用いた指示レベルフレームワークを提案する。
実験の結果,既存のベンチマークやS3Benchにおける事象完全性,時間的順序付け,共同指示追従の精度が向上し,音質の維持が図られた。
- 参考スコア（独自算出の注目度）: 51.75139461584678
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent text-to-audio models generate high-quality audio, but often fail to follow instructions involving multiple sound events and temporal order. This gap arises because existing evaluation and training signals mainly emphasize global similarity or perceptual quality, with limited supervision on instruction-level correctness. We propose an instruction-level framework that uses audio-aware large language models (ALLMs) as fine-grained judges to verify target event presence and temporal relations in generated audio. After validating ALLM judgments on benchmarks and through human verification, we use their feedback to construct preference pairs for direct preference optimization. We further introduce S3Bench, a narrative benchmark for evaluating multi-event temporal instruction following. Experiments show that our method improves event completeness, temporal ordering, and joint instruction-following accuracy across existing benchmarks and S3Bench, while maintaining audio quality.
- Abstract（参考訳）: 最近の音声合成モデルは高品質な音声を生成するが、複数の音声イベントと時間順を含む指示に従わないことが多い。
このギャップは、既存の評価と訓練信号が、主にグローバルな類似性や知覚的品質を強調し、指導レベルの正しさを限定的に監督していることから生じる。
本稿では,音声認識型大規模言語モデル(ALLM)を微粒化判断器として用いて,生成した音声の事象の有無と時間的関係を検証するための命令レベルフレームワークを提案する。
ベンチマーク上でALLM判定を検証し、人間による検証を経て、直接選好最適化のための選好ペアを構築する。
S3Benchは,複数項目の時間的インストラクションを評価するためのナラティブベンチマークである。
実験の結果,既存のベンチマークやS3Benchにおける事象完全性,時間的順序付け,共同指示追従の精度が向上し,音質の維持が図られた。
関連論文リスト
- TEMPO: Temporally-grounded Multi-task Post-training for Large Audio-Language Models [58.80225070159013]
大型オーディオ言語モデル(LALM)は、クリップレベルで音声を記述するが、イベント、スピーカー、音声にタイムスタンプを割り当てることはできない。
我々は、音声、音声、音楽のタイムスタンプタスクを処理する最初の統合モデルであるTEMPOを提案する。
論文 参考訳（メタデータ） (2026-08-30T19:49:21Z) - AudioMosaic: Contrastive Masked Audio Representation Learning [53.52371029884106]
一般的な音声理解のためのコントラスト学習型オーディオエンコーダであるtextbfAudioMosaic を紹介する。
AudioMosaicは、構造化された時間周波数マスキングをスペクトログラムパッチに適用することで、正のペアを構成する。
実験によると、AudioMosaicはいくつかの標準オーディオベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-05-14T00:56:51Z) - Temporal Contrastive Decoding: A Training-Free Method for Large Audio-Language Models [56.91801348360746]
大規模な音声言語モデル(LALM)は、音声、音声、音楽にまたがって一般化される。
統一デコーダは 時空間のスムーズなバイアスを示します
LALMの学習自由復号法であるemphTemporal Contrastive Decoding (TCD)を提案する。
論文 参考訳（メタデータ） (2026-04-16T02:30:41Z) - Detect Any Sound: Open-Vocabulary Sound Event Detection with Multi-Modal Queries [18.147981850263708]
マルチモーダルクエリによってガイドされるオープン語彙SEDのための問合せベースのフレームワークを提案する。
DASMはSEDをフレームレベルの検索タスクとして定式化し、音声機能はテキストやオーディオプロンプトからのクエリベクトルと一致している。
DASMは、局所化精度と新しいクラスへの一般化のバランスを効果的に保ち、オープン語彙設定においてCLAPベースの手法より優れている。
論文 参考訳（メタデータ） (2025-07-22T08:24:01Z) - From Alignment to Advancement: Bootstrapping Audio-Language Alignment with Synthetic Data [55.2480439325792]
音声対応の大規模言語モデル(ALLM)は近年,音声入力の理解と処理において大きな進歩を遂げている。
これらのモデルは典型的にはテキストベースの大規模言語モデル(LLM)に適応し、音声関連タスクのさらなるトレーニングを行う。
本研究では、現在と欠落した音を区別するALLMの能力を高めるために、コントラッシブな訓練データを生成するデータ生成フレームワークを提案する。
論文 参考訳（メタデータ） (2025-05-26T16:08:41Z) - TACOS: Temporally-aligned Audio CaptiOnS for Language-Audio Pretraining [3.5570874721859016]
音声録音におけるテキスト記述と時間領域の整合を学習するフレームワイドコントラスト学習手法を提案する。
我々のモデルは,AudioSet Strongベンチマークで評価した場合,グローバルキャプションでのみ訓練されたモデルと比較して,時間的テキスト・オーディオアライメント能力が優れている。
論文 参考訳（メタデータ） (2025-05-12T14:30:39Z) - CAV-MAE Sync: Improving Contrastive Audio-Visual Mask Autoencoders via Fine-Grained Alignment [76.32508013503653]
CAV-MAE Sync は,自己教師型音声視覚学習のためのオリジナルの CAV-MAE フレームワークの簡易かつ効果的な拡張として提案する。
音声をグローバルな表現ではなく,映像フレームに整合した時間的シーケンスとして扱うことで,モダリティ間のミスマッチに対処する。
パッチトークンのセマンティック負荷を低減するための学習可能なレジスタトークンを導入することにより,空間的ローカライゼーションを改善する。
論文 参考訳（メタデータ） (2025-05-02T12:59:58Z) - Leveraging Language Model Capabilities for Sound Event Detection [10.792576135806623]
本稿では,音声イベントとその時間的位置を同時に生成しながら,音声特徴を理解するためのエンドツーエンドフレームワークを提案する。
具体的には、事前学習された音響モデルを用いて、異なるカテゴリーにわたる識別的特徴を捉え、自動回帰テキスト生成のための言語モデルを用いる。
論文 参考訳（メタデータ） (2023-08-22T15:59:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。