論文の概要: From Alignment to Advancement: Bootstrapping Audio-Language Alignment with Synthetic Data

• arxiv url: http://arxiv.org/abs/2505.20166v2
• Date: Mon, 30 Jun 2025 06:48:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-01 15:08:39.437375
• Title: From Alignment to Advancement: Bootstrapping Audio-Language Alignment with Synthetic Data
• Title（参考訳）: アライメントから進化へ:合成データによる音声言語アライメントのブートストラップ
• Authors: Chun-Yi Kuan, Hung-yi Lee,
• Abstract要約: 音声対応の大規模言語モデル(ALLM)は近年,音声入力の理解と処理において大きな進歩を遂げている。 これらのモデルは典型的にはテキストベースの大規模言語モデル(LLM)に適応し、音声関連タスクのさらなるトレーニングを行う。 本研究では、現在と欠落した音を区別するALLMの能力を高めるために、コントラッシブな訓練データを生成するデータ生成フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 55.2480439325792
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Audio-aware large language models (ALLMs) have recently made great strides in understanding and processing audio inputs. These models are typically adapted from text-based large language models (LLMs) through additional training on audio-related tasks. However, this adaptation process presents two major limitations. First, ALLMs often suffer from catastrophic forgetting, where crucial textual capabilities like instruction-following are lost after training on audio data. In some cases, models may even hallucinate sounds that are not present in the input audio, raising concerns about reliability. Second, achieving cross-modal alignment between audio and language typically relies on large collections of task-specific question-answer pairs for instruction tuning, making it resource-intensive. To address these issues, previous works have leveraged the backbone LLMs to synthesize general-purpose, caption-style alignment data. In this paper, we propose a data generation framework that produces contrastive-like training data, designed to enhance ALLMs' ability to differentiate between present and absent sounds. We further extend our approach to multi-audio scenarios, enabling the model to either explain differences between audio inputs or produce unified captions that describe all inputs, thereby enhancing audio-language alignment. We refer to the entire ALLM training framework as bootstrapping audio-language alignment via synthetic data generation from backbone LLMs (BALSa). Experimental results indicate that our method effectively mitigates audio hallucinations while reliably maintaining strong performance on audio understanding and reasoning benchmarks, as well as instruction-following skills. Moreover, incorporating multi-audio training further enhances the model's comprehension and reasoning capabilities. Overall, BALSa offers an efficient and scalable approach to developing ALLMs.
• Abstract（参考訳）: 音声対応の大規模言語モデル(ALLM)は近年,音声入力の理解と処理において大きな進歩を遂げている。 これらのモデルは典型的にはテキストベースの大規模言語モデル(LLM)に適応し、音声関連タスクのさらなるトレーニングを行う。 しかし、この適応プロセスには2つの大きな制限がある。 まず、ALLMは破滅的な忘れ込みに悩まされがちです。 場合によっては、モデルが入力オーディオに存在しない音を幻覚させ、信頼性への懸念を引き起こすこともある。 第2に、音声と言語間のモーダルなアライメントを実現するには、典型的には、命令チューニングのためのタスク固有の質問応答ペアの大規模なコレクションに依存しており、リソース集約化が図られている。 これらの問題に対処するために、以前の研究はバックボーンLLMを利用して汎用的なキャプションスタイルのアライメントデータを合成した。 本稿では,現在音と欠音の区別能力を高めるために,コントラスト的な訓練データを生成するデータ生成フレームワークを提案する。 マルチオーディオシナリオへのアプローチをさらに拡張し、音声入力の違いを説明するか、全ての入力を記述する統一キャプションを生成することで、音声と音声のアライメントを向上させる。 我々は、ALLMトレーニングフレームワーク全体を、バックボーンLLM(BALSa)から合成データを生成することで、音声言語アライメントをブートストラップするものとして言及する。 実験結果から,提案手法は音声理解と推論のベンチマークにおいて高い性能を保ちつつ,指導追従のスキルを確実に保ちながら,音声の幻覚を効果的に軽減できることが示唆された。 さらに、マルチオーディオトレーニングを取り入れることで、モデルの理解と推論能力をさらに強化する。 全体として、BALSaはALLMを開発するための効率的でスケーラブルなアプローチを提供する。

関連論文リスト

• Teaching Audio-Aware Large Language Models What Does Not Hear: Mitigating Hallucinations through Synthesized Negative Samples [55.2480439325792]
  近年の音声対応大型言語モデル(ALLM)により、音声入力の処理と理解が可能になった。 これらのモデルは、しばしば既存の音響イベントを幻覚させ、現実の応用における信頼性を低下させる。 LISTENは、現在と欠落した音を識別するallMsの能力を向上するコントラスト的な訓練法である。
  論文  参考訳（メタデータ） (2025-05-20T15:44:01Z)
• Baichuan-Audio: A Unified Framework for End-to-End Speech Interaction [9.101978573666546]
  Baichuan-Audioは、音声理解と生成をシームレスに統合するエンドツーエンドのオーディオ大言語モデルである。 テキスト誘導されたアライメントされた音声生成機構を備え、理解能力と生成能力の両方でリアルタイムな音声対話を可能にする。
  論文  参考訳（メタデータ） (2025-02-24T15:16:34Z)
• Enhancing Temporal Understanding in Audio Question Answering for Large Audio Language Models [0.9285295512807729]
  AQA(Audio Question Answering)タスクには、オーディオイベント分類、オーディオキャプション、オープンエンド推論が含まれる。 LALMは一般的な音声理解では優れているが、時間的推論では限られている。 本稿では,音声時間的推論におけるこれらの課題と限界について述べる。
  論文  参考訳（メタデータ） (2024-09-10T05:26:53Z)
• C3LLM: Conditional Multimodal Content Generation Using Large Language Models [66.11184017840688]
  C3LLMは,ビデオ・トゥ・オーディオ,音声・テキスト,テキスト・トゥ・オーディオの3つのタスクを組み合わせた新しいフレームワークである。 C3LLMはLarge Language Model (LLM) 構造を異なるモダリティを整列するためのブリッジとして適合させる。 本手法は,従来の音声理解,ビデオ音声生成,テキスト音声生成のタスクを1つの統一モデルに統合する。
  論文  参考訳（メタデータ） (2024-05-25T09:10:12Z)
• AudioSetMix: Enhancing Audio-Language Datasets with LLM-Assisted Augmentations [1.2101820447447276]
  近年,音声言語領域におけるマルチモーダル学習は大きな進歩を遂げている。 しかし、音声学習は、画像言語タスクと比較して、限られたデータや低品質のデータによって困難に直面している。 本手法は,音声クリップを自然言語ラベルと対応する音声信号処理操作で拡張することにより,音声キャプチャペアを体系的に生成する。 このスケーラブルな方法は、テキストおよびオーディオ関連モデルの高品質なトレーニングデータセットであるAudioSetMixを生成する。
  論文  参考訳（メタデータ） (2024-05-17T21:08:58Z)
• LauraGPT: Listen, Attend, Understand, and Regenerate Audio with GPT [65.69648099999439]
  Generative Pre-trained Transformer (GPT) モデルは、様々な自然言語処理タスクにおいて顕著なパフォーマンスを実現している。 音声認識, 理解, 生成のための新しい音声・テキストGPTベースのLLMであるLauraGPTを提案する。
  論文  参考訳（メタデータ） (2023-10-07T03:17:59Z)
• Exploring the Role of Audio in Video Captioning [59.679122191706426]
  本稿では,キャプションの音響モダリティの可能性をフル活用することを目的とした音声視覚フレームワークを提案する。 本稿では,音声とビデオ間の情報交換を改善するため,新たなローカル・グローバル融合機構を提案する。
  論文  参考訳（メタデータ） (2023-06-21T20:54:52Z)
• Make-An-Audio 2: Temporal-Enhanced Text-to-Audio Generation [72.7915031238824]
  大規模な拡散モデルは、テキスト・トゥ・オーディオ(T2A)合成タスクで成功している。 意味的不一致や時間的一貫性の低下といった共通の問題に悩まされることが多い。 我々は,Make-an-Audioの成功に基づいて,潜伏拡散に基づくT2A法であるMake-an-Audio 2を提案する。
  論文  参考訳（メタデータ） (2023-05-29T10:41:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。