論文の概要: Tracing Audio Grounding and Answer Selection in Audio LLMs

• arxiv url: http://arxiv.org/abs/2609.04637v1
• Date: Fri, 04 Sep 2026 02:16:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-07 18:15:23.877395
• Title: Tracing Audio Grounding and Answer Selection in Audio LLMs
• Title（参考訳）: 音声LLMにおける音声接地と回答選択の追跡
• Abstract要約: 一般的な治療法は、回答がテキストのみから推測できないデータ上でモデルをトレーニングすることである。 私たちは、音声が実際に答えを決定するために、モデル内で何が起こらなければならないのかを尋ねます。
• 参考スコア（独自算出の注目度）: 32.37191232040775
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Audio Large Language Models (Audio LLMs) have advanced in audio understanding, yet they can still predict the answer by reasoning from textual cues or linguistic priors rather than the provided audio. A common remedy is to train models on data whose answers cannot be inferred from text alone. This approach can improve performance, but what changes within the model remains unclear. In this paper, we ask what must happen inside the model for the audio to actually determine the answer. Our findings are threefold. (1) Replacing the audio with silence or unrelated audio causes substantially larger performance degradation in the trained model than in the pretrained model. (2) Acoustic information most strongly shapes the model's representations of the answer choices in early-to-middle layers, while training mainly increases the influence of audio information on the final prediction in middle-to-late layers. (3) The weights learned during training have their largest impact in specific layer bands. Together, these results provide a mechanistic account of how training strengthens the use of acoustic evidence in Audio LLMs.
• Abstract（参考訳）: 音声大言語モデル (Audio LLMs) は、音声理解において進歩しているが、提供された音声ではなく、テキストの手がかりや言語的先行から推論することで、その答えを予測できる。 一般的な治療法は、回答がテキストのみから推測できないデータ上でモデルをトレーニングすることである。 このアプローチはパフォーマンスを改善することができるが、モデル内でどのような変更があるのかは不明だ。 本稿では,音声が実際に解答を判断するためには,モデルの内部で何が起こるべきかを問う。 私たちの発見は3倍です。 1) 音声を沈黙や無関係な音声で置き換えることで,事前訓練モデルよりも訓練モデルの性能劣化が著しく大きくなる。 2) 音響情報は, 早期から中級層における解答選択のモデル表現を最も強く形成する一方, 訓練は中級層における最終予測に対する音声情報の影響を主に増大させる。 (3) トレーニング中に得られた重みは, 特定の層バンドに最も大きな影響を及ぼす。 これらの結果から,Audio LLMにおけるアコースティック・エビデンスの使用がいかに強化されるかが示唆された。

関連論文リスト

• How Auditory Knowledge in LLM Backbones Shapes Audio Language Models: A Holistic Evaluation [97.0235251827591]
  大規模言語モデル (LLM) は,Large Audio Language Models (LALM) の知識バックボーンとして広く利用されている。 テキストのみの事前学習によって符号化される聴覚知識の量と、それが下流のパフォーマンスに与える影響について検討する。 その結果,家族間で聴覚知識が大きく異なり,テキストのみの結果が音響性能と強く相関していることが判明した。
  論文  参考訳（メタデータ） (2026-03-19T17:50:07Z)
• Investigating Modality Contribution in Audio LLMs for Music [8.118262908070152]
  オーディオ大言語モデル(Audio LLMs)は、人間の音楽に関する会話を可能にする。 音声を本当に聴いているのか、それとも単にテキストによる推論を使っているのかは不明だ。 本稿では,モデル出力に対する各モダリティの寄与を定量化し,この問題を考察する。
  論文  参考訳（メタデータ） (2025-09-25T00:56:35Z)
• From Alignment to Advancement: Bootstrapping Audio-Language Alignment with Synthetic Data [55.2480439325792]
  音声対応の大規模言語モデル(ALLM)は近年,音声入力の理解と処理において大きな進歩を遂げている。 これらのモデルは典型的にはテキストベースの大規模言語モデル(LLM)に適応し、音声関連タスクのさらなるトレーニングを行う。 本研究では、現在と欠落した音を区別するALLMの能力を高めるために、コントラッシブな訓練データを生成するデータ生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-26T16:08:41Z)
• Teaching Audio-Aware Large Language Models What Does Not Hear: Mitigating Hallucinations through Synthesized Negative Samples [55.2480439325792]
  近年の音声対応大型言語モデル(ALLM)により、音声入力の処理と理解が可能になった。 これらのモデルは、しばしば既存の音響イベントを幻覚させ、現実の応用における信頼性を低下させる。 LISTENは、現在と欠落した音を識別するallMsの能力を向上するコントラスト的な訓練法である。
  論文  参考訳（メタデータ） (2025-05-20T15:44:01Z)
• ADIFF: Explaining audio difference using natural language [31.963783032080993]
  本稿では,音声の違いを説明するタスクを包括的に研究し,そのタスクのベースラインであるベンチマークを提案する。 本稿では,AudioCaps と Clotho の音声キャプションデータセットから得られた音声差分説明のための2つの新しいデータセットを提案する。 提案するADIFFは, クロスプロジェクションモジュール, 位置キャプション, 3段階のトレーニングプロセスを導入し, 詳細な説明を行う能力を向上させる。
  論文  参考訳（メタデータ） (2025-02-06T20:00:43Z)
• AudioLDM 2: Learning Holistic Audio Generation with Self-supervised Pretraining [46.22290575167155]
  本稿では, 音声, 音楽, 音響効果生成のための同じ学習手法を用いた枠組みを提案する。 私たちのフレームワークでは、LOA(Language of Audio)と呼ばれる音声の一般的な表現を導入しています。
  論文  参考訳（メタデータ） (2023-08-10T17:55:13Z)
• Exploring the Role of Audio in Video Captioning [59.679122191706426]
  本稿では,キャプションの音響モダリティの可能性をフル活用することを目的とした音声視覚フレームワークを提案する。 本稿では,音声とビデオ間の情報交換を改善するため,新たなローカル・グローバル融合機構を提案する。
  論文  参考訳（メタデータ） (2023-06-21T20:54:52Z)
• BEATs: Audio Pre-Training with Acoustic Tokenizers [77.8510930885778]
  自己教師付き学習(SSL)は、ここ数年、言語、ビジョン、スピーチ、オーディオドメインで目撃されてきた。 本稿では、音声変換器から双方向表現を学習するための反復型オーディオ事前学習フレームワークBEATを提案する。 最初のイテレーションでは、ランダムプロジェクションを音響トークンとして使用し、マスクとラベル予測の方法でオーディオSSLモデルをトレーニングする。 そこで,本研究では,事前学習あるいは微調整した音声SSLモデルから意味知識を抽出することにより,次のイテレーションのための音響トークン化装置を訓練する。
  論文  参考訳（メタデータ） (2022-12-18T10:41:55Z)
• An investigation on selecting audio pre-trained models for audio captioning [5.837881923712393]
  事前訓練されたモデルは、複雑さが高いため、オーディオキャプションで広く使用されている。 包括的システムが再訓練されない限り、事前訓練されたモデルが音声キャプションシステムにどの程度貢献するかを判断することは困難である。 本稿では,抽出音声特徴量と音声キャプション性能の相関関係について,事前学習した一連のモデルについて検討する。
  論文  参考訳（メタデータ） (2022-08-12T06:14:20Z)
• Audio ALBERT: A Lite BERT for Self-supervised Learning of Audio Representation [51.37980448183019]
  本稿では,自己教師型音声表現モデルの簡易版であるAudio ALBERTを提案する。 我々は、Audio ALBERTが、下流タスクにおいて、これらの巨大なモデルと競合する性能を達成することができることを示す。 探索実験において、潜在表現は、最後の層よりも音素と話者のリッチな情報をエンコードすることがわかった。
  論文  参考訳（メタデータ） (2020-05-18T10:42:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。