論文の概要: Where Does the Sound Go? Tracing Acoustic Information Loss in Audio-Conditioned LLMs

• arxiv url: http://arxiv.org/abs/2609.05871v1
• Date: Sat, 05 Sep 2026 04:24:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.151944
• Title: Where Does the Sound Go? Tracing Acoustic Information Loss in Audio-Conditioned LLMs
• Title（参考訳）: 音はどこへ行くのか : 音声合成LLMにおける音響情報損失の追跡
• Abstract要約: エンコーダ側の情報損失だけでは音響的アンダーユースが説明されず、リードアウトアライメントが主要なボトルネックとなることを示す。 我々は,Whisper-TinyとWhisper-CodeをEnc,DAC-VAE,WavTokenizerと比較した。
• 参考スコア（独自算出の注目度）: 22.40577323564163
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Audio-conditioned language models often underuse acoustic cues such as prosody, emotion, and non-speech sounds, raising the question of whether ASR-supervised frontends discard this information before it reaches the LM. We test whether the frontend is responsible by comparing Whisper-Tiny and Whisper-Small with EnCodec, DAC-VAE, and WavTokenizer in a shared Qwen3.5-4B audio-LM pipeline on ASR, emotion recognition, and sound captioning. Encoder replacement alone does not resolve this underuse: Whisper variants remain strongest overall, including on emotion and environmental sound captioning. To localize the failure, we trace task-relevant information through the encoder, projector, LM layers, and LM head. Linear probes and geometric analyses show that discriminative acoustic structure remains recoverable at the final LM layer, even when MCQA accuracy trails probe accuracy by up to 83 points. Because the answer format and decoding procedure are controlled, this task-dependent gap points to content-specific readout failure rather than generic format bias. LogitLens analyses and a targeted LM head intervention support the conclusion that acoustic underuse is not explained solely by encoder-side information loss and that readout alignment can be a dominant bottleneck.
• Abstract（参考訳）: 音声条件付き言語モデルは、しばしば韻律、感情、非音声のような音響的手がかりを過小評価し、ASRが監督するフロントエンドがLMに到達する前にこの情報を破棄するかどうかという疑問を提起する。 本稿では,Whisper-TinyとWhisper-SmallをEnCodec,DAC-VAE,WavTokenizerと比較し,ASR,感情認識,音声キャプションのQwen3.5-4B音声-LMパイプラインで比較した。 ウィスパーの変種は感情や環境音のキャプションなど、全体的に最強である。 障害をローカライズするために、エンコーダ、プロジェクタ、LM層、LMヘッドを通してタスク関連情報をトレースする。 線形プローブと幾何解析により、MCQAの精度がプローブの精度を最大83ポイント遅らせた場合でも、最終LM層で識別音響構造が回復可能であることが示された。 応答形式と復号処理が制御されるので、このタスク依存のギャップは、一般的なフォーマットバイアスよりも、コンテンツ固有の読み出し障害を示している。 LogitLens分析とLMヘッド介入は、エンコーダ側の情報損失だけでは音響的アンダーユースを説明できず、リードアウトアライメントが支配的なボトルネックとなるという結論を支持する。

関連論文リスト

• Listen, Reason, and Segment: Aligning LALMs with Editorial Judgment for Media Chapterization [58.34381853842135]
  LALM(Large Audio Language Models)は、標準化されたベンチマークを急速に進歩させたが、実際的なメディア、キュレーション、アーカイブインデックス、コンテンツ配信への展開は、ほとんど実現されていない。 連続的な音声ストリームを主題的に一貫性のあるチャプタに分割するタスクである自動音声チャプタライゼーションを同定する。 このタスクのために、エンドツーエンドのLALMを調整するためのフレームワークであるAudioChapsを紹介します。
  論文  参考訳（メタデータ） (2026-08-17T13:14:01Z)
• What the LLM Should Not Say: Boundary-Aware Context Grounding for A Seven-Channel EEG Agent [8.617463707951673]
  大規模言語モデル(LLM)は科学ソフトウェアをより使いやすくする。 我々は,決定論的局所脳波エンジンをハードウェア対応言語層から分離するオープンソースアーキテクチャであるNeuraDock Agentを提案する。
  論文  参考訳（メタデータ） (2026-06-25T01:51:20Z)
• From Text Metrics to Model Internals: A Study of Whisper ASR Hallucination Detection [13.55239135877789]
  ASRモデルの幻覚は下流のアプリケーションにリスクをもたらす。 本稿では,Whisperの大容量v3幻覚検出法について検討する。
  論文  参考訳（メタデータ） (2026-06-22T09:13:04Z)
• Acoustic Cue Alignment in Audio Language Models for Speech Emotion Recognition [58.25449304752214]
  生音声が既に利用可能である場合に、明示的な音響的手がかりが根拠となるかどうかを考察する。 標準化されたeGeMAPSパラ言語特徴集合から6つの解釈可能な音響概念トークンを導出する。 調整されたトークンは平均リコール(UAR)を改善するが、シャッフル、競合、破損したトークンはパフォーマンスを低下させる。 トークンのみの介入は、ALMに基づく感情計算において、オーディオグラウンドドキューの使用、堅牢性、解釈可能性を調べるための実用的な方法である、と我々は主張する。
  論文  参考訳（メタデータ） (2026-06-05T14:26:06Z)
• Temporal Contrastive Decoding: A Training-Free Method for Large Audio-Language Models [56.91801348360746]
  大規模な音声言語モデル(LALM)は、音声、音声、音楽にまたがって一般化される。 統一デコーダは 時空間のスムーズなバイアスを示します LALMの学習自由復号法であるemphTemporal Contrastive Decoding (TCD)を提案する。
  論文  参考訳（メタデータ） (2026-04-16T02:30:41Z)
• Causal Tracing of Audio-Text Fusion in Large Audio Language Models [48.849764961130795]
  我々は、音声理解におけるLALMの内部情報の流れを調べるために因果追跡を適用した。 DeSTA,Qwen,Voxtralを横断的に層状およびトークン的に解析することにより,個々の隠れ状態の因果効果を評価する。
  論文  参考訳（メタデータ） (2026-03-14T05:40:59Z)
• TimberAgent: Gram-Guided Retrieval for Executable Music Effect Control [9.319159431126453]
  Texture Resonance Retrieval (TRR) は、中間レベルWav2Vec2アクティベーションのグラマー行列から構築されたオーディオ表現である。 TRRを1063のプレセットと204のクエリで評価した。
  論文  参考訳（メタデータ） (2026-03-10T08:09:32Z)
• AudioCodecBench: A Comprehensive Benchmark for Audio Codec Evaluation [16.047087043580053]
  MLLM(Multimodal Large Language Models)は、音声や音楽に広く応用されている。 意味のみのテキストトークンとは異なり、音声トークンはグローバルな意味的コンテンツをキャプチャし、きめ細かい音響的詳細を保存する必要がある。 本稿では,意味的および音響的トークンの適切な定義を提供し,体系的な評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-02T14:15:22Z)
• It's Never Too Late: Fusing Acoustic Information into Large Language Models for Automatic Speech Recognition [70.77292069313154]
  大規模言語モデル(LLM)は、自動音声認識(ASR)出力の上の生成誤り訂正(GER)に成功することができる。 本研究では,不確実性認識ダイナミックフュージョン (UADF) と呼ばれる新しい遅延融合解によって予測された転写を生成する前に,音響情報を注入することにより,そのような制限を克服することを目的とする。
  論文  参考訳（メタデータ） (2024-02-08T07:21:45Z)
• Modular Hybrid Autoregressive Transducer [51.29870462504761]
  トランスデューサモデルのテキストのみの適応は、エンドツーエンド音声認識では依然として困難である。 ラベルとブランクデコーダを構造的に分離したモジュール型ハイブリッド自己回帰トランスデューサを提案する。 Googleの大規模生産データでは、100B文に適合したマルチドメインのMHATが、LM融合なしでWERを最大12.4%削減する。
  論文  参考訳（メタデータ） (2022-10-31T03:56:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。