論文の概要: Can We Read the Mind of an Audio LLM? A Verbalizable, Multilingual Middle-Layer Workspace
- arxiv url: http://arxiv.org/abs/2608.24958v1
- Date: Tue, 25 Aug 2026 06:17:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:15.293527
- Title: Can We Read the Mind of an Audio LLM? A Verbalizable, Multilingual Middle-Layer Workspace
- Title（参考訳）: オーディオLLMの心を読むことができるか?多言語で多言語的な中層ワークスペース
- Abstract要約: 音声言語モデルは、特定の方法でブラックボックスである。
われわれはそれが何を言っているかを見るが、そこで何がうまくいくかは見当たらない。
モデルの中層では、話し言葉の質問に対する答えが(言葉で言えば)正当であることが分かりました。
- 参考スコア（独自算出の注目度）: 25.30608614532135
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: An audio language model is a black box in a specific way: we see what it says, never what it works out on the way there, and chain-of-thought monitoring helps only if the model writes its reasoning down. Reading a base Qwen3-Omni with a logit lens at the audio-token positions, we find that the answer to a spoken question becomes legible - in words - in the model's middle layers, before it emits any token. Five findings follow. (1) The readout carries concepts in neither the question, the options, nor the model's own transcription: on a clip whose verbatim transcription is empty garbling, it reconstructs Watergate and scandal, passes through the role president, and resolves to Nixon - a hidden multi-hop chain, read with no chain-of-thought. (2) The content is language-agnostic: one audio-inferred concept surfaces in several scripts at once, and 38% of top-1 readouts are Chinese on English inputs. (3) It is paralinguistic: given the same clip as audio and as the model's own emotion-free caption, the audio mind forms the sound source, speaker role, or affect that the caption discards, and answers correctly more often. (4) The audio-driven signal is absent at the input, turns on about a tenth of the way into the network, separates most cleanly from the text prior in the middle band (35-80% of depth), and activation patching shows it is causally used and committed before the last fifth of the layers. (5) Deleting single layers maps the pipeline: reading the sound in is localized to the entry layers and answer delivery to the output layer, while retrieval is distributed across the interior. Throughout, a waveform-swap control - identical text, only the sound changed - isolates the audio-driven signal from a prior over the printed options. This is a qualitative account of what an audio model works out before it speaks: the quantities are controls, not benchmark scores.
- Abstract（参考訳）: 音声言語モデルは、特定の意味ではブラックボックスである:それが何を言っているかを確認し、それで何がうまくいくかを見ず、チェーンオブ思考の監視は、モデルが推論を書き留めた場合にのみ役立つ。
ベースQwen3-Omniをオーディオトーケン位置でロジットレンズで読み取ると、任意のトークンを出力する前に、モデルの中間層で音声質問に対する答えが(言葉で)正当であることが分かる。
以下の5つの発見がある。
1) 読み出しには, 質問, 選択肢, モデル自身の書き起こしなどの概念は含まれない: 動詞の書き起こしが空白であるクリップでは, ウォーターゲートとスキャンダルを再構築し, ロールプレジデントを通過し, 隠されたマルチホップチェーンであるニクソンに解決する。
2) 内容は言語に依存しない: 一度に複数のスクリプトに1つの音声推論概念サーフェスがあり、トップ1読み出しの38%は英語入力で中国語である。
(3) パラ言語的: 音声と同じクリップとモデル自身の感情のないキャプションが与えられた場合、音声マインドは、音源、話者の役割、あるいはキャプションが破棄される影響を発生させ、より頻繁に答える。
(4) 音声駆動信号は入力時に欠落し、ネットワークの約10分の1の経路をオンにし、中帯域以前のテキスト(深さの35～80%)から最もきれいに分離し、アクティベーションパッチにより、層の最後の5分の1よりも前に慎重に使用され、コミットされることを示す。
音を読み込むと、入力層にローカライズされ、出力層に応答し、検索は内部に分散する。
波形スワップ制御 - 同一のテキスト、音のみの変更 - を通じて、オーディオ駆動信号は、印刷されたオプションよりも前のものから分離される。
これは、音声モデルが話す前に何を行うかの質的な説明である。
関連論文リスト
- Heard but Not Heeded: Paralinguistic Information Encoding and Loss in Audio-Language Models [58.79935033105039]
本稿では,Whisper-large-v2,Qwen2-Audio-7B Instruct,Qwen2.5-Omni-7B,Chroma-4Bの4つのオープンソースモデルにおけるパラ言語情報の力学解析を行った。
我々は、中心となるカーネルアライメント、線形探索と1人の話者のアウト評価、オープンエンドトーン予測、およびコンテンツ韻律リークメトリクスを組み合わせることで、スタイル情報がオーディオエンコーダから最終出力へどのように移動するかを追跡する。
論文 参考訳（メタデータ） (2026-09-01T05:03:33Z) - Unified Audio Intelligence Without Regressing on Text Intelligence [86.55418188552768]
我々は,統一音声テキストLLMであるNemotron-Labs-Audex-30B-A3B(Audex)を紹介する。
Audexは単一のTransformerデコーダで単純な統一設計を採用する。
Audexは最先端の音声理解、音声認識と翻訳、テキスト音声合成、音声生成、音声音声生成を提供する。
論文 参考訳（メタデータ） (2026-07-06T15:11:57Z) - Reference-Driven Multi-Speaker Audio Scene Generation from In-the-Wild Priors [10.603967327834214]
既存のマルチスピーカ対話システムは、構造化された監視を通して話者と発話を結合する。
提案手法であるScenAは,大規模インザミルドデータに基づいて事前学習したテキスト・オーディオ・フローマッチング基盤モデルである。
我々は、CoVoMix2-DialogueベンチマークでScenAを評価し、話者結合測定において、既存のマルチスピーカシステムよりも優れていることを示す。
論文 参考訳（メタデータ） (2026-06-17T17:51:50Z) - Continuous Audio Thinking for Large Audio Language Models [16.335310406868217]
応答生成に先立って音響情報を整理するための連続的な潜時ワークスペースを備えた音声モデルを実現するために,Continuous Audio Thinking (CoAT)を導入した。
思考空間内では、モデルはその応答を生成する際に専門家の蒸留によって提供される豊かな音響情報を利用することができる。
CoATは、ベースラインに対する追加の自己回帰復号化コストを必要としない。
論文 参考訳（メタデータ） (2026-06-05T11:38:30Z) - Spatial Audio Question Answering and Reasoning on Dynamic Source Movements [8.029049649310211]
孤立したモノラル音声イベントから多様な動きパターンを合成する動き中心の空間オーディオ拡張フレームワークを提案する。
第二に、音声モデルが明確な中間推論ステップを生成できる思考モードを持つエンドツーエンドのマルチモーダル微調整手法を提案する。
第3に,クエリ条件付きソース分離が事前処理段階に与える影響について検討し,3つの推論条件を比較した。
論文 参考訳（メタデータ） (2026-02-18T10:16:30Z) - Bagpiper: Solving Open-Ended Audio Tasks via Rich Captions [84.73122243726775]
Bagpiperは8Bオーディオ基礎モデルで、リッチキャプションを通じて物理オーディオを解釈する。
微調整の間、Bagpiperはタスク固有の前処理なしで多様なタスクを解決するためにキャプション-thenプロセスワークフローを採用している。
我々の知る限りでは、Bagpiperは一般的な音声に対する統一的な理解生成を実現する最初の作品の一つである。
論文 参考訳（メタデータ） (2026-02-05T02:20:07Z) - ADIFF: Explaining audio difference using natural language [31.963783032080993]
本稿では,音声の違いを説明するタスクを包括的に研究し,そのタスクのベースラインであるベンチマークを提案する。
本稿では,AudioCaps と Clotho の音声キャプションデータセットから得られた音声差分説明のための2つの新しいデータセットを提案する。
提案するADIFFは, クロスプロジェクションモジュール, 位置キャプション, 3段階のトレーニングプロセスを導入し, 詳細な説明を行う能力を向上させる。
論文 参考訳（メタデータ） (2025-02-06T20:00:43Z) - Language-Guided Audio-Visual Source Separation via Trimodal Consistency [64.0580750128049]
この課題の鍵となる課題は、発音対象の言語的記述と、その視覚的特徴と、音声波形の対応する成分とを関連付けることである。
2つの新たな損失関数を通して擬似目標管理を行うために、既成の視覚言語基盤モデルを適用する。
3つの音声・視覚的分離データセットに対する自己教師型アプローチの有効性を実証する。
論文 参考訳（メタデータ） (2023-03-28T22:45:40Z) - Face-Dubbing++: Lip-Synchronous, Voice Preserving Translation of Videos [54.08224321456871]
このシステムは、複数のコンポーネントモデルを組み合わせて、ターゲット言語で話す元の話者のビデオを生成するように設計されている。
パイプラインは強調検出を含む自動音声認識から始まり、その後に翻訳モデルが続く。
得られた合成音声は、音声変換モデルを用いて元の話者の声にマッピングされる。
論文 参考訳（メタデータ） (2022-06-09T14:15:37Z) - Seeing wake words: Audio-visual Keyword Spotting [103.12655603634337]
KWS-Netは、類似マップ中間表現を用いてタスクをシーケンスマッチングとパターン検出に分離する新しい畳み込みアーキテクチャである。
本手法は他の言語,特にフランス語とドイツ語に一般化し,より少ない言語データで英語に匹敵する性能が得られることを示す。
論文 参考訳（メタデータ） (2020-09-02T17:57:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。