論文の概要: Causal Localization of the Refusal Direction in Audio Language Models

• arxiv url: http://arxiv.org/abs/2609.22260v1
• Date: Sun, 06 Sep 2026 17:29:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.809893
• Title: Causal Localization of the Refusal Direction in Audio Language Models
• Title（参考訳）: 音声モデルにおける拒絶方向の因果的位置推定
• Abstract要約: 大きな音声言語モデルは、音声フロントエンドをテキスト言語モデルにアタッチする。 そのようなモデルが有害な音声要求を拒否した場合、その拒絶はフロントエンドによって運ばれるか、あるいはテキストLMから受け継がれているか? 我々は,各モデルの音声-LMインタフェースと試験されたLM残層において,良性のプロンプトから有害な方向を分離し,その成分を吸収し,結果として得られたモデルの最初の拒絶マージンの変化を測定する。
• 参考スコア（独自算出の注目度）: 51.56484100374058
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A large audio language model (LALM) attaches a speech front end to a text language model (LM) that is already safety-aligned. When such a model refuses a harmful spoken request, is the refusal carried by the front end, or inherited from the text LM? We test this with causal interventions. At each model's audio-to-LM interface and at tested LM residual layers, we fit a direction separating harmful from benign prompts, ablate its component, and measure the resulting change in the model's first-token refusal margin. Four of the five models are evaluated under held-out category shift. Across five LALMs spanning three backbone families, with three models passing a baseline safety gate, the largest tested effects occur in a mid-to-late LM band, while ablations of the tested interface directions have little effect. On Qwen2.5-Omni, ablating the L16 direction changes the margin by -7.10, versus -0.013 at the projector. The audio pathway is still in use: zeroing the encoder output changes the margin by -4.7. In the same model, the contrast is linearly decodable at an early layer where single-layer ablation has little effect, and a direction fitted on the LM backbone alone transfers to the full audio model. Because harmful and benign prompts also differ in form, we interpret the direction as refusal-linked rather than harmfulness-specific. These interventions localize dependence of the refusal margin, not where refusal is computed. Moving the margin also does not always change what the model writes. Safety audits of these models should use interventions rather than rely on probes alone, and should examine the inherited text LM alongside the audio interface.
• Abstract（参考訳）: 大規模な音声言語モデル(LALM)は、すでに安全に対応しているテキスト言語モデル(LM)に音声フロントエンドを付加する。 そのようなモデルが有害な音声要求を拒否した場合、その拒絶はフロントエンドによって運ばれるか、あるいはテキストLMから受け継がれているか? 私たちはこれを因果的介入でテストします。 各モデルの音声-LMインタフェースと試験されたLM残層において、良性プロンプトから有害な方向を分離し、その成分を吸収し、結果として得られたモデルの最初の拒否マージンの変化を測定する。 5つのモデルのうち4つは、保留カテゴリーシフトで評価される。 3つのバックボーンファミリーにまたがる5つのLALMのうち、3つのモデルがベースラインの安全ゲートを通過し、最も大きな試験効果はLMバンドの中間から後期のバンドで発生し、試験された界面方向の短縮は効果がほとんどない。 Qwen2.5-Omniでは、L16方向を曲げると、マージンは-7.10、プロジェクターでは-0.013となる。 エンコーダ出力をゼロにすると、マージンは-4.7に変化する。 同じモデルでは、単一層アブレーションの影響が少ない初期層においてコントラストを直線的にデオード可能とし、LMバックボーンのみに装着した方向がフルオーディオモデルに転送される。 有害なプロンプトと良性なプロンプトも形式的に異なるため、我々は有害性特異的ではなく、拒絶リンクされた方向を解釈する。 これらの介入は、拒絶マージンが計算される場所ではなく、拒絶マージンの依存性をローカライズする。 マージンの移動も、モデルが書くものを変えるとは限らない。 これらのモデルの安全性監査は、プローブのみに頼るのではなく介入を使用し、継承されたテキストLMをオーディオインターフェースと一緒に調べるべきである。

関連論文リスト

• AEGIS: Audio Endogenous Guarding via Internal Signals Against Large Audio-Language Model Jailbreaks [6.7129446619210595]
  大規模音声言語モデル (LALM) に対する検出-テーマ-インターベンディフェンスである AEGIS を提案する。 6つのLALMと3つのオーディオジェイルブレイクベンチマークで、AEGISは安全でない平均レートを17.9%から0.4%に下げている。 これらの結果は、LALMのより堅牢な拒絶への効果的な経路として、選択的内部介入を確立している。
  論文  参考訳（メタデータ） (2026-09-24T09:24:13Z)
• Where Does the Sound Go? Tracing Acoustic Information Loss in Audio-Conditioned LLMs [22.40577323564163]
  エンコーダ側の情報損失だけでは音響的アンダーユースが説明されず、リードアウトアライメントが主要なボトルネックとなることを示す。 我々は,Whisper-TinyとWhisper-CodeをEnc,DAC-VAE,WavTokenizerと比較した。
  論文  参考訳（メタデータ） (2026-09-05T04:24:16Z)
• Architecture-Dependent Causal Transfer of Activation States Across Large Language Models [51.56484100374058]
  内部言語アクティベーション状態は、異なる大きな言語モデル間で因果的に転送することができる。 生成中に投影された活性化をターゲットモデルに注入すると、統計的に有意で事前登録された因果効果が生じる。 現在実装されているLCM間のエンド・ツー・エンドのアクティベーション・ステート・トランスファーは、ユニバーサルではなくアーキテクチャに依存していると結論付けている。
  論文  参考訳（メタデータ） (2026-08-17T09:53:27Z)
• Can LLMs Reliably Self-Report Adversarial Prefills, and How? [9.80193616788089]
  大規模言語モデル(LLM)は,良質なタスクに対して内観的能力を示すことを示す。 本研究は,モデルが先行応答が逆プレフィル攻撃によって引き起こされたことを確実に認識できるかどうかを検討する。
  論文  参考訳（メタデータ） (2026-06-22T17:56:30Z)
• Adversarial Feeds Steer LLM Agent Decisions Against Their Defaults [0.0]
  LLMエージェントは、ソーシャルフィード、検索結果、検索コンテキスト、電子メールキューなどのランク付けされた外部情報ストリームを消費した後、ますます行動する。 モデル,ペルソナ,トピック,最終決定のプロンプトを保持する制御プロトコルを導入し,エージェントが遭遇するポストの構成と順序だけを変化させる。 我々は, 逆降圧, デフォルト飽和, 一方のフィードが真に不確実な決定を下す非対称性の3つの応答機構を同定した。
  論文  参考訳（メタデータ） (2026-05-30T22:43:23Z)
• The Last Fingerprint: How Markdown Training Shapes LLM Prose [0.0]
  私たちは、エムダッシュが散文にマークダウンリークしていることを提案します。 トレーニングデータ構成,構造的内部化,エムダッシュの二重登録状態,訓練後の増幅を結合する5段階の系譜を提案する。
  論文  参考訳（メタデータ） (2026-03-27T21:42:06Z)
• AHELM: A Holistic Evaluation of Audio-Language Models [78.20477815156484]
  マルチモーダルオーディオ言語モデル(ALM)は、インターリーブされた音声とテキストを入力および出力テキストとして取り込む。 AHELMは、PARADEとCoRe-Benchと呼ばれる2つの新しい合成オーディオテキストデータセットを含む、さまざまなデータセットを集約するベンチマークである。 また、モデル間の等価比較を確保するために、プロンプト、推論パラメータ、評価指標を標準化する。
  論文  参考訳（メタデータ） (2025-08-29T07:40:39Z)
• Modular Hybrid Autoregressive Transducer [51.29870462504761]
  トランスデューサモデルのテキストのみの適応は、エンドツーエンド音声認識では依然として困難である。 ラベルとブランクデコーダを構造的に分離したモジュール型ハイブリッド自己回帰トランスデューサを提案する。 Googleの大規模生産データでは、100B文に適合したマルチドメインのMHATが、LM融合なしでWERを最大12.4%削減する。
  論文  参考訳（メタデータ） (2022-10-31T03:56:37Z)
• Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
  トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。 本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-09T10:55:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。