論文の概要: Read-Best Is Not Steer-Best: A Probing--Steering Layer Dissociation in Omni-Modal Large Language Models

• arxiv url: http://arxiv.org/abs/2609.22135v1
• Date: Mon, 24 Aug 2026 11:38:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.728493
• Title: Read-Best Is Not Steer-Best: A Probing--Steering Layer Dissociation in Omni-Modal Large Language Models
• Title（参考訳）: Read-Best is not Steer-Best: A Probing-Steering Layer Dissociation in Omni-Modal Large Language Models
• Abstract要約: 一般的にテストされるが、最も高い確率の層がステアリングに最適な層である、という仮定は稀である。 独立に開発された3つのOmni-modalモデルにまたがって、この仮定を初めて因果検定する。 感情を制御されたテストベッドとして使用し、テキスト、音声、画像入力の階層的可読性と操縦性を測定する。
• 参考スコア（独自算出の注目度）: 75.34700827901757
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Omni-modal large language models integrate text, audio, and image signals into a shared residual stream, where concepts such as emotion can be linearly decoded and causally modified by activation steering. A common but rarely tested assumption is that the layer with the highest probing accuracy is also the best layer for steering, so injection layers are often selected by probe performance. We provide the first causal test of this assumption across three independently developed omni-modal models and find that it fails. Reading and intervention rely on different layers, a phenomenon we call the probing-steering layer dissociation. Using emotion as a controlled testbed, we measure layer-wise readability and steerability across text, audio, and image inputs. Probe-best layers vary widely across architectures, while steering-effective layers consistently fall within a narrow mid-to-late range of normalized depth. Paired random-direction controls show an approximately 26-fold causal gap, ruling out random perturbation and direction quality as explanations. Logit-lens analysis reveals a staged forward process: causal handle, probing saturation, and vocabulary commitment, and motivates a two-factor account in which steering effectiveness depends on both representational readability and downstream plasticity. These results show that probing accuracy is a poor heuristic for selecting intervention layers and suggest a cross-architecture mid-to-late selection criterion. We also identify a cross-modal emotion subspace organized by valence and arousal, with joy acting as a stable anchor across models. Code and data: https://github.com/YiboWang2002/Read-Best-Is-Not-Steer-Best.
• Abstract（参考訳）: オムニモーダルな大言語モデルは、テキスト、オーディオ、画像信号の共有残差ストリームに統合し、感情のような概念を線形にデコードし、アクティベーションステアリングによって因果的に修正することができる。 一般的にテストされるが、最も高いプローブ精度の層はステアリングに適した層であるため、インジェクション層はプローブ性能によって選択されることが多い。 独立に開発された3つのOmni-modalモデルにまたがって、この仮定を初めて因果検定し、それが失敗することを確認する。 読み書きと介入は異なるレイヤに依存します。これは、探索ステアリング層解離(probing-steering layer dissociation)と呼ばれる現象です。 感情を制御されたテストベッドとして使用し、テキスト、音声、画像入力の階層的可読性と操縦性を測定する。 安定性の高い層はアーキテクチャによって大きく異なるが、ステアリング効果のある層は正規化深度の範囲の狭い中間から後期まで一貫して減少する。 ペアリングされたランダム方向制御は、およそ26倍の因果ギャップを示し、ランダムな摂動と方向品質を説明として除外する。 Logit-lens分析は、因果ハンドル、飽和度、語彙のコミットメントという段階的なプロセスを明らかにし、ステアリングの有効性が表現の可読性と下流の可塑性の両方に依存する2要素のアカウントを動機付けている。 これらの結果から, 介入層の選択には精度の検証が不十分であることが示唆され, クロスアーキテクチャの中間選択基準が示唆された。 また、モデル間の安定なアンカーとして機能し、原子価と覚醒によって構成された、モーダルな感情サブ空間を同定する。 コードとデータ:https://github.com/YiboWang2002/Read-Best-Is-Not-Steer-Best

関連論文リスト

• When Is a Steerable Concept Representation Real? Measurement Confounds in a Cross-Family Audit of Neuroscience Parallels in LLMs [8.657685524975246]
  大型言語モデル(LLM)は、人間のような神経と認知のサインを示すことがますます報告されている。 本研究は,概念方向の因果性について検討する。 生の活性化単位と固定層と係数により, モデルスケールで操舵性は増大した。 残留ノルム比較可能な介入とホールドアウト操作点選択により、概念ステアリングはあらゆる規模において重要なままである。
  論文  参考訳（メタデータ） (2026-08-08T14:37:53Z)
• Beyond Behavioural Trade-Offs: Mechanistic Tracing of Pain-Pleasure Decisions in an LLM [0.0]
  以前の研究は、一部のLCMは、選択肢が痛みや快楽を引き起こすものとしてフレーム化されているときに選択を変更でき、そのような偏差は、記述された強度でスケール可能であることを示唆している。 本研究では, 変圧器内における原子価関連情報がどのように表現され, どこで因果的に使用されるかを検討する。 Gemma-2-9B-itと、前処理をモデルとした最小限の決定タスクを用いて、(i)ストリームを横断する層ワイドな線形プローブを用いて、表現の可用性をマップする。 我々は,活性化介入(ステアリング,パッチ,アブレーション)による因果的寄与を検証し,(iii)エプシロングリッド上での線量応答効果を定量化する。
  論文  参考訳（メタデータ） (2026-02-22T12:42:38Z)
• Integrating Fine-Grained Audio-Visual Evidence for Robust Multimodal Emotion Reasoning [9.470507126417292]
  本稿では,ロバストなマルチモーダル推論のためのフレームワークであるSABER-LLMを紹介する。 まず,600Kビデオクリップからなる大規模感情推論データセットであるSABERを構築した。 第2に,エビデンス抽出と推論を「知覚的推論」に分離する構造的エビデンス分解パラダイムを提案する。
  論文  参考訳（メタデータ） (2026-01-26T10:03:26Z)
• Beyond Artificial Misalignment: Detecting and Grounding Semantic-Coordinated Multimodal Manipulations [56.816929931908824]
  マルチモーダルデータにおける意味的協調操作の検出の先駆者となった。 本稿では,RamDG(Retrieval-Augmented Manipulation Detection and Grounding)フレームワークを提案する。 我々のフレームワークは既存の手法よりも優れており、SAMMの精度は最先端の手法に比べて2.06%高い。
  論文  参考訳（メタデータ） (2025-09-16T04:18:48Z)
• LayerCake: Token-Aware Contrastive Decoding within Large Language Model Layers [53.43862310647276]
  大規模言語モデル(LLM)は、自然言語の理解と生成に優れるが、事実の誤りに弱いままである。 本稿では,トークン型と最も影響力のあるトランスフォーマー層を整合させて実データ生成を改善する,トークン認識型コントラストデコーディング手法を提案する。 提案手法は追加のトレーニングやモデル修正を必要とせず,複数のLSMおよび各種ベンチマークの事実性を常に改善することを示す実験である。
  論文  参考訳（メタデータ） (2025-07-06T14:35:43Z)
• Entropy Guided Extrapolative Decoding to Improve Factuality in Large Language Models [55.45444773200529]
  大きな言語モデル(LLM)は印象的な自然言語能力を示すが、幻覚に苦しむ。 最近の研究は推論時の事実性を改善するための復号化技術に焦点を当てている。
  論文  参考訳（メタデータ） (2024-04-14T19:45:35Z)
• Object Segmentation by Mining Cross-Modal Semantics [68.88086621181628]
  マルチモーダル特徴の融合と復号を導くために,クロスモーダル・セマンティックスをマイニングする手法を提案する。 具体的には,(1)全周減衰核融合(AF),(2)粗大デコーダ(CFD),(3)多層自己超越からなる新しいネットワークXMSNetを提案する。
  論文  参考訳（メタデータ） (2023-05-17T14:30:11Z)
• Unsupervised Foggy Scene Understanding via Self Spatial-Temporal Label Diffusion [51.11295961195151]
  運転シーンの霧画像列の特徴を利用して、自信ある擬似ラベルを密度化する。 局所的な空間的類似性と逐次画像データの隣接時間対応の2つの発見に基づいて,新たなターゲット・ドメイン駆動擬似ラベル拡散方式を提案する。 本手法は,2つの天然霧のデータセット上で51.92%,53.84%の平均交叉結合(mIoU)を達成するのに有効である。
  論文  参考訳（メタデータ） (2022-06-10T05:16:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。