論文の概要: Capacity, Responsiveness and Alignment: What Makes a Latent Structure Actionable

• arxiv url: http://arxiv.org/abs/2610.06897v1
• Date: Mon, 28 Sep 2026 17:57:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.459885
• Title: Capacity, Responsiveness and Alignment: What Makes a Latent Structure Actionable
• Title（参考訳）: キャパシティ、応答性、アライメント:潜在構造が動作可能な理由
• Abstract要約: 局所構造は、その因果的影響において大きく異なっており、構造がどう作用するかという疑問が提起される。 因果的影響は,キャパシティ,応答性,アライメントという3つの要因の産物であることを示す。 モデル間のステアリングを17%-118%改善する因果プローブを導入し, 概念検出をわずか3%削減した。
• 参考スコア（独自算出の注目度）: 26.203347303125966
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Localizing latent structures in the activation space of language models (LMs) is central to understanding and controlling their behavior. Yet, localized structures can differ substantially in their causal influence, raising the question of what makes a structure actionable. We tackle this question by casting causal influence as a product of three factors and showing empirically that they act as interpretable, distinct constraints: capacity, measuring the sensitivity of the model's output to movement along the structure, responsiveness, capturing how promotable the concept is given the current context, and alignment, reflecting how well the structure aligns with the context-specific representation of the concept. Across 4 LM families and 50 concepts, we observe that causal effectiveness requires all factors to be high; low capacity and responsiveness reduce it by 84% and 95%, respectively, while low alignment can reverse it, suppressing concept expression. Moreover, we find that causality is context-dependent rather than an intrinsic property of the structure, with causally effective directions forming a low-dimensional subspace that varies across contexts. By restricting the training of linear probes to this subspace, we introduce causal probes that achieve 17%-118% improvement in steering across models, with only 3% reduction in concept detection.
• Abstract（参考訳）: 言語モデル(LM)の活性化空間において潜在構造を局在させることは、それらの振る舞いを理解し制御することの中心である。 しかし、局所的な構造はその因果的影響において大きく異なる可能性があり、構造がどう作用するかという疑問が提起される。 本稿では,3つの要因の積として因果的影響を論証し,それらが解釈可能な,異なる制約として機能することを示す。キャパシティ,構造に沿った運動に対するモデル出力の感度の測定,応答性,概念がいかにプロモータブルであるかの把握,そして,構造が概念の文脈固有の表現とどの程度うまく一致しているかを反映したアライメントである。 4つのLMファミリーと50のコンセプトにまたがって、因果効果にはすべての要因が要求され、低キャパシティと応答性がそれぞれ84%と95%減少し、低アライメントはそれを逆転し、概念表現を抑える。 さらに、因果性は構造の本質的な性質よりも文脈に依存しており、因果的有効方向は文脈によって異なる低次元部分空間を形成する。 線形プローブのトレーニングをこのサブスペースに制限することにより、モデル間のステアリングを17%-118%改善し、概念検出をわずか3%削減する因果プローブを導入する。

関連論文リスト

• Component and Dimension Sparsity in Transformer Refusal Mechanisms [68.6633075989334]
  アクティベーションステアリングは、内部のアクティベーションに介入することで、大きな言語モデルの振る舞いを制御する。 4つのオープンウェイトモデルにまたがるコンポーネントレベルの介入に、リファレルステアリングを分解する。
  論文  参考訳（メタデータ） (2026-09-30T23:32:40Z)
• In-Context Learning Operates as Concept Subspace Learning [20.051573945788963]
  構造化された実演が低次元概念推論を誘導するかどうかを考察する。 リッジおよび最小二乗 ICL プロキシでは、予測は正確に概念座標回帰と非部分空間リークに分解される。 これらの結果は、回復可能なICL振舞いのコンパクトなタスク整列メディエータとして概念部分空間をサポートする。
  論文  参考訳（メタデータ） (2026-05-12T21:43:48Z)
• Causal Learning with Neural Assemblies [0.0]
  投影, 局所可塑性制御, スパース勝者選択は, 方向性学習に十分であることを示す。 DIRECTは、アダプティブゲインスケジュールの下で、ソースとターゲットアセンブリを協調して活性化し、指示された関係を内部化するメカニズムである。 結果は、生物学的に妥当な力学と形式的因果モデルの間の監査可能なブリッジとして神経集合を確立する。
  論文  参考訳（メタデータ） (2026-04-29T17:34:33Z)
• From Perception to Action: An Interactive Benchmark for Vision Reasoning [51.11355591375073]
  Causal Hierarchy of Actions and Interactions (CHAIN)ベンチマークは、モデルが物理的制約に基づいて構造化されたアクションシーケンスを理解し、計画し、実行できるかを評価するために設計された。 CHAINは、受動的知覚からアクティブな問題解決、機械パズルのインターロックや3D積み重ね、パッキングといったタスクへと評価をシフトする。 以上の結果から,トップパフォーマンスモデルでは,物理構造や因果制約の内在化に苦慮し,信頼性の高い長期計画の作成に失敗することが多く,認識された構造を効果的に翻訳することができないことが示唆された。
  論文  参考訳（メタデータ） (2026-02-24T15:33:02Z)
• Emergent Structured Representations Support Flexible In-Context Inference in Large Language Models [77.98801218316505]
  大型言語モデル(LLM)は、人間のような推論を示唆する創発的な行動を示す。 テキスト内概念推論におけるLLMの内部処理について検討する。
  論文  参考訳（メタデータ） (2026-02-08T03:14:39Z)
• Fantastic Reasoning Behaviors and Where to Find Them: Unsupervised Discovery of the Reasoning Process [66.38541693477181]
  本稿では, アクティベーション空間の方向として, 異なる推論挙動を符号化する, 推論ベクトルの発見のための教師なしフレームワークを提案する。 思考の連鎖トレースを文レベルの「ステップ」にセグメント化することで、リフレクションやバックトラックのような解釈可能な振る舞いに対応する歪んだ特徴を明らかにする。 本研究では,SAEデコーダ空間における信頼性関連ベクトルを同定し,応答信頼性を制御する能力を示す。
  論文  参考訳（メタデータ） (2025-12-30T05:09:11Z)
• Towards Error-Centric Intelligence II: Energy-Structured Causal Models [0.0]
  インテリジェンスは説明を構築し、洗練する能力である。 本稿では、単に予測するだけでなく、理解しようとするシステムにおける因果推論のための形式言語を提供する。
  論文  参考訳（メタデータ） (2025-10-24T22:19:17Z)
• LLM Assertiveness can be Mechanistically Decomposed into Emotional and Logical Components [0.17188280334580197]
  LLM(Large Language Models)は、しばしば過剰な自信を示し、高い文脈で不確実性のある情報を提示する。 我々は、人間の注釈付きアサーション性データセットを微調整したオープンソースのLlama 3.2モデルを使用している。 分析により,アサーションのコントラストに最も敏感な層が同定され,高いアサーティブ表現が感情的・論理的クラスタの2つのサブコンポーネントに分解されることが明らかとなった。
  論文  参考訳（メタデータ） (2025-08-24T01:43:48Z)
• Generalization or Hallucination? Understanding Out-of-Context Reasoning in Transformers [80.70134000599391]
  我々は、両方の行動は、アウト・オブ・コンテクスト推論(OCR)として知られる単一のメカニズムに由来すると論じる。 OCRは、関連する概念が因果関係であるかによって、一般化と幻覚の両方を駆動する。 我々の研究は、OCR現象を理解するための理論的基盤を提供し、知識注入から望ましくない行動を分析し緩和するための新しいレンズを提供する。
  論文  参考訳（メタデータ） (2025-06-12T16:50:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。