論文の概要: Causal Localization of Evidence Effects in Transformers
- arxiv url: http://arxiv.org/abs/2610.36524v1
- Date: Tue, 27 Oct 2026 02:27:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-28 21:04:31.467472
- Title: Causal Localization of Evidence Effects in Transformers
- Title（参考訳）: 変圧器におけるエビデンス効果の因果局在
- Abstract要約: 制御されたエビデンスアグリゲーション(CEA)を導入し、2つのシンボルの個数と順序を、他の固定されたプロンプトで変化させる。
CEAは、2つの応答トークン間の凍結トランスフォーマーの好みの変化を測定する。
因果的影響が自然言語決定にまで及ぶコンパクトなヘッドセットを同定する。
- 参考スコア（独自算出の注目度）: 20.773572902183563
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Can controlled symbolic inputs reveal attention heads that influence a language model's decisions from natural language evidence? We introduce controlled evidence aggregation (CEA), which varies the counts and order of two symbols in otherwise fixed prompts and measures changes in a frozen Transformer's preference between two answer tokens. The preference is measured by their logit difference; the prompts prescribe no correct answer. Balanced utility causal selection (BUC) identifies compact head sets by jointly evaluating how much ablating their outputs removes the count effect and how closely patching mean outputs between count conditions recovers the effect in both directions. We derive conditional bounds linking head attribution to intervention effects and specifying when the attribution shortlist can be recovered from finite samples. In Pythia-410M, ablating sets of 1-12 heads selected separately for four ordering regimes removes 65.5-91.6% of the count effect. The sets retain their influence on count comparisons not used for selection. To test relevance beyond symbolic inputs, we evaluate a natural language task asking which state is supported by more reports. Ablating eight heads selected only on symbolic yes/no prompts lowers mean accuracy by 8.2 percentage points, versus 0.8 for random sets matched by size and layer. Our results demonstrate that controlled symbolic probes can identify compact attention head sets whose causal influence extends to natural language decisions.
- Abstract（参考訳）: 制御された記号入力は、自然言語のエビデンスから言語モデルの判断に影響を及ぼす注意のヘッドを明らかにすることができるのか?
制御されたエビデンスアグリゲーション (CEA) を導入し, 2つのシンボルの個数と順序を不確定なプロンプトで変化させ, 凍結したトランスフォーマーの2つの応答トークン間の好みの変化を測定する。
好みはロジット差によって測定され、プロンプトは正しい答えを規定しない。
平衡効用因果選択 (BUC) は、その出力がどれだけの出力を損なうか、およびカウント条件間の平均出力の密接なパッチが両方向の影響を回復するかを共同で評価することにより、コンパクトなヘッドセットを識別する。
介入効果と頭部属性をリンクする条件付きバウンダリを導出し, 有限サンプルからアトリビューション・ショートリストをいつ回収できるかを指定する。
Pythia-410Mでは、4つの順序規則で別々に選択された1-12個のヘッドのアブラティングセットは、カウント効果の65.5-91.6%を除去する。
これらの集合は、選択に使われないカウント比較への影響を保っている。
シンボリック入力以外の関連性をテストするために,より多くのレポートによってどの状態がサポートされているかを問う自然言語タスクを評価する。
記号のye/noにのみ選択された8つのヘッドを印字すると、平均精度が8.2ポイント低下する。
この結果から,制御されたシンボルプローブは,因果的影響が自然言語決定にまで及ぶような,コンパクトなアテンション・ヘッドセットを識別できることが示唆された。
関連論文リスト
- LOGIC: An LLM Benchmark for Intent-Grounded Change Impact in Aerospace Electrical Systems [0.6567875008573567]
検出されたすべての違いを伝搬すると、非常に広範囲な影響レポートが生成される。
制御されたベンチマークおよび評価フレームワークであるLOGICを提案する。
LOGICには168のシナリオがあり、144のセレクションと24の棄権ケースが含まれている。
論文 参考訳（メタデータ） (2026-10-06T01:14:09Z) - Shrome at Touché: Soft-Vote Ensembling and Counter-Causal Augmentation for Causality Extraction [0.0]
Touché 2026は因果関係の抽出を反因果関係の主張に拡張する。
原因」や「原因」のような表面的な手がかりに依存するシステムは、そのような文を因果として受け入れ、間違った極性を与える。
論文 参考訳（メタデータ） (2026-10-02T13:11:27Z) - XU-RS: Explaining Credal Width in Random-Set Language Models [45.20404792960253]
不確実性見積は、モデルがどの程度不確実であるかを教えてくれますが、その理由ではありません。
本稿では,言語モデルに供給される入力トークンに応答の致命的幅を属性とするフレームワークであるXU-RSを提案する。
SmolLM3-3BとLlama-2-7Bモデルを用いて,XU-RSをMedQAデータセット上で評価した。
論文 参考訳（メタデータ） (2026-09-29T13:48:33Z) - What Would Falsify It? A Variable Specific Evidence Standard for Mechanistic Claims About Self Explanation [0.0]
言語モデルがすでに与えられた答えを説明するとき、その答えを生成した計算を再利用するか、あるいは回答からのみストーリーを再構築するかを示します。
検証された変数の同一性を除去する変数固有nullと、それぞれ正の統計量とをペアリングするエビデンス標準を提案する。
論文 参考訳（メタデータ） (2026-09-26T14:26:14Z) - Off-Target Effects of Response-Style Alignment in a Korean 27B Language Model [2.8678936590409028]
本研究の目的は,不明瞭な社会的質問の棄却と証券ガイダンスの未公表の2つの行動を測定することである。
一致したターゲットフォームコントロールは、回答の妥当性がトレーニング対象に依存していることを示し、プロンプトセットやレシピのみに依存しない。
論文 参考訳（メタデータ） (2026-09-10T09:23:04Z) - When Does Permutation Instability Generalize? Independent-View Validation for Listwise LLM Reranking [0.0]
リストワイズ言語モデルリランカは、等価な候補置換に異を唱える。
有限不安定診断は、追加のサンプリング、アグリゲーション、選択的な計算の動機付けに使用される。
有限ビュー不安定度スコアが未確認順列を予測するという主張にどのように影響するかを考察する。
論文 参考訳（メタデータ） (2026-08-13T03:40:32Z) - Reading Cognition as Decisions Unfold in Words: A Factorized Inverse Decision Model [67.84198127797005]
逆決定モデリングは、観察された行動から決定過程の潜伏特性を推定する。
本稿では、各個人のタスク実行可能性を行動要因と努力要因に分解する因子化逆決定モデル(FIDM)を提案する。
論文 参考訳（メタデータ） (2026-08-10T07:46:13Z) - When Many Answers Are Valid, Voting Fails: Symbolic Verification for Best-of-K Causal Reasoning in LLMs [42.32694162421078]
CALVERは、パールの因果基準に対して構造化されたトレースをスコアする訓練不要なシンボル検証器である。
CALVERは、複数のグラフ正解を許容するCLEAR検索1価クエリにおいて、報酬モデル、LLM審査員、モデルの信頼性が30%近く残っている42.1%に達する。
論文 参考訳（メタデータ） (2026-08-04T11:45:46Z) - What Are We Actually Decoding? Source Attribution for Non-Invasive Brain-to-Language Retrieval [42.66754319854329]
我々は,刺激同期MEG-to-audio検索を監査フレームワークとして再放送した。
構造的ショートカット、ウィンドウレベルの刺激ロックされたエビデンス、ウィンドウ間のコンテキストアグリゲーションを使用します。
これらの結果は、脳から言語へのパフォーマンスは、単に報告されるのではなく、ソース属性であるべきだことを示唆している。
論文 参考訳（メタデータ） (2026-05-23T11:23:39Z) - Rethinking Dense Sequential Chains: Reasoning Language Models Can Extract Answers from Sparse, Order-Shuffling Chain-of-Thoughts [51.84894623128418]
現代の推論言語モデルは、すべてのトークンが寄与し、ステップを順番に消費しなければならないと暗黙的に仮定して、シーケンシャルな連鎖トレースを生成する。
我々は、モデル生成推論連鎖に適用した、系統的な介入パイプライン、除去、マスキング、シャッフル、ノイズ注入により、両方の仮定に挑戦する。
解答抽出は, スパース, 秩序不感, 構造的に堅牢な情報基板上で行う。
論文 参考訳（メタデータ） (2026-05-08T06:15:50Z) - Causal Understanding by LLMs: The Role of Uncertainty [43.87879175532034]
近年の論文では、LLMは因果関係分類においてほぼランダムな精度を達成している。
因果的事例への事前曝露が因果的理解を改善するか否かを検討する。
論文 参考訳（メタデータ） (2025-09-24T13:06:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。