Fugu-MT 論文翻訳(概要): Interpreting Model Reasoning through Behavioral Counterfactuals

論文の概要: Interpreting Model Reasoning through Behavioral Counterfactuals

arxiv url: http://arxiv.org/abs/2610.30630v1
Date: Thu, 22 Oct 2026 02:53:04 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-24 02:08:44.193396
Title: Interpreting Model Reasoning through Behavioral Counterfactuals
Title（参考訳）: 行動要因によるモデル推論の解釈
Abstract要約: 本稿では,ある介入がモデル推論にどう影響するかを,行動的反事実を通して局所化し,分析する手法を提案する。 Gemma-4-E4B-itとDeepSeek-R1-0528-Qwen3-8Bのケーススタディにおいて、提案が言語的に認識されていない場合でもモデル推論にどのように影響するかを検討する。
参考スコア（独自算出の注目度）: 29.031290303212163
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Faithfully understanding the internal process that occurs as models form their chain of thought is an important problem with the rise in model capabilities. However, this remains challenging due to the variance in sampled responses, making it difficult to isolate the effects of interventions and compare model reasoning systematically. We propose a method for localizing and analyzing how a given intervention affects the model's reasoning through behavioral counterfactuals: given a fixed response, how does introducing an intervention to the prompt change the next-token distributions? We train a module to edit the residual stream such that it minimizes the KL divergence between the output distributions for a fixed response under a source prompt and its counterfactual target prompt. We find that matching the output distributions recovers the counterfactual behavior more effectively than standard activation reconstruction objectives and validate that attribution of the trained module outputs is effective for identifying causally important locations for counterfactual recovery. The attribution maps and visualizations of the downstream effects of model edits provide an interface for generating hypotheses about the original model's computation, which can then be tested with activation patching. In a case study on Gemma-4-E4B-it and DeepSeek-R1-0528-Qwen3-8B, we investigate how a suggestion influences model reasoning even when it is not verbally acknowledged. Our analysis identifies representations at the question statement and filler tokens that mediate a substantial part of the suggestion's influence, with downstream effects such as changing the framing of the justification or even the final answer.
Abstract（参考訳）: モデルが思考の連鎖を形成するときに生じる内部プロセスの忠実な理解は、モデル能力の上昇において重要な問題である。しかし、サンプル応答のばらつきのため、介入の効果を分離し、モデル推論を体系的に比較することは困難である。我々は,与えられた介入が行動的反事実を通してモデルの推論にどのように影響するかを局所化し,分析する手法を提案する。我々は,残ストリームの編集を行うモジュールを訓練し,ソースプロンプトの下での固定応答に対する出力分布と,その反現実的ターゲットプロンプトとのKL分散を最小限に抑える。出力分布の一致は、標準活性化再構成目標よりも効果的に反ファクト的挙動を回復し、トレーニングされたモジュール出力の帰属が反ファクト的回復のための因果的重要な場所を特定するのに有効であることを示す。モデル編集の下流効果の属性マップと視覚化は、元のモデルの計算に関する仮説を生成するインターフェースを提供する。 Gemma-4-E4B-itとDeepSeek-R1-0528-Qwen3-8Bのケーススタディにおいて、提案が言語的に認識されていない場合でもモデル推論にどのように影響するかを検討する。本分析では,提案する提案の影響の大部分を媒介する質問文やフィラートークンの表現を,正当化のフレーミングや最終回答の変更などの下流効果で識別する。

関連論文リスト

RepFlow: Representation Enhanced Flow Matching for Causal Effect Estimation [3.541381969947235]
医療、経済、社会政策など様々な分野において、観測データから因果効果を推定することがますます重要になっている。既存の手法は主に点推定に限られており、分散モデリングの能力に欠ける。本稿では、表現学習とフローマッチングを組み合わせた共同最適化問題として因果効果推定を定式化する新しいフレームワークRepFlowを提案する。
論文参考訳（メタデータ） (2026-05-07T09:02:44Z)
Decoding the Critique Mechanism in Large Reasoning Models [50.821607345799386]
大規模推論モデル(LRM)は、バックトラックと自己検証メカニズムを示し、中間ステップを修正して正しい解に到達できるようにする。中間推論ステップに算術ミスを挿入することにより,現在のLEMがエラーからどのように回復するかを検討する。チェーン・オブ・シークレットを伝播する誤りにもかかわらず、モデルは依然として正しい最終解に達している。
論文参考訳（メタデータ） (2026-03-17T10:03:30Z)
Attribution-Guided Model Rectification of Unreliable Neural Network Behaviors [60.06461883533697]
我々は、ランクワンモデル編集を活用して、帰属誘導モデル修正フレームワークを確立する。まず、既存のモデル編集と整合性の設定を区別し、信頼性の低い振る舞いを補正する定式化を行う。そこで本研究では, 帰属誘導層ローカライゼーション手法を提案する。
論文参考訳（メタデータ） (2026-03-08T01:06:07Z)
Causality is Key for Interpretability Claims to Generalise [35.833847356014154]
大規模言語モデル(LLM)の解釈可能性の研究は、モデル行動に関する重要な洞察をもたらした。繰り返し発生する落とし穴: 一般化しない発見と、証拠を突破する因果解釈。パールの因果的階層は、解釈可能性の研究が正当化できることを明確にする。
論文参考訳（メタデータ） (2026-02-18T18:45:04Z)
Analyzing Reasoning Consistency in Large Multimodal Models under Cross-Modal Conflicts [74.47786985522762]
テキスト慣性(textual inertia)と呼ばれる重要な障害モードを特定し、矛盾する視覚的証拠を無視しながら、モデルは間違ったテキストに盲目的に固執する傾向がある。本稿では,多種多様なLMMの推論連鎖に摂動を構造的に注入するLogicGraph摂動プロトコルを提案する。その結果,10%未満の症例で自己修正が成功し,主に視覚的テキスト誤りの伝播に寄与することが判明した。
論文参考訳（メタデータ） (2026-01-07T16:39:34Z)
Did Models Sufficient Learn? Attribution-Guided Training via Subset-Selected Counterfactual Augmentation [61.248535801314375]
Subset-Selected Counterfactual Augmentation (SS-CA) 我々は,モデル予測を選択的に変更可能な最小空間領域集合を識別するために,対実的LIMAを開発した。実験により,SS-CAは分布内テストデータ(ID)の一般化を改善し,分布外ベンチマーク(OOD)において優れた性能を発揮することが示された。
論文参考訳（メタデータ） (2025-11-15T08:39:22Z)
A Causal Adjustment Module for Debiasing Scene Graph Generation [28.44150555570101]
我々は、歪んだ分布間の因果関係をモデル化するために因果推論技術を用いる。提案手法により,ゼロショット関係の合成が可能となり,そのような関係を認識できるモデルの性能が向上する。
論文参考訳（メタデータ） (2025-03-22T20:44:01Z)
Model-free Methods for Event History Analysis and Efficient Adjustment (PhD Thesis) [55.2480439325792]
この論文は、モデルフリーの観点から統一された統計学への独立した貢献のシリーズである。第1章では、機械学習から予測技術を活用する柔軟なメソッドを定式化するために、モデルフリーの視点をどのように利用できるか、詳しく説明している。第2章では、あるプロセスの進化が他のプロセスに直接影響されるかどうかを記述した地域独立の概念を研究している。
論文参考訳（メタデータ） (2025-02-11T19:24:09Z)
Causal Analysis for Robust Interpretability of Neural Networks [0.2519906683279152]
我々は、事前学習されたニューラルネットワークの因果効果を捉えるための頑健な介入に基づく手法を開発した。分類タスクで訓練された視覚モデルに本手法を適用した。
論文参考訳（メタデータ） (2023-05-15T18:37:24Z)
Structural Causal Models Are (Solvable by) Credal Networks [70.45873402967297]
因果推論は、干潟網の更新のための標準的なアルゴリズムによって得ることができる。この貢献は, 干潟ネットワークによる構造因果モデルを表現するための体系的なアプローチと見なされるべきである。実験により, 実規模問題における因果推論には, クレーダルネットワークの近似アルゴリズムがすぐに利用できることがわかった。
論文参考訳（メタデータ） (2020-08-02T11:19:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。