論文の概要: From Error Prediction to Causal Influence: Auditing SAE Features in Multiple-Choice QA

• arxiv url: http://arxiv.org/abs/2610.38067v1
• Date: Tue, 27 Oct 2026 23:34:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:09.927594
• Title: From Error Prediction to Causal Influence: Auditing SAE Features in Multiple-Choice QA
• Title（参考訳）: 誤り予測から因果影響へ:マルチコースQAにおけるSAE特徴の検討
• Abstract要約: 複数選択質問応答の区別について検討し,ロジットマージンを用いて回答の選好を計測する。 本稿では,プロンプトや応答の置換など,フォーマットやコンテンツアーティファクトと高い相関関係を持つ機能をフィルタするパイプラインを提案する。 その結果,SAEアクティベーションには,モデルやデータセット間の誤りや不確実性に関する予測信号が含まれていることがわかった。
• 参考スコア（独自算出の注目度）: 13.923849468280425
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse autoencoders (SAEs) can predict internal features associated with model errors, but association alone does not establish causal influence. We study this distinction in multiple-choice question answering, where answer preference can be measured by the logit margin between the correct answer and the competing choices. Across eight datasets, we analyze Gemma~3 1B and 4B with Gemma Scope SAEs. We propose a pipeline to filter out the features that have high correlation with format and content artifacts, such as prompt and answer permutation, and evaluate the remaining ones with causal feature interventions. Our results show that SAE activations contain predictive signals about wrongness and uncertainty across models and datasets. After filtering artifact-contaminated features, selected features for causal intervention at question and option spans produce larger absolute margin shifts and a higher wrong-to-correct rate than randomly selected features, indicating greater causal leverage. However, answer flips are rare, and we do not observe stable effect directions across meaning-preserving changes in prompt format and answer order. An adapted HalluSAE baseline produces larger final-token margin changes, but relies on substantially contaminated features and does not significantly improve correction rates. Therefore, the identified features reflect context-dependent answer competition rather than the mechanism of incorrect answer errors.
• Abstract（参考訳）: スパースオートエンコーダ(SAE)はモデルエラーに関連する内部的特徴を予測できるが、相関だけで因果的影響は確立しない。 本研究は, 正解と競合選択の対ロジットマージンによって, 回答選好を測定できる複数選択質問応答において, この区別について検討する。 8つのデータセットでGemma~3 1B、4BをGemma Scope SAEで解析する。 本稿では,プロンプトや応答順列などのフォーマットやコンテンツアーティファクトと高い相関関係を持つ特徴をフィルタし,残りの特徴を因果的特徴介入で評価するパイプラインを提案する。 その結果,SAEアクティベーションには,モデルやデータセット間の誤りや不確実性に関する予測信号が含まれていることがわかった。 アーティファクト汚染された特徴をフィルタリングした後、因果的介入のための選択された特徴とオプションスパンは、ランダムに選択された特徴よりも大きな絶対的マージンシフトと高い誤修正率を生成し、因果的レバレッジがより大きいことを示す。 しかし, 解答フリップは稀であり, 解答順序や解答形式における意味保存的変化に対して, 安定的な効果方向を観察することができない。 適応されたHaluSAEベースラインは、より大きな最終段階のマージン変化を発生させるが、実質的に汚染された特徴に依存し、補正率を著しく改善しない。 したがって, 同定された特徴は, 誤解のメカニズムよりも, 文脈に依存した解の競合を反映している。

関連論文リスト

• Active Budget Can Kill Sensitivity: Diagnosing and Repairing TopK Sparse Autoencoder Reliability [17.098113466594274]
  スパースオートエンコーダ(SAE)は、大きな言語モデルのアクティベーションから微細構造を復元するために、より広い辞書に拡張される。 本研究では,TopK SAEの信頼性問題について,特徴感度を用いて検討する。 実験では、スケーリングは稀な特徴の感度を選択的に低下させるが、共通の特徴は比較的安定している。
  論文  参考訳（メタデータ） (2026-09-29T15:44:41Z)
• FACTOR: Counterfactual Training-Free Test-Time Adaptation for Open-Vocabulary Object Detection [63.91351553178842]
  FACTORはオープン語彙オブジェクト検出のためのトレーニング不要なテスト時間適応である。 属性依存性の予測を選択的に抑制するために、属性の感度、意味的関連性、予測のバリエーションを定量化する。 PASCAL-C, COCO-C, FoggyCityscapes の実験では、FACTOR が従来の TTA 法より一貫して優れていたことが示されている。
  論文  参考訳（メタデータ） (2026-05-05T02:31:18Z)
• Adaptive Conformal Prediction for Improving Factuality of Generations by Large Language Models [86.8650252164764]
  大規模言語モデル(LLM)は、事実的に誤った出力を生成する傾向にある。 本研究では,LLMへのコンフォメーションスコア変換法を拡張する適応型コンフォメーション予測手法を提案する。 これにより、アクシデントに依存したキャリブレーションが可能となり、条件付きカバレッジを改善しながら、限界範囲のカバレッジ保証が維持される。
  論文  参考訳（メタデータ） (2026-04-15T15:35:42Z)
• Causal Feature Selection via Transfer Entropy [59.999594949050596]
  因果発見は、観察データによる特徴間の因果関係を特定することを目的としている。 本稿では,前向きと後向きの機能選択に依存する新たな因果的特徴選択手法を提案する。 精度および有限サンプルの場合の回帰誤差と分類誤差について理論的に保証する。
  論文  参考訳（メタデータ） (2023-10-17T08:04:45Z)
• Model-based causal feature selection for general response types [8.228587135343071]
  Invariant causal prediction (ICP) は、不均一な設定からのデータを必要とする因果的特徴選択の手法である。 我々は変換モデル(TRAM)ベースのICPを開発し、連続的、分類的、カウント型、非形式的に検閲された応答を可能にする。 我々は、オープンソースのRパッケージ「tramicp」を提供し、シミュレーションデータに対する我々のアプローチを評価し、重篤な患者の生存の因果的特徴を調査する事例研究を行った。
  論文  参考訳（メタデータ） (2023-09-22T12:42:48Z)
• Realistic Conversational Question Answering with Answer Selection based on Calibrated Confidence and Uncertainty Measurement [54.55643652781891]
  対話型質問回答モデル(ConvQA)は,会話中に複数回発生した質問文と過去の質問文のペアを用いて質問に回答することを目的としている。 本稿では,会話履歴における不正確な回答を,ConvQAモデルから推定された信頼度と不確実性に基づいてフィルタリングすることを提案する。 我々は2つの標準ConvQAデータセット上で、回答選択に基づくリアルな会話質問回答モデルの有効性を検証する。
  論文  参考訳（メタデータ） (2023-02-10T09:42:07Z)
• Counterfactual Variable Control for Robust and Interpretable Question Answering [57.25261576239862]
  ディープニューラルネットワークに基づく質問応答(QA)モデルは、多くの場合、堅牢でも説明もできない。 本稿では、因果推論を用いてQAモデルのこのような突発的な「能力」を検証する。 本稿では,任意のショートカット相関を明示的に緩和する,CVC(Counterfactual Variable Control)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-12T10:09:05Z)
• Robust Question Answering Through Sub-part Alignment [53.94003466761305]
  我々はアライメント問題として質問応答をモデル化する。 私たちは、SQuAD v1.1でモデルをトレーニングし、いくつかの逆および外ドメインデータセットでそれをテストします。
  論文  参考訳（メタデータ） (2020-04-30T09:10:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。