論文の概要: Rethinking Circuit Evaluation: Do Circuits Explain Model Errors?

• arxiv url: http://arxiv.org/abs/2609.35686v1
• Date: Mon, 28 Sep 2026 17:34:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 19:39:05.14606
• Title: Rethinking Circuit Evaluation: Do Circuits Explain Model Errors?
• Title（参考訳）: 回路評価の再考:回路はモデルエラーを説明できるか?
• Abstract要約: モデルの動作を説明する回路がほとんどのエラーを考慮できないことを示す。 多くの試験回路は、モデルのエラーの大半を見逃しながら、正確な動作を密に再現した。 これらの結果から,回路はモデルの故障を適切に説明せずにタスク成功を維持できることがわかった。
• 参考スコア（独自算出の注目度）: 10.705929494771231
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mechanistic interpretability (MI) aims to explain a model's behaviour through analyzing its internal computations; circuit-based explanations aim to isolate these computations with compact subnetworks validated by ablating the rest of the model. We show that circuits validated this way may fail to recover the underlying mechanism of the model's behaviour by closely reproducing its successful decisions while failing to account for most of its errors. Such explanations should account for the model's particular errors as well as its successes. We evaluate this requirement by measuring exact answer agreement separately on model successes and failures, across circuit sizes and ablation settings, on IOI, Docstring, and six model-task settings from the Mechanistic Interpretability Benchmark. We discover that many tested circuits closely replicate correct behaviour while missing most of the model's errors. On indirect object identification (IOI) for GPT-2 small, under mean ablation, the manual circuit and tested automated circuits, including one trained against the model's full output distribution, agree with the model on 97.3-99.5% of prompts it answers correctly but only 11.4-41.7% of errors. An IOI case study shows that lost errors are recoverable by restoring omitted attention-heads which raise error reproduction from 14.2% to 75.1% on a separate held-out set with 0.41 percentage point decrease on correct agreement, exceeding matched random extensions and scalar-biased control. Intervention traces show how omitted computations produce specific wrong answers for a reproducible subset of errors. In all, these findings show circuits can preserve task success without adequately explaining model's failures, and support exact error reproduction as a necessary, but not sufficient, test of circuit-based explanations of model behaviour.
• Abstract（参考訳）: 機械的解釈可能性(MI)は、内部計算を解析することでモデルの振る舞いを説明することを目的としており、回路に基づく説明は、モデルの残りの部分を非難することによって検証されたコンパクトなサブネットでこれらの計算を分離することを目的としている。 このように検証された回路は、ほとんどのエラーを考慮せず、成功した決定を密に再現することで、モデル動作の基盤となるメカニズムを回復できない可能性があることを示す。 このような説明は、モデルの特定のエラーと、その成功を考慮に入れるべきである。 本要件は,回路サイズ,アブレーション設定,IOI,Docstring,およびMechanistic Interpretability Benchmarkの6つのモデルタスク設定において,モデル成功と失敗を別々に測定することで評価する。 多くの試験回路がモデルエラーの大部分を欠いている間に、正確な動作を忠実に再現していることが判明した。 GPT-2の間接的オブジェクト識別(IOI)では、平均アブレーションの下で、モデルの全出力分布に対してトレーニングされた1つを含む手動回路とテストされた自動回路が97.3-99.5%の精度でモデルに一致するが、11.4-41.7%の誤差しか答えない。 IOIのケーススタディでは、誤り再現を14.2%から75.1%に引き上げる省略された注意ヘッドを、一致したランダム拡張とスカラーバイアス制御を超越した0.41ポイント低下した別のホールトアウトセットで復元することで、損失エラーが回復可能であることを示した。 干渉トレースは、省略された計算が再現可能なエラーのサブセットに対して、どのように特定の間違った答えを生成するかを示す。 これらの結果から、回路はモデルの失敗を適切に説明することなくタスク成功を保ち、正確な誤り再現を必要だが十分ではないとして、回路ベースでモデル動作を説明できることを示した。

関連論文リスト

• Same World, Different Knowledge: When Isolated Audits Misjudge World-Model Repairs [4.081610854729677]
  分離された入力故障の下で好まれる修理は、デプロイされたモジュールが不良情報を共有した場合に劣る。 本稿では, 正確な入力が推定される不確実性ギャップと, 入力が欠落しているアベイラビリティギャップとを区別した, 世界モデルのための情報インターフェース監査を提案する。
  論文  参考訳（メタデータ） (2026-09-17T23:51:16Z)
• Reflective Recovery: A Self-Supervised Method for Reasoning by Learning from Mistakes [70.64622557376505]
  リフレクティブリカバリは、推論中のミスを認識し、修正するようにモデルに教える。 AIME 2025では30.0%から37.5%、Minervaでは37.6%から47.8%に精度が向上している。
  論文  参考訳（メタデータ） (2026-07-24T02:51:42Z)
• The Knowing-Saying Gap: When Probes See Errors that Confidence Misses [20.46211358172975]
  線形プローブは、ほぼ完全精度で言語モデルの劣化コンテキストを検知するが、信頼性の高い故障予測にはならない。 マルチホップ算術連鎖全体において、汚職を検出するプローブは最終解の正しさについて非形式的であることが判明した。 リアルタイムモニタとして、プローブベースの介入は、シャープにモデル化され、エラータイプに依存します。
  論文  参考訳（メタデータ） (2026-07-21T12:13:10Z)
• Demystifying Variance in Circuit Discovery of LLMs [51.97489679448601]
  我々は,再サンプリングのばらつきを大幅に軽減する新しい回路探索法を開発した。 テンプレートの異なるプロンプトは、モデル内の異なる回路を活性化する傾向があるため、リフレージングのばらつきが生じることを示す。 我々は、よりコンパクトで解釈可能なタスク回路を形成すると主張されている空間性は、この問題の解決に失敗すると主張している。
  論文  参考訳（メタデータ） (2026-06-15T16:25:07Z)
• Decoding the Critique Mechanism in Large Reasoning Models [50.821607345799386]
  大規模推論モデル(LRM)は、バックトラックと自己検証メカニズムを示し、中間ステップを修正して正しい解に到達できるようにする。 中間推論ステップに算術ミスを挿入することにより,現在のLEMがエラーからどのように回復するかを検討する。 チェーン・オブ・シークレットを伝播する誤りにもかかわらず、モデルは依然として正しい最終解に達している。
  論文  参考訳（メタデータ） (2026-03-17T10:03:30Z)
• InT: Self-Proposed Interventions Enable Credit Assignment in LLM Reasoning [32.274434679047395]
  アウトカム・リワード強化学習(RL)は,大規模言語モデル(LLM)の推論能力向上に有効であることが証明された。 標準RLは最終回答のレベルにのみクレジットを割り当て、結果が正しくない場合にすべての推論トレースを罰する。 Invention Training (InT) は、モデルが独自の推論トレースに基づいてきめ細かいクレジット割り当てを行う訓練パラダイムである。
  論文  参考訳（メタデータ） (2026-01-20T18:15:38Z)
• Probing for Arithmetic Errors in Language Models [86.8227317662622]
  言語モデルの内部アクティベーションは、算術誤差を検出するために使用できる。 単純なプローブはモデルが予測した出力と正解の両方を隠蔽状態から正確に復号できることを示す。 モデル精度を90%以上の精度で予測する軽量エラー検出器を訓練する。
  論文  参考訳（メタデータ） (2025-07-16T16:27:50Z)
• Automatic Discovery and Assessment of Interpretable Systematic Errors in Semantic Segmentation [0.5242869847419834]
  本稿では,セグメンテーションモデルにおける体系的誤りを発見するための新しい手法を提案する。 マルチモーダル・ファンデーション・モデルを用いてエラーを検索し、誤った性質とともに概念的リンクを用いてこれらのエラーの体系的性質を研究する。 我々の研究は、これまでセマンティックセグメンテーションで過小評価されてきたモデル分析と介入への道を開く。
  論文  参考訳（メタデータ） (2024-11-16T17:31:37Z)
• Witnessing entanglement in trapped-ion quantum error correction under realistic noise [41.94295877935867]
  量子誤り補正(Quantum Error Correction, QEC)は、論理情報を複数の物理量子ビットに符号化することで冗長性を利用する。 トラップイオンプラットフォームで使用される2量子光シフトゲートの平均ゲート不忠実度を推定するために,詳細な顕微鏡誤差モデルを提案する。 次に、この現実的な誤差モデルを適用し、QECビルディングブロックとして機能する回路によって生成されるマルチパーティントの絡み合いを定量化する。
  論文  参考訳（メタデータ） (2022-12-14T20:00:36Z)
• Fast and Accurate Error Simulation for CNNs against Soft Errors [64.54260986994163]
  本稿では,誤りシミュレーションエンジンを用いて,コナールニューラルネットワーク(CNN)の信頼性解析のためのフレームワークを提案する。 これらの誤差モデルは、故障によって誘導されるCNN演算子の出力の破損パターンに基づいて定義される。 提案手法は,SASSIFIの欠陥効果の約99%の精度と,限定的なエラーモデルのみを実装した44倍から63倍までのスピードアップを実現する。
  論文  参考訳（メタデータ） (2022-06-04T19:45:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。