論文の概要: Correcting Attribution Patching with a Few Exact Measurements

• arxiv url: http://arxiv.org/abs/2610.27393v1
• Date: Mon, 19 Oct 2026 23:35:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.544936
• Title: Correcting Attribution Patching with a Few Exact Measurements
• Title（参考訳）: 少数の実測値を用いた補正属性パッチング
• Abstract要約: 帰属パッチの誤りと未測定推定値の正当性を明らかにするために, Guided-APを提案する。 1つのプロンプトでは、多くのコンポーネントのエラーが1つのサインを共有しているため、小さな正確なサンプルが残りを1つの修正する。
• 参考スコア（独自算出の注目度）: 8.309429160873425
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mechanistic interpretability asks which language model components matter for a behavior, and activation patching answers by changing one component's activation and measuring its effect, at a cost growing with components and prompts. Attribution patching estimates these effects from one gradient pass, but its estimates can be far off, and verifying each one restores the cost. Can the structure of these errors reduce this cost? We propose Guided-AP, which uses a few exact measurements to reveal attribution patching's errors and correct unmeasured estimates. On a single prompt, many components' errors share one sign, so a small exact sample yields one correction for the rest. Over many prompts of one task, components are misestimated similarly, so a few measured prompts show what to verify and how to correct each component's average effect. Our analysis shows that choosing what to verify needs error size, while correction also needs sign. On a single prompt, the correction lowers error by up to 26% across three behaviors at the compute of verifying the largest estimates and also on larger models. Over many prompts, learned corrections cut the error of average effects on factual completion by 75% to 79%, repaying their cost in long analyses.
• Abstract（参考訳）: 機械的解釈可能性(Mechanistic Interpretability)は、あるコンポーネントのアクティベーションを変更してその効果を測定することで、どの言語モデルコンポーネントが振る舞いに重要か、そしてアクティベーションパッチの回答を、コンポーネントとプロンプトで増大するコストで要求する。 属性パッチは、これらの効果を1つの勾配パスから推定するが、その見積もりは遠く離れ、それぞれがコストを回復する。 これらのエラーの構造は、このコストを削減できますか? 帰属パッチの誤りと未測定推定値の正当性を明らかにするために,いくつかの正確な測定値を用いた Guided-AP を提案する。 1つのプロンプトでは、多くのコンポーネントのエラーが1つのサインを共有しているため、小さな正確なサンプルが残りを1つの修正する。 1つのタスクの多くのプロンプトにおいて、コンポーネントも同様に誤解されるので、いくつかの測定されたプロンプトは、各コンポーネントの平均効果をどのように検証し、どのように修正するかを示す。 分析の結果,検証対象の選択には誤差サイズが必要であり,修正には符号が必要であることがわかった。 1つのプロンプトで、最大の推定値とより大きなモデルに対する検証の計算において、3つの動作に対してエラーを最大26%下げる。 多くのプロンプトにおいて、学習された修正によって、実際の完了に対する平均的な効果の誤差を75%から79%削減し、長い分析でコストを返済した。

関連論文リスト

• Same Scores, Different Decisions: Evaluating JEV and Language Models for Legal Document Understanding [65.85599131866623]
  私たちはJevとContractNLIの9つの言語モデルを比較します。 制御された比較は、仮説の可視性、要求された出力、および出力順序によって異なる。 Jevは、評価された構成の中で、最低コストと中央値のレスポンス時間を持っています。
  論文  参考訳（メタデータ） (2026-09-23T10:53:01Z)
• Innovation-Residual Auditing of Autonomous Analysis Agents: Localization, Detection Limits, Error Control, and Identifiability [11.987280372027032]
  本論文は,誤差が全く局所化可能であるか否かを判定するスコアの選択を提供する。 次に、単一の監査された分析において、誤ったフラグ付けされた操作の割合を制御する手順を提示する。
  論文  参考訳（メタデータ） (2026-08-06T00:42:43Z)
• Correction and Corruption: A Two-Rate View of Error Flow in LLM Protocols [51.56484100374058]
  そこで本研究では,単一プロトコルステップを正確なマッチングタスクで監査するためのペアアウトカム計測インタフェースを提案する。 各インスタンスについて、インターフェースはベースラインの正当性ビットと後ステップの正当性ビットを記録する。 これらのレートは精度の変化を予測し、種、混合物、パイプライン間でテスト可能な再利用可能な経験的インターフェースを定義する。
  論文  参考訳（メタデータ） (2026-04-20T13:25:40Z)
• Rethinking Early Stopping: Refine, Then Calibrate [49.966899634962374]
  キャリブレーション・リファインメント分解の新規な変分定式化について述べる。 我々は,校正誤差と精錬誤差が訓練中に同時に最小化されないという理論的,実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2025-01-31T15:03:54Z)
• A Coin Has Two Sides: A Novel Detector-Corrector Framework for Chinese Spelling Correction [79.52464132360618]
  中国語のSpelling Correction(CSC)は、自然言語処理(NLP)の基本課題である。 本稿では,エラー検出・相関器の枠組みに基づく新しい手法を提案する。 我々の検出器は2つのエラー検出結果を得るように設計されており、それぞれ高精度とリコールが特徴である。
  論文  参考訳（メタデータ） (2024-09-06T09:26:45Z)
• Factual Error Correction for Abstractive Summaries Using Entity Retrieval [57.01193722520597]
  本稿では,エンティティ検索後処理に基づく効率的な事実誤り訂正システムRFECを提案する。 RFECは、原文と対象要約とを比較して、原文から証拠文を検索する。 次に、RFECは、エビデンス文を考慮し、要約中のエンティティレベルのエラーを検出し、エビデンス文から正確なエンティティに置換する。
  論文  参考訳（メタデータ） (2022-04-18T11:35:02Z)
• Error correction and extraction in request dialogs [12.137183622356197]
  Componentは、ユーザの2つの最後の発話を取得し、最後の発話が2番目の最後の発話の誤り訂正であるかどうかを検出する。 そして、最後の発話における誤差補正に従って第2の最終発話を補正し、抽出した再並列及び補修エンティティのペアを出力する。 1つの誤り訂正検出と1つの誤り訂正アプローチをパイプラインに組み合わせたり、エラー訂正アプローチをトレーニングしたり、エンドツーエンドで2つのコンポーネントを避けることができる。
  論文  参考訳（メタデータ） (2020-04-08T20:49:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。