論文の概要: Explanation Multiplicity: Circuit-Level Interpretability Evidence Does Not Survive Defensible Analytic Variation
- arxiv url: http://arxiv.org/abs/2608.13754v1
- Date: Thu, 13 Aug 2026 20:27:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-17 20:14:29.208327
- Title: Explanation Multiplicity: Circuit-Level Interpretability Evidence Does Not Survive Defensible Analytic Variation
- Title（参考訳）: 説明多重性:回路レベル解釈可能性の証拠は予測可能な解析的変動を生じさせない
- Abstract要約: EU AI Actは、ハイリスクシステムのプロバイダに対して、システムが意思決定にどのように到達したかを説明した技術的なドキュメントを提出することを要求する。
機械的解釈可能性(Mechanistic interpretability)はそのような証拠の明らかな源であり、回路発見は最も発達した道具である。
2人の有能なアナリスト、同じシステム、同じツール、異なる保護可能な設定。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The EU AI Act requires providers of high-risk systems to file technical documentation describing how the system reaches its decisions. Mechanistic interpretability is the obvious source of such evidence, and circuit discovery is its most developed instrument. We ask whether that evidence survives the condition under which it would be relied upon: two competent analysts, the same system, the same tool, different defensible settings. We pre-registered a crossed grid of seven analytic axes, every level taken from a published implementation, and mapped each discovered circuit through a deterministic claim map to a structured Annex IV statement. Across 15,840 pre-registered specifications on GPT-2 small and the indirect object identification task, of which 7,561 produced a claim, the derived statement flips across 73.2% of specification pairs (95% CI 0.725 to 0.738) and the modal claim commands 41.1% of the space. The evidence fails a filability criterion at every tolerance a conformity assessment body would plausibly accept. Standardising the single most influential choice, the evaluation metric, leaves the flip rate at 59.4%. Removing circuit size from the claim entirely and holding it fixed leaves 27.1% (95% CI 0.255 to 0.286), still above the pre-registered threshold. The circuits underlying these claims are structurally near-disjoint, median pairwise Jaccard overlap 4%, and functionally uncorrelated at Cohen's kappa 0.015, so the instability is not one mechanism described in different words. We give the filability criterion as a standalone protocol, and we report that one of the seven documented discovery objectives does not execute at all on the library's own canonical task. The study covers one model and one task, and whether the conclusion holds at scale is untested.
- Abstract（参考訳）: EU AI Actは、ハイリスクシステムのプロバイダに対して、システムがその決定にどのように達するかを説明する技術的なドキュメントを提出することを要求する。
機械的解釈可能性(Mechanistic interpretability)はそのような証拠の明らかな源であり、回路発見は最も発達した道具である。
2人の有能なアナリスト、同じシステム、同じツール、異なる保護可能な設定。
我々は、7つの解析軸からなるクロスグリッドを事前登録し、すべてのレベルを公開実装から取り出し、各発見回路を決定論的クレームマップを通して構造化されたAnnex IVステートメントにマッピングした。
15,840件の事前登録されたGPT-2の仕様と、7,561件の間接的なオブジェクト識別タスクは、仕様ペアの73.2%(95% CI 0.725から0.738)と、空間の41.1%のモダルクレームコマンドに反する。
証拠は、適合性評価機関が妥当に受け入れるあらゆる寛容性において、適合性基準に反する。
最も影響力のある1つの選択肢、評価基準の標準化は、フリップ率を59.4%に抑える。
クレームから回路サイズを完全に取り除き、固定された葉を27.1%(95% CI 0.255から0.286まで)保持した。
これらの主張の根底にある回路は、構造的にほぼ不整合であり、中央のジャカードの重なりは4%であり、コーエンのカッパ0.015では機能的に相関がないため、不安定性は異なる単語で記述される1つのメカニズムではない。
本報告では,ライブラリの標準的タスクに対して,文書化された7つの発見目標のうちの1つが実行されていないことを報告している。
この研究は、1つのモデルと1つのタスクをカバーし、スケールでの結論が未検証であるかどうかをカバーしている。
関連論文リスト
- Evidence-Grounded Constraint Checking in Construction Documents [1.3787753513429983]
抽出された事実を正規化し、4状態ルールを決定的に実行するエビデンス基底パイプラインを提案する。
我々は,29の建設プロジェクトから160の参照ベースタスクに対するPDFエビデンスアロケータの評価を行った。
論文 参考訳（メタデータ） (2026-07-31T06:25:41Z) - Looping Is Not Reliability: State-Bound Evidence and Typed Revision Contracts for Agentic Code Repair [36.56438114281786]
正しいパッチの発見と保持、検証、提出のギャップについて検討する。
我々はエビデンスバウンド型ループ契約を導出し、その機械的に強制可能なサブセットを参照実装でインスタンス化する。
論文 参考訳（メタデータ） (2026-07-27T16:05:23Z) - ITPEval: Benchmarking Formal Translation Across Interactive Theorem Provers [77.95933562142014]
ITPEvalは、4つの主要なIPP間で自動形式証明翻訳を評価するための最初のベンチマークである。
itpevalは、状態が分離されたウォームバックエンドを備えた、統合されたマルチITP認証インフラストラクチャです。
論文 参考訳（メタデータ） (2026-07-07T22:05:55Z) - Beyond Refusal: A Same-Lineage Study of Aligned and Abliterated LLMs for Vulnerability Analysis [31.25049774595995]
本研究は, 拒絶行動が相変わらず (相変わらず) 維持されているか, あるいは同系統モデルで再分類されたかを検討した。
我々は、脆弱性検出、CWE属性、脆弱なラインローカライゼーション、ルート原因ローカライゼーション、実行可能パッチバリデーションについて、アラインド状態とアライテッド状態の評価を行った。
論文 参考訳（メタデータ） (2026-07-07T05:04:48Z) - Output Type Before Quality: A Standards-Derived XAI Admissibility Rubric for Autonomous-Driving Safety [0.4958589793470846]
MLベースの自律運転の安全基準は、保証事例が含まなければならない証拠の種類を規定している(直接因果連鎖、定量化された介入効果、根因変数)。
しかし、XAI文献は出力型と技法系(相性マップ、特徴属性、反事実、因果グラフ、言語トレース)で整理されている。
私たちはこのミスマッチをエビデンスタイプのギャップと呼んでいます。
安全保証のためのXAI手法の選択は,メソッドの人気ではなく,ライフサイクル段階のエビデンス要求によって行うべきである。
論文 参考訳（メタデータ） (2026-06-03T21:37:52Z) - Let the Results Speak: A Replication-First Paradigm for LLM Behavioral Benchmarking [22.825786049667602]
本稿では,1つのヒト・ラタのコンセンサスに有効性を確保するために,複製第一パラダイムを提案する。
楽器を4つの特性で認証する - Kランの信頼性、アーキテクチャ的に異なる審査員間のクロスインストラクトレプリケーション、以前のトレーニングコホートからの審査員による歴史的フットプリントキャリブレーション、事前登録された予測。
本研究は, 自己発達型データ駆動による情緒的伴奏で, 次元は事前に決められず, 手順は9次元に安定化する。
論文 参考訳（メタデータ） (2026-05-27T03:41:11Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - PBT-Bench: Benchmarking AI Agents on Property-Based Testing [29.035258104995204]
PBT-Benchは、40の実際のPythonライブラリにまたがる100のプロパティベースのテスト問題のベンチマークである。
各問題は1つ以上のセマンティックなバグ(総数365、平均3.65)を注入し、デフォルトのストラテジーなランダムな入力がほとんど起こらないように設計する。
PBT指導によるバグリコールは42.1%から83.4%の範囲で、オープンエンドベースラインでは31.4%から76.7%である。
論文 参考訳（メタデータ） (2026-05-13T18:01:05Z) - The Alignment Tax: Response Homogenization in Aligned LLMs and Its Implications for Uncertainty Estimation [1.8345614451086532]
RLHF 対応言語モデルは TruthfulQA 上で応答均質化を示す。
40-79%の質問は、10のi.i.d.サンプルに対して単一のセマンティッククラスタを生成する。
論文 参考訳（メタデータ） (2026-03-25T09:35:15Z) - From Black Box to Glass Box: Cross-Model ASR Disagreement to Prioto Review in Ambient AI Scribe Documentation [43.148402136307716]
異種ASRシステム間のクロスモデル不一致は、基準のない不確実性信号として機能する。
商用APIとオープンソースエンジンにまたがる8つのASRシステムを備えた,50の公開医療用オーディオクリップを転写した。
低アグリメント領域は内容の不一致に富み、高リスク質量のクインタイル全体では53.9%から73.9%に増加した。
論文 参考訳（メタデータ） (2026-03-02T13:02:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。