論文の概要: Certified Mechanistic Interpretability: Lifting Single-Input Findings to Bounded Neighbourhoods
- arxiv url: http://arxiv.org/abs/2609.26112v1
- Date: Mon, 17 Aug 2026 21:00:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.879966
- Title: Certified Mechanistic Interpretability: Lifting Single-Input Findings to Bounded Neighbourhoods
- Title(参考訳): 認定力学解析可能性:境界近傍の単入力探触子をリフティングする
- Abstract要約: 本研究では,一入力から有界摂動の集合上での認定文への機械論的解釈可能性観測を促進する枠組みを開発する。
トランスフォーマーの注意に関するフレームワークをインスタンス化し、結果として得られた証明書は、シングルインプットインスペクションがそれ自体で解決できないような機械的ステートメントを明確化する手段を提供する。
- 参考スコア(独自算出の注目度): 6.070916129532248
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mechanistic interpretability reverse-engineers transformer circuits one input at a time, leaving observed mechanisms without guarantees over bounded input neighbourhoods. We address this gap with a framework based on constrained polynomial-zonotope (CPZ) propagation that lifts mechanistic-interpretability observations from a single input to certified statements over a bounded set of perturbations. Three internal-attention queries (top-$k$ stability, evidence mass, and attention entropy) are formulated as tractable programs over the simplex of attention weights, and CPZ propagation through transformer blocks is shown to preserve the softmax simplex and the LayerNorm zero-mean identity exactly. A recursive Jacobian zonotope construction extends the same certificates across layer depth by linearising the block stack at the input and avoids per-layer generator growth. We instantiate the framework on transformer attention; the resulting certificates offer a way to sharpen mechanistic statements that single-input inspection cannot resolve on its own, and to inform downstream decisions in regimes where empirical heuristics may be misleading.
- Abstract(参考訳): 機械的解釈可能性逆エンジニアリング変換器は1回に1つの入力を回路し、観測された機構は境界の入力近傍を保証しない。
このギャップを、制約付き多項式ゾノトープ(CPZ)伝搬に基づくフレームワークで解決し、単一の入力から有界摂動上の認定文への機械論的解釈可能性観測を引き上げる。
3つの内部アテンションクエリ(安定性、エビデンス質量、アテンションエントロピー)は、注意重みの単純度上のトラクタブルプログラムとして定式化され、トランスフォーマーブロックによるCPZ伝播は、ソフトマックス単純度とLayerNormゼロ平均等式を正確に保存する。
再帰的ヤコビアン・ゾノトープ構造は、入力時にブロックスタックを線形化することにより、同じ証明書を層深さにわたって拡張し、層間ジェネレータの成長を避ける。
我々は、トランスフォーマーの注意に関する枠組みをインスタンス化し、結果として得られた証明書は、シングルインプットインスペクションがそれ自体で解決できないというメカニスティックな言明を明確化し、経験的ヒューリスティックが誤解を招く可能性のある体制における下流の判断を通知する手段を提供する。
関連論文リスト
- GAUGE: Granularity-Adaptive Counterfactual Gating of Evidence for Incomplete Multimodal Classification [17.595478415811687]
マルチモーダル分類は通常、すべてのモダリティが利用可能であると仮定するが、実世界の入力はしばしば不完全である。
不完全なマルチモーダル分類のための軽量な逆ファクトゲーティングフレームワークであるGAUGEを提案する。
GAUGEは、予測を意識したTaylorのエビデンススコアを通じて、すべてのユニットを参照表現に置き換える反ファクト効果をスコアする。
論文 参考訳(メタデータ) (2026-08-06T05:07:14Z) - How Hard Does It Think? Analyzing Step-Aware Reasoning Energy in LLM Chain-of-Thought Trajectories [51.16651846289446]
我々は,個々のCoTステップの粒度における労力を定量化するための幾何学的枠組みであるステップ・アウェア・推論・エナジー(SARE)を提案する。
推理エネルギーはステップタイプにまたがって非常に不均一であり、軌道レベルの指標からは見えない位相的な遷移を示す。
SAREベースの機能は、ほとんどの設定でアウトプットベースの信頼ベースラインにマッチするか、向上します。
論文 参考訳(メタデータ) (2026-07-28T06:15:51Z) - AnchorMoE: Interpretable Time Series Classification via Anchor-Routed MoE [51.994752158953084]
AnchorMoEは、解釈可能な構成別分類フレームワークである。
ローカルパッチのマルチビュー表現をエンコードし、専門の専門家にルーティングする。
実世界のベンチマークと合成ベンチマークの実験は、AnchorMoEが非常に競争力のある分類性能を達成することを示した。
論文 参考訳(メタデータ) (2026-06-02T13:30:54Z) - Provable Robustness against Backdoor Attacks via the Primal-Dual Perspective on Differential Privacy [51.758416625168]
ランダムな平滑化は、敵の摂動に対する堅牢性を証明するための強力なツールである。
本稿では,複雑な構成機構の認証のためのフレームワークを提案する。
複雑な脅威モデル下での堅牢性を証明するために複合メカニズムを使用するための原則的で一般的なフレームワークを提供する。
論文 参考訳(メタデータ) (2026-05-20T22:17:29Z) - Safety Certification is Classification [1.6945967751903934]
本稿では,軌道データの分類問題として安全性認証を扱うカーネル埋め込みフレームワークを提案する。
このフレームワークは、文献(例えば、バリア証明書、ロバストマルコフモデル)から確立されたアプローチを特別なケースとして仮定する。
直接推定器は、認証の地平線と非マルコフ条件とは独立に安定であることを示す。
論文 参考訳(メタデータ) (2026-05-07T12:10:07Z) - Operator spreading and recoverability of local quantum Fisher information in a $U(1)$-broken spin chain [0.0]
XXスピンチェーンの単一部位に符号化されたパラメータに対して,演算子拡散とメロジカル回復率の区別について検討した。
そこで本研究では,素サイト量子フィッシャー情報(QFI),有限空間ブロックに作用する変分スイープデコーダによって復元されたQFI,および正確なブロックQFIの3つのレベルについて,局所的メロジカルアクセシビリティを評価する。
論文 参考訳(メタデータ) (2026-05-04T16:18:36Z) - BlockCert: Certified Blockwise Extraction of Transformer Mechanisms [0.0]
本稿では,トランス機構のブロックワイズ抽出のためのフレームワークであるBlockCertを紹介する。
我々は、これらの局所的な保証をグローバルな偏差境界まで引き上げる単純なリプシッツに基づく合成定理をLean 4で定式化します。
以上の結果から,明示的な証明を用いたブロックワイズ抽出は,実際のトランスフォーマー言語モデルで実現可能であることが示唆された。
論文 参考訳(メタデータ) (2025-11-20T06:04:34Z) - Core Safety Values for Provably Corrigible Agents [2.6451153531057985]
我々は,複数段階の部分的に観察された環境において,検証可能な保証を付与し,適応性のための最初の実装可能なフレームワークを紹介した。
私たちのフレームワークは、単一の報酬を5つの*構造的に分離された*ユーティリティヘッドに置き換えます。
敵がエージェントを修正できるオープンエンド設定では、任意のポストハックエージェントが調整性に反するかどうかを判断することは不可能である。
論文 参考訳(メタデータ) (2025-07-28T16:19:25Z) - Improving Black-Box Generative Attacks via Generator Semantic Consistency [51.470649503929344]
ジェネレーティブアタックは テスト時に 1つのフォワードパスで 敵の例を生成する
初期ジェネレータの中間機能をEMA教師に整列させることで意味的整合性を実現する。
我々のアプローチは、ブラックボックス転送の一貫性を保ちながら、既存のジェネレーティブアタックにシームレスに統合することができる。
論文 参考訳(メタデータ) (2025-06-23T02:35:09Z) - XAI for Transformers: Better Explanations through Conservative
Propagation [60.67748036747221]
変換器の勾配は局所的にのみ関数を反映しており、入力特徴の予測への寄与を確実に識別できないことを示す。
我々の提案は、よく確立されたLPP法のトランスフォーマーへの適切な拡張と見なすことができる。
論文 参考訳(メタデータ) (2022-02-15T10:47:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。