論文の概要: When can an interpretability claim be trusted? Stability and certification of feature dimensionality, ridge leverage and the feature recovery rate
- arxiv url: http://arxiv.org/abs/2611.16190v1
- Date: Thu, 12 Nov 2026 02:26:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.302698
- Title: When can an interpretability claim be trusted? Stability and certification of feature dimensionality, ridge leverage and the feature recovery rate
- Title(参考訳): 解釈可能性クレームはいつ信頼できるのか? 特徴次元の安定性と証明、リッジレバレッジ、特徴回復率
- Abstract要約: 解釈可能性ツールは、スパース辞書がモデルのほとんどの機能を回復したなど、安全要求をますますサポートしている。
おもちゃの模型と合成辞書で広く使われている2つの測定値について検討した。
クレームが "feature $i$ is recovery" である場合に,所定の辞書の変更を生き残らなければならないことを示す証明書を証明します。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Interpretability tools increasingly support safety claims, such as that a sparse dictionary has recovered most of a model's features. Such claims rest on measurements with arbitrary thresholds, and small changes to the model weights, a different training seed or a different threshold can reverse them. We study two widely used measurements in toy models and synthetic dictionaries with known ground truth: the feature dimensionality of Elhage et al. and the feature recovery rate (FRR) with a cosine threshold. We characterize exactly where feature dimensionality is discontinuous and replace it with a regularized (ridge) version with sharp stability bounds: the ridge leverage score changes by at most $3\sqrt{3}/(8\sqrtλ)$ times the operator-norm change of the weights, and this constant cannot be improved; for the regularized dimensionality the stability constant grows like $ρ/4$ in the scale $ρ=R/\sqrtλ$, with explicit upper and lower bounds. We also prove certificates stating when a claim "feature $i$ is recovered" must survive a given change of the dictionary. The certificates held in every test and are informative for small perturbations, but certify no feature non-trivially across independently trained dictionaries; at the standard threshold, whether a feature counts as recovered changed with the training seed for 55 percent of features. Experiments use toy models only. The proofs, code and text were drafted by AI agents directed by the authors and checked by an independent blind AI reviewer and by numerical tests; the authors take full responsibility for the content.
- Abstract(参考訳): 解釈可能性ツールは、スパース辞書がモデルのほとんどの機能を回復したなど、安全要求をますますサポートしている。
このような主張は任意のしきい値で測定し、モデルのウェイトや異なるトレーニングシード、あるいは異なるしきい値に小さな変更を加えることで、それを逆転させることができる。
本研究は,オモチャモデルと合成辞書において,エルヘージ等の特徴次元と,コサイン閾値を持つ特徴回復率(FRR)の2つについて検討した。
リッジは最大3.3\sqrt{3}/(8\sqrtλ)$倍の演算子-ノルムの重みの変化でスコアが変化し、この定数は改善できない; 正規化次元については、$ρ=R/\sqrtλ$のスケールで、安定性定数は$ρ/4$のように増大する。
また、クレームが "feature $i$ is recovery" である場合に、辞書の所定の変更を生き残らなければならないことを示す証明書も証明します。
すべてのテストで保持される証明書は、小さな摂動に対して通知されるが、独立的に訓練された辞書間では、機能の非自明な証明は行われない。
実験ではおもちゃのモデルのみを使用します。
証明、コード、テキストは、著者の指示するAIエージェントによって起草され、独立した盲目のAIレビュアーと数値テストによってチェックされた。
関連論文リスト
- Active Budget Can Kill Sensitivity: Diagnosing and Repairing TopK Sparse Autoencoder Reliability [17.098113466594274]
スパースオートエンコーダ(SAE)は、大きな言語モデルのアクティベーションから微細構造を復元するために、より広い辞書に拡張される。
本研究では,TopK SAEの信頼性問題について,特徴感度を用いて検討する。
実験では、スケーリングは稀な特徴の感度を選択的に低下させるが、共通の特徴は比較的安定している。
論文 参考訳(メタデータ) (2026-09-29T15:44:41Z) - SANE: State Anomaly Neutralization for Stable Extreme-Context Delta-Rule Models [53.86918766240095]
Delta-Ruleリカレントモデルは固定サイズの状態を維持しており、$O(1)$の推論メモリが可能であるが、極端なコンテキスト外挿では不安定になる可能性がある。
我々は,チャンク内並列構造を保ちながら,チャンク境界における適応$tanh$圧縮を適用したtextbfState Anomaly Neutralization (SANE)を提案する。
論文 参考訳(メタデータ) (2026-08-23T10:41:07Z) - From Positionwise Confidence to Prefix Scheduling: Verifier Skipping in Speculative Decoding [41.41611499810411]
投機拡散復号(SDD)は、離散拡散モデルと並行してドラフトブロック内のすべての位置を生成する。
本稿では,これが新しい制御ハンドルを生成することを認識している。
論文 参考訳(メタデータ) (2026-08-14T18:00:08Z) - S-GBT: Smooth Growth Bound Tensor for Certified Robustness Against Word Substitution Attacks in NLP [4.842918836091873]
本稿では,ヘッセン元を単位とする2次法であるSmooth Growth Bound (S-GBT)を紹介する。
これらの境界を最小化するために、トレーニング中に正規化項が追加される。
その結果、第1次と第2次を組み合わせることで、認証された堅牢な精度が最大23.4%向上することが示された。
論文 参考訳(メタデータ) (2026-06-11T15:01:49Z) - CaliDist: Calibrating Large Language Models via Behavioral Robustness to Distraction [51.56484100374058]
既存のLLM(Large Language Models)のキャリブレーション手法は、しばしば信頼性の重要な次元、すなわちモデルの振舞いの堅牢性を見落としている。
我々は,モデルが注意をそらす可能性を直接測定し,罰する,新しいポストホックキャリブレーション手法であるtextscCaliDistを紹介した。
textscCaliDistは、強いベースラインと比較して、期待の低いエラー(ECE)とBrier Scoreを一貫して達成します。
論文 参考訳(メタデータ) (2026-06-04T07:27:53Z) - Causal Label Recovery in Payment Networks [0.0]
支払いネットワークにおける不正検出モデルは、体系的にバイアスのあるチャージバックラベルでトレーニングする。
共用紙 [arXiv05:26.27557] は、これらの4つの障害が検出性能に最小限の上限を課すことを示した。
観測パイプラインを3段階, 破損層を有する逐次欠落データ問題として定式化し, 逐次トリプライロバスト推定器を構築した。
論文 参考訳(メタデータ) (2026-05-28T02:43:34Z) - Uncertainty in Language Models: Assessment through Rank-Calibration [65.10149293133846]
言語モデル(LM)は、自然言語生成において有望な性能を示している。
与えられた入力に応答する際の不確実性を正確に定量化することは重要である。
我々は、LMの確実性と信頼性を評価するために、Rank$-$Calibration$と呼ばれる斬新で実用的なフレームワークを開発する。
論文 参考訳(メタデータ) (2024-04-04T02:31:05Z) - Robust Counterfactual Explanations for Neural Networks With Probabilistic Guarantees [11.841312820944774]
我々は、微分可能なモデルに対する潜在的なモデル変更に対する反ファクトの堅牢性を定量化するために、 $textitStability$ と呼ぶ尺度を提案します。
私たちの主な貢献は、十分高い値のtextitStability$の反ファクトが、高い確率でポテンシャルモデルが変化した後も有効であることを示すことです。
論文 参考訳(メタデータ) (2023-05-19T20:48:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。