論文の概要: Kernelized Parameter Sensitivity Atlases for Amortized Conditional Interpretability

• arxiv url: http://arxiv.org/abs/2610.12737v1
• Date: Thu, 08 Oct 2026 21:35:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.286176
• Title: Kernelized Parameter Sensitivity Atlases for Amortized Conditional Interpretability
• Title（参考訳）: Amortized Conditional Interpretabilityのためのカーネル化パラメータ感度アトラス
• Abstract要約: KPSA ( Kernelized sensitivity Sensitivity Atlas) は経験的ニューラル・タンジェント・カーネルのブロック分解から得られる。 正規化パラメータ群感度を測定し、ソースを明示的なクエリ空間に埋め込んで、軽量カーネルを使用して、目に見えない入力に対する感度を推定する。 本稿では,2つの解釈可能性の応用について検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gradient-based attribution provides input-specific information about model parameters, but computing it via backpropagation for many samples is expensive, while static importance scores discard input dependence. We derive KPSA (Kernelized Parameter Sensitivity Atlas) from a block decomposition of the empirical neural tangent kernel. It measures normalized parameter-group sensitivity, embeds those sources in an explicit query space, and uses a lightweight kernel to estimate sensitivities for unseen inputs. We derive bounds that separate finite-source from irreducible representation error and give margin-based top-$k$ recovery. This paper studies two interpretability applications. Firstly, KPSA identifies parameter groups with high susceptibility to perturbations across vision, forecasting, and protein-modeling setups. Across a fivefold range of parameter budgets ($0.02$-$0.1\%$), its selected groups attain $39$-$85\%$ of the perturbation susceptibility of a first-order backpropagation oracle. In vision and forecasting, these parameter groups form sparse sensitivity circuits that extend across depth and vary systematically with the input. Secondly, we use KPSA on an activation-attribution problem for MLP features in transformers. It retains $81\%$ of the gap between a backpropagation oracle and a constant-sensitivity baseline on vision while increasing batched query-time throughput from 551 to 2,041 images/s and reducing peak GPU memory from 4.55 to 0.44GB. On the protein-modeling task, it recovers $68\%$ of this gap. An ablation of KPSA's kernel aggregation shows that nearest-neighbor retrieval in KPSA space can remain competitive. The empirics show that compact kernel atlases can store useful input-dependent parameter sensitivity while amortizing repeated gradient attribution, a step toward scalable conditional interpretability. Code can be found at https://github.com/Axym-Labs/kpsa .
• Abstract（参考訳）: 勾配に基づく属性は、モデルパラメータに関する入力固有の情報を提供するが、多くのサンプルのバックプロパゲーションによる計算は高価であり、静的な重要度スコアは入力依存を破棄する。 我々は、経験的ニューラルネットワークカーネルのブロック分解からKPSA(Kernelized Parameter Sensitivity Atlas)を導出した。 正規化パラメータ群感度を測定し、これらのソースを明示的なクエリ空間に埋め込んで、軽量カーネルを使用して、目に見えない入力に対する感度を推定する。 有限ソースを既約表現誤差から分離し、マージンベースのトップ$k$リカバリを与える境界を導出する。 本稿では,2つの解釈可能性の応用について検討する。 第一に、KPSAは、視覚、予測、タンパク質モデリングのセットアップにわたる摂動に対する高い感受性を持つパラメータ群を同定する。 パラメータ予算(0.02$-$0.1\%$)の5倍の範囲で、選択されたグループは、一階のバックプロパゲーションオラクルの摂動感受性の39ドル-$85\%$に達した。 視覚と予測において、これらのパラメータ群は、深さを越えて広がり、入力とともに体系的に変化するスパース感度回路を形成する。 第2に、変換器におけるMLP特徴の活性化帰属問題にKPSAを用いる。 バックプロパゲーションのオラクルとビジョン上の一定の感度のベースラインとのギャップの811\%を保ち、バッチクエリ時間スループットを51から2,041イメージ/sに増加させ、ピークGPUメモリを4.55から0.44GBに削減する。 タンパク質モデリングタスクでは、このギャップの6,8\%を回復する。 KPSAのカーネルアグリゲーションのアブレーションは、KPSA空間における最寄りの検索が競争力を維持することを示している。 実験により、コンパクトカーネルアトラスは、拡張性のある条件解釈可能性へのステップである繰り返し勾配属性を償却しながら、有用な入力依存パラメータの感度を記憶できることが示されている。 コードはhttps://github.com/Axym-Labs/kpsa にある。

関連論文リスト

• SQUARE: Structured Quantum Representation Adapters as Compact Quadratic Feature Maps for Frozen Language Models [50.300302932452006]
  凍結言語モデル(LM)は、下流の再ランク付け、スコアリング、嗜好モデリングのための固定された特徴抽出器として、ますます使われている。 本稿では、ボトルネックベクトルを振幅符号化し、パラメータ化量子回路を適用し、その結果の状態を測定する構造量子表現アダプタを提案する。 各基底確率関数は、ちょうどボトルネック座標における正規化された二次形式であり、追加のPauli$Z$読み出しはそれらの確率の線形結合であることを示す。
  論文  参考訳（メタデータ） (2026-09-29T09:38:29Z)
• QuPID: Quantum Parameter-Efficient Input-Dependent Retrieval Adaptation for Medical RAG [43.163742253145635]
  QuPIDは、量子パラメータ効率の入力依存型検索適応である。 凍結した画像の特徴を限られたデータでローカルアーカイブに適応させる。 凍った医療エンコーダよりも、ChestX-ray14とmuraでAT-5(P@5)の精度が高い。
  論文  参考訳（メタデータ） (2026-09-27T08:22:58Z)
• From Training to Deployment: Post-Hoc Causal Feature Identification via Sensitivity Ratios [10.912482254600478]
  既にトレーニング済みのモデルを考えると、因果関係と突発的な機能に依存していますか? 我々は,この問題に対して,ポストホックでモデルに依存しない診断法であるtextbfNormalized Sensitivity Ratio(NSR)を導入する。
  論文  参考訳（メタデータ） (2026-07-28T10:26:09Z)
• PROBE: Probabilistic Occupancy BEV Encoding with Analytical Translation Robustness for 3D Place Recognition [6.460745030735197]
  PROBEは学習不要のLiDAR位置認識システムである。 連続カルテシアンジャコビアン摂動を解析的に極小化する。 手書き記述子の中では最も正確である。
  論文  参考訳（メタデータ） (2026-03-06T07:00:26Z)
• SpinSVAR: Estimating Structural Vector Autoregression Assuming Sparse Input [9.548703593014107]
  本研究では,スパース入力仮定の下で時系列データから構造ベクトル自己回帰を推定する新しい手法であるSpinSvarを紹介する。 我々は、入力を独立なラプラス変数としてモデル化し、最小絶対誤差回帰に基づいて、間隔を強制し、最大可能性推定器(MLE)を出力する。 S&P 500データに適用すると、S&P500はセクターごとに株をクラスタリングし、主要な価格変動に関連する重要な構造的ショックを特定する。
  論文  参考訳（メタデータ） (2025-01-06T16:48:30Z)
• Improving Deep Learning Optimization through Constrained Parameter Regularization [39.581480654459455]
  本稿では、従来の重み劣化の代替として、制約付き正規化(CPR)を提案する。 CPRは、L2ノルムのような統計測度上界を強制する。 CPRは従来の重量減少よりも優れ、トレーニング前や微調整時の性能が向上する。
  論文  参考訳（メタデータ） (2023-11-15T15:50:34Z)
• Far Away in the Deep Space: Dense Nearest-Neighbor-Based Out-of-Distribution Detection [33.78080060234557]
  Nearest-Neighborsアプローチは、オブジェクト中心のデータドメインでうまく機能することが示されている。 近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近近
  論文  参考訳（メタデータ） (2022-11-12T13:32:19Z)
• Adversarial robustness of VAEs through the lens of local geometry [1.2228014485474623]
  可変オートエンコーダ (VAEs) に対する教師なし攻撃では、敵は入力サンプルに小さな摂動を発見し、潜時空間の符号化を著しく変化させる。 本稿では, VAEを攻撃するための最適手法として, プルバック計量テンソルの方向バイアスを利用する方法を示す。
  論文  参考訳（メタデータ） (2022-08-08T05:53:57Z)
• Inverting brain grey matter models with likelihood-free inference: a tool for trustable cytoarchitecture measurements [62.997667081978825]
  脳の灰白質細胞構造の特徴は、体密度と体積に定量的に敏感であり、dMRIでは未解決の課題である。 我々は新しいフォワードモデル、特に新しい方程式系を提案し、比較的スパースなb殻を必要とする。 次に,提案手法を逆転させるため,確率自由推論 (LFI) として知られるベイズ解析から最新のツールを適用した。
  論文  参考訳（メタデータ） (2021-11-15T09:08:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。