論文の概要: Certified Approximation for Interpretable Representer Landmarks
- arxiv url: http://arxiv.org/abs/2609.38901v1
- Date: Wed, 30 Sep 2026 03:49:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.149514
- Title: Certified Approximation for Interpretable Representer Landmarks
- Title（参考訳）: 解釈可能なrepresenter Landmarkに対する認証近似
- Abstract要約: 大規模では、このランク付けは経験的ニューラルネットワークカーネル(eNTK)の最大4つの重ねた近似に基づいている。
スケッチされたマルチヘッド eNTK の正確なばらつきは、Johnson-Lindenstrauss が err で最大$2.5times$ の値に一致する。
これにより、固定係数に適合する確率の高い最高額のK$証明書と、捨てられたスペクトル質量の正確な残留トレース証明書が得られる。
- 参考スコア（独自算出の注目度）: 7.769050475854741
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Representer explanations rank the training landmarks that most influence a self-supervised representation. At scale, this ranking rests on up to four stacked approximations of the empirical neural tangent kernel (eNTK). These are random output heads, a parameter sketch, landmark sampling and a coefficient fit. Existing analyses bound each approximation separately, but none certifies the top-$K$ set against their combined error. We introduce CAIRN (Certified Approximation for Interpretable Representer laNdmarks), a framework that carries this error through to the ranking. We derive the exact variance of the sketched multi-head eNTK, which matches measurement within $4\%$ where Johnson-Lindenstrauss bounds err by up to $2.5\times$. This yields a high-probability top-$K$ certificate for a fixed coefficient fit, alongside exact residual-trace certificates for discarded spectral mass. An exact product-variance identity separates kernel error from fit variability and identifies when a larger kernel budget can still sharpen a ranking. Stochastic Lanczos Quadrature (SLQ) estimates the effective dimension within $0.72\%$ and guides the landmark budget without dense eigendecomposition. We show that residual mass does not control class coverage, and residual-greedy selection cuts the worst coverage excess of $k$-means++ from $8.5\times$ to $1.55\times$ ($4\times$ on the sketched eNTK). Cross-view initializers outperform principal-component initialization in five (AUI) to all six (CSI) settings. Against the KREPES Gauss-Newton solver, CAIRN converges $2.5$ to $11.3\times$ faster, trails by at most $0.31$ points and gains up to $3.14$ points on MNIST. Together, these results make the reliability of representer explanations measurable and show where approximation budgets are best spent.
- Abstract（参考訳）: 代表者説明は、最も自己監督的な表現に影響を与える訓練のランドマークをランク付けする。
大規模では、このランク付けは経験的ニューラルネットワークカーネル(eNTK)の最大4つの重ねた近似に基づいている。
これらはランダムな出力ヘッド、パラメータスケッチ、ランドマークサンプリング、係数適合である。
既存の解析は各近似を別々に拘束するが、上位$K$の集合をそれらの組み合わせの誤差に対して証明するものではない。
CAIRN(Certified Approximation for Interpretable Representer laNdmarks)は,このエラーをランキングに反映するフレームワークである。
スケッチされたマルチヘッド eNTK の正確な分散を導出し、ジョンソン・リンデンシュトラウスが err を最大2.5\times$ に制限する 4\%$ の値と一致する。
これにより、固定係数に適合する確率の高い最高額のK$証明書と、捨てられたスペクトル質量の正確な残留トレース証明書が得られる。
厳密な製品分散アイデンティティは、カーネルエラーと適合変数を分離し、より大きなカーネル予算が依然としてランク付けを研ぐことができるかどうかを識別する。
Stochastic Lanczos Quadrature (SLQ) は 0.72 %$ の有効次元を推定し、高密度固有分解なしでランドマーク予算を導出する。
残質量はクラスカバレッジを制御せず、残量greedyの選択は、$k$-means++の最悪のカバレッジを$8.5\times$から$1.55\times$$$4\times$に削減します。
クロスビューイニシャライザは、主成分の初期化を5つ(AUI)から6つ(CSI)設定すべてで上回る。
KREPESのガウス・ニュートン・ソルバに対して、CAIRNは2.5ドルから11.3ドルに収束し、最低でも0.31ドルまで上昇し、MNISTでは3.14ドルまで上昇する。
これらの結果と合わせて,代表者説明の信頼性を測り,近似予算の最適利用方法を示す。
関連論文リスト
- Robust Average-Reward Markov Decision Processes: Minimax-Optimal Learning via Plug-in Reductions [51.50375419691955]
分布的に堅牢なマルコフ決定プロセスは、モデルの不確実性の下でのシーケンシャルな意思決定のための原則化されたフレームワークを提供する。
我々は,平均回帰基準の下で,$varepsilon$-Optimal robust policyを学習するのに必要なサンプル数と十分なサンプル数について検討した。
論文 参考訳（メタデータ） (2026-08-06T19:49:48Z) - Saturation Makes Quantization Error Additive: A Coverage Model with a Certificate [0.0]
混合精度量子化は、モデルのどの部分がより高い精度を維持するかを決定する必要がある。
本研究は, 層単位での定量化による損失を, 層ごとの感性や, 対方向の感性から再現可能であることを示す。
本稿では, 測定値の差分プロファイルである$f(S)=cbigl (1-prod_iin S (1-a_i)bigr)$を, その$L$適合ブレークレートから数パーセント以内まで再現する。
論文 参考訳（メタデータ） (2026-07-14T02:08:33Z) - A Spectral Phase Diagram for Binary Few-Shot Classification: Intrinsic Dimensionality, Geometric Saturation, and Representational Diagnosis [0.0]
飽和指数 $S(K) = operatornameerank(widehat_W(K)) / K$ は、プールされたクラス内サンプルの有効ランクとショットカウントとの比を測る。
インデックスはサポート機能だけで$O(d3)$ timeで計算可能で、テストラベルやトレーニングされた分類子を必要としない。
論文 参考訳（メタデータ） (2026-06-12T16:46:24Z) - A Closed-Form Adaptive-Landmark Kernel for Certified Point-Cloud and Graph Classification [0.0]
PALACEはOrbitHS5k(91.3pm 1.0%$, matching Persformer)上で最強の閉形式ダイアグラムベースの方法である
ドメインインフレーションが8ドルになると、均等グリッドが崩壊する一方、プレースメントは94%$を維持している(4クラスデータでは25%$)
PALACEはOrbitHS5k(91.3pm 1.0%$, matching Persformer)上で最強の閉形式ダイアグラムベースの手法である。
論文 参考訳（メタデータ） (2026-05-05T17:59:18Z) - A Closed-Form Persistence-Landmark Pipeline for Certified Point-Cloud and Graph Classification [0.0]
PLACE(Persistence-Landmark Analytic Classification Engine)は、点雲とグラフを分類するためのクローズドフォームパイプラインである。
3つの量的保証 -- マージンベースの過剰リスク率、クローズドフォーム記述子選択ルール、プレディションごとの証明書 -- は、トレーニングラベルのみから導かれる。
論文 参考訳（メタデータ） (2026-05-04T17:15:01Z) - High-Probability Convergence in Decentralized Stochastic Optimization with Gradient Tracking [69.90407799170687]
分散最適化における高確率収束保証について検討する。
その結果, 地平線上の条件は, 比較時間と同一であることがわかった。
論文 参考訳（メタデータ） (2026-04-30T22:45:21Z) - From Continual Learning to SGD and Back: Better Rates for Continual Linear Models [50.11453013647086]
以前見られたタスクの損失を、$k$の繰り返しの後、忘れること、すなわち、分析する。
実現可能な最小二乗の設定において、新しい最上界を創出する。
我々は、タスクを繰り返しないランダム化だけで、十分に長いタスクシーケンスで破滅的な事態を防げることを初めて証明した。
論文 参考訳（メタデータ） (2025-04-06T18:39:45Z) - Convergence Rate Analysis of LION [54.28350823319057]
LION は、勾配カルシュ=クーン=T (sqrtdK-)$で測定された $cal(sqrtdK-)$ の反復を収束する。
従来のSGDと比較して,LIONは損失が小さく,性能も高いことを示す。
論文 参考訳（メタデータ） (2024-11-12T11:30:53Z) - Semidefinite programming relaxations and debiasing for MAXCUT-based clustering [1.9761774213809036]
2つのガウス分布を$mathbbRp$で混合して引き出す小さなデータサンプルを$n$で分割する問題を考察する。
グラフ上の最大カットを求めるように定式化された整数二次プログラムの半定値プログラミング緩和を用いる。
論文 参考訳（メタデータ） (2024-01-16T03:14:24Z) - Consistent Structured Prediction with Max-Min Margin Markov Networks [84.60515484036239]
二項分類のためのマックスマージン法は、最大マージンマルコフネットワーク(M3N$)の名前で構造化予測設定まで拡張されている。
我々は、学習問題を"max-min"マージンの定式化で定義し、結果のメソッドmax-minマージンマルコフネットワーク(M4N$)を命名することで、そのような制限を克服する。
マルチクラス分類,順序回帰,シーケンス予測,ランキング実験により,提案手法の有効性が示された。
論文 参考訳（メタデータ） (2020-07-02T10:48:42Z) - Sharp Statistical Guarantees for Adversarially Robust Gaussian
Classification [54.22421582955454]
逆向きに頑健な分類の過剰リスクに対する最適ミニマックス保証の最初の結果を提供する。
結果はAdvSNR(Adversarial Signal-to-Noise Ratio)の項で述べられており、これは標準的な線形分類と逆数設定との類似の考え方を一般化している。
論文 参考訳（メタデータ） (2020-06-29T21:06:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。