論文の概要: A Unified Theory of Random Projection for Influence Functions
- arxiv url: http://arxiv.org/abs/2602.10449v1
- Date: Wed, 11 Feb 2026 02:42:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-12 21:44:01.401979
- Title: A Unified Theory of Random Projection for Influence Functions
- Title（参考訳）: 影響関数に対するランダム射影の統一理論
- Authors: Pingbang Hu, Yuzheng Hu, Jiaqi W. Ma, Han Zhao,
- Abstract要約: 我々は、射影が影響関数を確実に保存するときに特徴付ける理論を開発する。
P$ は $textrange(F)$ に注入され、$mgeq textrank(F)$ を必要とする。
また、テスト勾配が $ker(F)$ の成分を持つときに生じるエンフリーケージ項を定量化する。
- 参考スコア（独自算出の注目度）: 16.226243777440477
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Influence functions and related data attribution scores take the form of $g^{\top}F^{-1}g^{\prime}$, where $F\succeq 0$ is a curvature operator. In modern overparameterized models, forming or inverting $F\in\mathbb{R}^{d\times d}$ is prohibitive, motivating scalable influence computation via random projection with a sketch $P \in \mathbb{R}^{m\times d}$. This practice is commonly justified via the Johnson--Lindenstrauss (JL) lemma, which ensures approximate preservation of Euclidean geometry for a fixed dataset. However, JL does not address how sketching behaves under inversion. Furthermore, there is no existing theory that explains how sketching interacts with other widely-used techniques, such as ridge regularization and structured curvature approximations. We develop a unified theory characterizing when projection provably preserves influence functions. When $g,g^{\prime}\in\text{range}(F)$, we show that: 1) Unregularized projection: exact preservation holds iff $P$ is injective on $\text{range}(F)$, which necessitates $m\geq \text{rank}(F)$; 2) Regularized projection: ridge regularization fundamentally alters the sketching barrier, with approximation guarantees governed by the effective dimension of $F$ at the regularization scale; 3) Factorized influence: for Kronecker-factored curvatures $F=A\otimes E$, the guarantees continue to hold for decoupled sketches $P=P_A\otimes P_E$, even though such sketches exhibit row correlations that violate i.i.d. assumptions. Beyond this range-restricted setting, we analyze out-of-range test gradients and quantify a \emph{leakage} term that arises when test gradients have components in $\ker(F)$. This yields guarantees for influence queries on general test points. Overall, this work develops a novel theory that characterizes when projection provably preserves influence and provides principled guidance for choosing the sketch size in practice.
- Abstract（参考訳）: 影響関数と関連するデータ帰属スコアは、$g^{\top}F^{-1}g^{\prime}$の形で、$F\succeq 0$は曲率演算子である。
現代の過度化モデルでは、$F\in\mathbb{R}^{d\times d}$ の形成または反転は禁止であり、スケッチ $P \in \mathbb{R}^{m\times d}$ でランダム射影によるスケーラブルな影響計算を動機付けている。
この慣習は一般にジョンソン-リンデンシュトラウス(JL)補題によって正当化され、固定されたデータセットに対するユークリッド幾何学の近似保存が保証される。
しかし、JLはインバージョンの下でのスケッチの振る舞いに言及していない。
さらに、スケッチがリッジ正規化や構造化曲率近似など、他の広く使われている技法とどのように相互作用するかを説明する理論は存在しない。
我々は、射影が影響関数を確実に保持するときに特徴付ける統一理論を開発する。
g,g^{\prime}\in\text{range}(F)$ の場合、
1) 正規化プロジェクション: 正確な保存は iff $P$ is injective on $\text{range}(F)$, which requiressitate $m\geq \text{rank}(F)$;
2) 正規化プロジェクション: リッジ正規化は,正則化スケールにおいて,有効次元が$F$で管理される近似保証により,スケッチ障壁を根本的に変更する。
3) 要因の影響: Kronecker-factored curvatures $F=A\otimes E$ に対して、これらの保証は、i.d.前提に反する行相関を示すにもかかわらず、分離されたスケッチに対して引き続き保持される。
この範囲制限された設定の他に、範囲外テスト勾配を分析し、テスト勾配が$\ker(F)$の成分を持つときに生じる 'emph{leakage} 項を定量化する。
これにより、一般的なテストポイントに対する影響クエリが保証される。
全体としては、投影が効果を確実に維持するときに特徴付ける新しい理論を開発し、実際にスケッチサイズを選択するための原則化されたガイダンスを提供する。
関連論文リスト
- On the Superlinear Relationship between SGD Noise Covariance and Loss Landscape Curvature [1.6773271875801752]
グラディエントDescent (SGD) は、損失ランドスケープの局所曲率と相関する異方性雑音を導入し、平坦なミニマに対して最適化を行う。
この仮定は、ディープニューラルネットワークでは通常違反される制約条件下でのみ成立することを示す。
データセット、アーキテクチャ、損失関数にわたる実験は、これらの境界を検証し、ディープラーニングにおけるノイズ-曲率関係を統一的に評価する。
論文 参考訳（メタデータ） (2026-02-05T12:35:13Z) - Harmful Overfitting in Sobolev Spaces [49.47221415754556]
ソボレフ空間$Wk, p(mathbbRd)$における関数の一般化挙動を、ノイズの多いトレーニングデータセットに完全に適合するものとして研究する。
約ノルム最小化補間器は、滑らかさバイアスによって選択される正準解であり、有害なオーバーフィッティングを示す。
我々の証明では,ソボレフの不等式を用いたトレーニングデータの有害な近傍を同定する幾何学的議論を用いている。
論文 参考訳（メタデータ） (2026-01-31T17:40:56Z) - Closed-form $\ell_r$ norm scaling with data for overparameterized linear regression and diagonal linear networks under $\ell_p$ bias [0.0]
パラメータノルムの族をスケールするために、統一的で高確率な特徴を与える。
次に、降下によって訓練された線形ネットワークについて研究する。
論文 参考訳（メタデータ） (2025-09-25T13:59:22Z) - Impossibility of latent inner product recovery via rate distortion [1.1510009152620668]
d gtrsim n h(p)$ ここで、$h(p)$ が二元エントロピー函数であれば、内部積を回復することは不可能である。
この証明は、確立された速度歪曲理論に従う。
論文 参考訳（メタデータ） (2024-07-16T17:23:29Z) - Convergence Rates for Stochastic Approximation: Biased Noise with Unbounded Variance, and Applications [2.0584253077707477]
目的関数 $J(cdot)$ の定常点を求めるグラディエント・Descent (SGD) 法の収束特性について検討した。
この結果は、すべての定常点が大域最小値である性質を持つ invex' 関数のクラスに適用できる。
論文 参考訳（メタデータ） (2023-12-05T15:22:39Z) - A Unified Framework for Uniform Signal Recovery in Nonlinear Generative
Compressed Sensing [68.80803866919123]
非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。
本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。
また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
論文 参考訳（メタデータ） (2023-09-25T17:54:19Z) - Universal Online Learning with Gradient Variations: A Multi-layer Online Ensemble Approach [57.92727189589498]
本稿では,2段階の適応性を持つオンライン凸最適化手法を提案する。
我々は$mathcalO(log V_T)$, $mathcalO(d log V_T)$, $hatmathcalO(sqrtV_T)$ regret bounds for strong convex, exp-concave and convex loss function。
論文 参考訳（メタデータ） (2023-07-17T09:55:35Z) - Fast Gradient Non-sign Methods [67.56549792690706]
Fast Gradient Non-sign Method (FGNM) は一般的なルーチンであり、グラデーションベースの攻撃において従来の$sign$操作をシームレスに置き換えることができる。
我々の手法は、textbf27.5% と textbf9.5% でそれらを上回ります。
論文 参考訳（メタデータ） (2021-10-25T08:46:00Z) - Locality defeats the curse of dimensionality in convolutional
teacher-student scenarios [69.2027612631023]
学習曲線指数$beta$を決定する上で,局所性が重要であることを示す。
我々は、自然の仮定を用いて、トレーニングセットのサイズに応じて減少するリッジでカーネルレグレッションを実行すると、リッジレスの場合と同じような学習曲線指数が得られることを証明して結論付けた。
論文 参考訳（メタデータ） (2021-06-16T08:27:31Z) - Curse of Dimensionality on Randomized Smoothing for Certifiable
Robustness [151.67113334248464]
我々は、他の攻撃モデルに対してスムースな手法を拡張することは困難であることを示す。
我々はCIFARに関する実験結果を示し,その理論を検証した。
論文 参考訳（メタデータ） (2020-02-08T22:02:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。