論文の概要: Extending Kernel Trick to Influence Functions

• arxiv url: http://arxiv.org/abs/2605.11239v1
• Date: Mon, 11 May 2026 20:57:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.429094
• Title: Extending Kernel Trick to Influence Functions
• Title（参考訳）: カーネルトリックを影響関数に拡張する
• Authors: Zhenhuan Sun, Shahrokh Valaee,
• Abstract要約: 本稿では、モデルサイズではなくデータセットサイズで計算複雑性をスケールする影響関数の二重表現を示す。 解析的にも実験的にも,この表現は,データ点除去によるパラメータの変化,モデル出力,損失を推定する上で,本来の影響関数の代替として有効であることを示す。
• 参考スコア（独自算出の注目度）: 21.127056622203217
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we present a dual representation of the influence functions, whose computational complexity scales with dataset size rather than model size. Both analytically and experimentally, we show that this representation can be an efficient alternative to the original influence functions for estimating changes in parameters, model outputs and loss due to data point removal, when model size is large relative to dataset size, or when evaluating the original influence functions in parameter space is infeasible. The dual representation, however, is limited to linearizable models, which are models whose behavior can be approximated by their linearizations throughout training, and requires materializing a matrix, whose size grows with the product of model output dimension and dataset size.
• Abstract（参考訳）: 本稿では,モデルサイズではなくデータセットサイズで計算複雑性がスケールする影響関数の二重表現について述べる。 解析的にも実験的にも,この表現は,データセットサイズに対してモデルサイズが大きい場合や,パラメータ空間における元の影響関数の評価が不可能な場合など,データ点除去によるパラメータやモデル出力,損失の変化を推定する上で,本来の影響関数の代替として有効であることを示す。 しかし、双対表現は線形化可能なモデルに限られており、それは訓練を通して線形化によって振舞いを近似できるモデルであり、モデル出力次元とデータセットサイズの積で成長する行列を実体化する必要がある。

関連論文リスト

• Toward Efficient Influence Function: Dropout as a Compression Tool [9.756810956484772]
  本稿では,より効率的に影響関数を計算するための勾配圧縮機構としてドロップアウトを利用する新しい手法を提案する。 本手法は, インフルエンス関数だけでなく, 勾配圧縮プロセスにおいても, 計算およびメモリオーバーヘッドを大幅に低減する。
  論文  参考訳（メタデータ） (2025-09-19T06:20:54Z)
• Influence Functions for Scalable Data Attribution in Diffusion Models [52.92223039302037]
  拡散モデルは、生成的モデリングに大きな進歩をもたらした。 しかし、彼らの普及はデータ属性と解釈可能性に関する課題を引き起こす。 これらの課題に対処するための影響関数フレームワークを開発する。
  論文  参考訳（メタデータ） (2024-10-17T17:59:02Z)
• Revisit, Extend, and Enhance Hessian-Free Influence Functions [26.105554752277648]
  影響関数は、モデルの解釈、サブセットのトレーニングセットの選択などにおけるサンプルの影響を評価する重要なツールとして機能する。 本稿では,Trac として知られる特定の有効近似法を再検討する。 この方法は、ヘッセン行列の逆を恒等行列で置き換える。
  論文  参考訳（メタデータ） (2024-05-25T03:43:36Z)
• Outlier Gradient Analysis: Efficiently Identifying Detrimental Training Samples for Deep Learning Models [24.073260299592675]
  本稿では,影響関数と外乱勾配検出による有害トレーニングサンプルの同定とを橋渡しする。 まず, 合成データセットにおける外乱勾配解析手法の仮説を検証した。 次に、視覚モデルにおける誤ラベルサンプルの検出と、自然言語処理トランスフォーマーモデルの性能向上のためのデータサンプル選択の有効性を示す。
  論文  参考訳（メタデータ） (2024-05-06T21:34:46Z)
• A Solvable Model of Neural Scaling Laws [72.8349503901712]
  大量のパラメータを持つ大規模な言語モデルは、インターネットに近い数のトークンで訓練されると、ニューラルネットワークのスケーリング法則に従うことが実証的に示されている。 我々は,このニューラルスケーリング現象を捉える統計モデル(共同生成データモデルとランダム特徴モデル)を提案する。 主な発見は、自然データセットの統計に現れる電力法則が非線形ランダムな特徴写像によって拡張される方法である。
  論文  参考訳（メタデータ） (2022-10-30T15:13:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。