論文の概要: Z0-Inf: Zeroth Order Approximation for Data Influence

• arxiv url: http://arxiv.org/abs/2510.11832v1
• Date: Mon, 13 Oct 2025 18:30:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-15 21:19:14.951344
• Title: Z0-Inf: Zeroth Order Approximation for Data Influence
• Title（参考訳）: Z0-Inf:データ影響のゼロ次近似
• Authors: Narine Kokhlikyan, Kamalika Chaudhuri, Saeed Mahloujifar,
• Abstract要約: トレーニングデータの影響を推定するための高効率ゼロ階近似を導入する。 提案手法は, 微調整された大規模言語モデルに対して, 自己影響を推定し, 列車試験の影響を推定する上で, 自己影響を推定する上で優れた精度を実現する。
• 参考スコア（独自算出の注目度）: 47.682602051124235
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: A critical aspect of analyzing and improving modern machine learning systems lies in understanding how individual training examples influence a model's predictive behavior. Estimating this influence enables critical applications, including data selection and model debugging; in particular, self-influence, which quantifies the influence of a training point on itself, has found many uses in data quality assessment and outlier detection. Existing methods for measuring data influence, however, are often impractical for large models due to low accuracy or prohibitive computational costs: most approaches either provide poor approximations or rely on gradients and inverse-Hessian computations that remain challenging to scale. In this work, we introduce a highly efficient zeroth-order approximation for estimating the influence of training data that requires only a fraction of the time and memory footprint of prior methods. Notably, our method relies solely on loss values of intermediate checkpoints on the training and test data, along with the checkpoints themselves, making it broadly applicable even when the loss function of interest is non-differentiable. Beyond its computational efficiency, our approach achieves superior accuracy in estimating self-influence and comparable or improved accuracy in estimating train-test influence for fine-tuned large language models, enabling scalable and practical analysis of how training data shapes model behavior.
• Abstract（参考訳）: 現代の機械学習システムを分析し改善する上で重要な側面は、個々のトレーニング例がモデルの予測行動にどのように影響するかを理解することである。 この影響を推定することで、データ選択やモデルデバッギングなど、重要なアプリケーションが可能になる。 しかし、既存のデータ影響を測定する方法は、精度が低く、あるいは計算コストが禁じられているため、大規模なモデルでは実用的ではない。 本研究では,従来の手法の時間とメモリフットプリントのごく一部しか必要としないトレーニングデータの影響を推定するための,高効率なゼロオーダー近似を導入する。 特に,本手法は,学習データとテストデータにおける中間チェックポイントの損失値と,チェックポイント自体にのみ依存しており,関心の損失関数が微分不能である場合でも広く適用可能である。 提案手法は, 計算効率の他に, 学習データがどのようにモデル動作を形作るかのスケーラブルかつ実用的な解析を可能にし, 自己影響を推定し, 列車試験の影響を推定する精度を向上する。

関連論文リスト

• Toward Efficient Influence Function: Dropout as a Compression Tool [9.756810956484772]
  本稿では,より効率的に影響関数を計算するための勾配圧縮機構としてドロップアウトを利用する新しい手法を提案する。 本手法は, インフルエンス関数だけでなく, 勾配圧縮プロセスにおいても, 計算およびメモリオーバーヘッドを大幅に低減する。
  論文  参考訳（メタデータ） (2025-09-19T06:20:54Z)
• Understanding Data Influence with Differential Approximation [63.817689230826595]
  我々は,Diff-Inと呼ばれる連続学習ステップ間の影響の差を蓄積することにより,サンプルの影響を近似する新しい定式化を導入する。 2次近似を用いることで、これらの差分項を高精度に近似し、既存の手法で必要となるモデル凸性を排除した。 Diff-In は既存の影響推定器に比べて近似誤差が著しく低いことを示す。
  論文  参考訳（メタデータ） (2025-08-20T11:59:32Z)
• Revisiting Data Attribution for Influence Functions [13.88866465448849]
  本稿では,ディープラーニングにおける影響関数のデータ帰属能力について概説する。 提案手法の理論的基礎, 効率的な逆ヘッセンベクトル積推定のためのアルゴリズムの最近の進歩, およびデータ帰属と誤ラベル検出の有効性について考察する。
  論文  参考訳（メタデータ） (2025-08-10T11:15:07Z)
• Capturing the Temporal Dependence of Training Data Influence [100.91355498124527]
  我々は、訓練中にデータポイントを除去する影響を定量化する、軌跡特異的な離脱の影響の概念を定式化する。 軌道固有LOOの効率的な近似を可能にする新しい手法であるデータ値埋め込みを提案する。 データバリューの埋め込みは、トレーニングデータの順序付けをキャプチャするので、モデルトレーニングのダイナミクスに関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2024-12-12T18:28:55Z)
• LAVA: Data Valuation without Pre-Specified Learning Algorithms [20.578106028270607]
  我々は、下流学習アルゴリズムに不利な方法でトレーニングデータを評価できる新しいフレームワークを導入する。 本研究では,訓練と検証セット間の非伝統的なクラスワイドワッサースタイン距離に基づいて,トレーニングセットに関連する検証性能のプロキシを開発する。 距離は、特定のリプシッツ条件下での任意のモデルに対する検証性能の上限を特徴付けることを示す。
  論文  参考訳（メタデータ） (2023-04-28T19:05:16Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)
• Influence Functions in Deep Learning Are Fragile [52.31375893260445]
  影響関数は、テスト時間予測におけるサンプルの効果を近似する。 影響評価は浅いネットワークでは かなり正確です ヘッセン正則化は、高品質な影響推定を得るために重要である。
  論文  参考訳（メタデータ） (2020-06-25T18:25:59Z)
• How Training Data Impacts Performance in Learning-based Control [67.7875109298865]
  本稿では,トレーニングデータの密度と制御性能の関係を考察する。 データセットの品質尺度を定式化し、$rho$-gap と呼ぶ。 フィードバック線形化制御法に$rho$-gapを適用する方法を示す。
  論文  参考訳（メタデータ） (2020-05-25T12:13:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。