論文の概要: Understanding Data Influence with Differential Approximation

• arxiv url: http://arxiv.org/abs/2508.14648v1
• Date: Wed, 20 Aug 2025 11:59:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-21 16:52:41.444589
• Title: Understanding Data Influence with Differential Approximation
• Title（参考訳）: 微分近似によるデータ影響の理解
• Authors: Haoru Tan, Sitong Wu, Xiuzhe Wu, Wang Wang, Bo Zhao, Zeke Xie, Gui-Song Xia, Xiaojuan Qi,
• Abstract要約: 我々は,Diff-Inと呼ばれる連続学習ステップ間の影響の差を蓄積することにより,サンプルの影響を近似する新しい定式化を導入する。 2次近似を用いることで、これらの差分項を高精度に近似し、既存の手法で必要となるモデル凸性を排除した。 Diff-In は既存の影響推定器に比べて近似誤差が著しく低いことを示す。
• 参考スコア（独自算出の注目度）: 63.817689230826595
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data plays a pivotal role in the groundbreaking advancements in artificial intelligence. The quantitative analysis of data significantly contributes to model training, enhancing both the efficiency and quality of data utilization. However, existing data analysis tools often lag in accuracy. For instance, many of these tools even assume that the loss function of neural networks is convex. These limitations make it challenging to implement current methods effectively. In this paper, we introduce a new formulation to approximate a sample's influence by accumulating the differences in influence between consecutive learning steps, which we term Diff-In. Specifically, we formulate the sample-wise influence as the cumulative sum of its changes/differences across successive training iterations. By employing second-order approximations, we approximate these difference terms with high accuracy while eliminating the need for model convexity required by existing methods. Despite being a second-order method, Diff-In maintains computational complexity comparable to that of first-order methods and remains scalable. This efficiency is achieved by computing the product of the Hessian and gradient, which can be efficiently approximated using finite differences of first-order gradients. We assess the approximation accuracy of Diff-In both theoretically and empirically. Our theoretical analysis demonstrates that Diff-In achieves significantly lower approximation error compared to existing influence estimators. Extensive experiments further confirm its superior performance across multiple benchmark datasets in three data-centric tasks: data cleaning, data deletion, and coreset selection. Notably, our experiments on data pruning for large-scale vision-language pre-training show that Diff-In can scale to millions of data points and outperforms strong baselines.
• Abstract（参考訳）: データは人工知能の画期的な進歩において重要な役割を担っている。 データの定量的分析は、モデルのトレーニングに大きく貢献し、データ利用効率と品質の両方を高める。 しかし、既存のデータ分析ツールは、しばしば精度が低下する。 例えば、これらのツールの多くは、ニューラルネットワークの損失関数が凸であることを仮定している。 これらの制限は、現在のメソッドを効果的に実装することを困難にしている。 本稿では,Diff-Inと呼ぶ連続学習ステップ間の影響の差を蓄積することにより,サンプルの影響を近似する新しい定式化を提案する。 具体的には、連続したトレーニングイテレーション間の変化/差の累積和として、サンプルワイズの影響を定式化する。 2次近似を用いることで、これらの差分項を高精度に近似し、既存の手法で必要となるモデル凸性を排除した。 2階法であるにもかかわらず、Diff-Inは1階法に匹敵する計算複雑性を維持し、拡張性を維持している。 この効率性は、一階勾配の有限差を用いて効率よく近似できるヘッセン勾配と勾配の積を計算することによって達成される。 我々はDiff-Inの近似精度を理論的にも経験的にも評価する。 Diff-In は既存の影響推定器に比べて近似誤差が著しく低いことを示す。 大規模な実験により、データクリーニング、データ削除、コアセットの選択という3つのデータ中心のタスクにおいて、複数のベンチマークデータセットにまたがるパフォーマンスがさらに確認される。 特に、大規模な視覚言語事前学習のためのデータプルーニング実験では、Diff-Inは数百万のデータポイントにスケールでき、強力なベースラインを上回ります。

関連論文リスト

• Capturing the Temporal Dependence of Training Data Influence [100.91355498124527]
  我々は、訓練中にデータポイントを除去する影響を定量化する、軌跡特異的な離脱の影響の概念を定式化する。 軌道固有LOOの効率的な近似を可能にする新しい手法であるデータ値埋め込みを提案する。 データバリューの埋め込みは、トレーニングデータの順序付けをキャプチャするので、モデルトレーニングのダイナミクスに関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2024-12-12T18:28:55Z)
• Stochastic Amortization: A Unified Approach to Accelerate Feature and Data Attribution [62.71425232332837]
  雑音ラベル付きモデルを用いたトレーニングは安価で驚くほど効果的であることを示す。 このアプローチは、いくつかの特徴属性とデータ評価手法を著しく加速し、しばしば既存のアプローチよりも桁違いにスピードアップする。
  論文  参考訳（メタデータ） (2024-01-29T03:42:37Z)
• Online Importance Sampling for Stochastic Gradient Optimization [33.42221341526944]
  本稿では,トレーニング中のデータの重要度を効率的に計算する実用的なアルゴリズムを提案する。 また、ネットワーク出力の損失w.r.t.の導出に基づく新しいメトリクスを導入し、ミニバッチの重要度サンプリング用に設計した。
  論文  参考訳（メタデータ） (2023-11-24T13:21:35Z)
• AST: Effective Dataset Distillation through Alignment with Smooth and High-Quality Expert Trajectories [18.266786462036553]
  我々は,Smoothと高品質なエキスパートトラジェクトリによるアライメントのための効果的なDDフレームワークASTを提案する。 さまざまなスケール、サイズ、解像度のデータセットに対して、広範な実験を行います。
  論文  参考訳（メタデータ） (2023-10-16T16:13:53Z)
• Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
  本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。 分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。 本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-08T05:44:06Z)
• LAVA: Data Valuation without Pre-Specified Learning Algorithms [20.578106028270607]
  我々は、下流学習アルゴリズムに不利な方法でトレーニングデータを評価できる新しいフレームワークを導入する。 本研究では,訓練と検証セット間の非伝統的なクラスワイドワッサースタイン距離に基づいて,トレーニングセットに関連する検証性能のプロキシを開発する。 距離は、特定のリプシッツ条件下での任意のモデルに対する検証性能の上限を特徴付けることを示す。
  論文  参考訳（メタデータ） (2023-04-28T19:05:16Z)
• Minimizing the Accumulated Trajectory Error to Improve Dataset Distillation [151.70234052015948]
  本稿では,フラットな軌道を求める最適化アルゴリズムを提案する。 合成データに基づいてトレーニングされた重みは、平坦な軌道への正規化を伴う累積誤差摂動に対して頑健であることを示す。 本手法はFTD (Flat Trajectory Distillation) と呼ばれ, 勾配整合法の性能を最大4.7%向上させる。
  論文  参考訳（メタデータ） (2022-11-20T15:49:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。