論文の概要: Layer-Aware Influence for Online Data Valuation Estimation

• arxiv url: http://arxiv.org/abs/2510.16007v1
• Date: Tue, 14 Oct 2025 15:34:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 00:56:38.766783
• Title: Layer-Aware Influence for Online Data Valuation Estimation
• Title（参考訳）: オンラインデータ評価評価における層認識の影響
• Authors: Ziao Yang, Longbo Huang, Hongfu Liu,
• Abstract要約: データ中心学習は、パフォーマンスを高めるために高品質なトレーニングサンプルのキュレーションを強調する。 中心的な問題は、トレーニングサンプルの影響を効率的に見積もることである。 我々は、損失から出力への勾配のみを必要とする層認識型オンライン推定器を開発した。
• 参考スコア（独自算出の注目度）: 32.294500546369136
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data-centric learning emphasizes curating high-quality training samples to boost performance rather than designing new architectures. A central problem is to estimate the influence of training sample efficiently. Prior studies largely focus on static influence measured on a converged model, overlooking how data valuation dynamically changes during optimization. This omission neglects the dynamic nature of sample influence during optimization, especially in deep models. To address the computational burden of frequent influence estimation, we develop a layer-aware online estimator that requires only loss-to-output gradients. This design avoids parameter-level and full-network gradients while preserving ranking fidelity. Extensive experiments across LLM pretraining, fine-tuning, and image classification show our method improves accuracy with substantially lower time and memory cost, making dynamic data curation efficient and scalable in practice.
• Abstract（参考訳）: データ中心学習は、新しいアーキテクチャを設計するのではなく、パフォーマンスを高めるために高品質なトレーニングサンプルのキュレーションを強調する。 中心的な問題は、トレーニングサンプルの影響を効率的に見積もることである。 以前の研究では、最適化中にデータのバリュエーションが動的にどのように変化するかを見越して、収束モデルで測定された静的影響に主に焦点が当てられていた。 この省略は、特に深層モデルにおいて、最適化中のサンプルの影響の動的性質を無視する。 頻繁な影響推定の計算負担に対処するために、損失から出力への勾配のみを必要とする層認識型オンライン推定器を開発した。 この設計は、ランクの忠実さを維持しながらパラメータレベルとフルネットワークの勾配を避ける。 LLM事前学習,微調整,画像分類による大規模な実験により,本手法は時間とメモリコストを大幅に低減し,動的データキュレーションを効率よく,かつスケーラブルにする。

関連論文リスト

• Z0-Inf: Zeroth Order Approximation for Data Influence [47.682602051124235]
  トレーニングデータの影響を推定するための高効率ゼロ階近似を導入する。 提案手法は, 微調整された大規模言語モデルに対して, 自己影響を推定し, 列車試験の影響を推定する上で, 自己影響を推定する上で優れた精度を実現する。
  論文  参考訳（メタデータ） (2025-10-13T18:30:37Z)
• Toward Efficient Influence Function: Dropout as a Compression Tool [9.756810956484772]
  本稿では,より効率的に影響関数を計算するための勾配圧縮機構としてドロップアウトを利用する新しい手法を提案する。 本手法は, インフルエンス関数だけでなく, 勾配圧縮プロセスにおいても, 計算およびメモリオーバーヘッドを大幅に低減する。
  論文  参考訳（メタデータ） (2025-09-19T06:20:54Z)
• Improving Model Classification by Optimizing the Training Dataset [3.987352341101438]
  Coresetsはデータ削減に対する原則的なアプローチを提供し、大規模なデータセットでの効率的な学習を可能にする。 下流の分類品質を向上させるために,コアセット生成プロセスを調整するための体系的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-07-22T16:10:11Z)
• Dynamic Loss-Based Sample Reweighting for Improved Large Language Model Pretraining [55.262510814326035]
  既存のリウェイト戦略は主にグループレベルのデータの重要性に焦点を当てている。 動的・インスタンスレベルのデータ再重み付けのための新しいアルゴリズムを提案する。 当社のフレームワークでは,冗長データや非形式データを優先的に再重み付けする戦略を考案することが可能です。
  論文  参考訳（メタデータ） (2025-02-10T17:57:15Z)
• Capturing the Temporal Dependence of Training Data Influence [100.91355498124527]
  我々は、訓練中にデータポイントを除去する影響を定量化する、軌跡特異的な離脱の影響の概念を定式化する。 軌道固有LOOの効率的な近似を可能にする新しい手法であるデータ値埋め込みを提案する。 データバリューの埋め込みは、トレーニングデータの順序付けをキャプチャするので、モデルトレーニングのダイナミクスに関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2024-12-12T18:28:55Z)
• Distilled Datamodel with Reverse Gradient Matching [74.75248610868685]
  オフライントレーニングとオンライン評価段階を含む,データ影響評価のための効率的なフレームワークを提案する。 提案手法は, 直接再学習法と比較して, プロセスの大幅な高速化を図りながら, 同等のモデル行動評価を実現する。
  論文  参考訳（メタデータ） (2024-04-22T09:16:14Z)
• Impact of Noisy Supervision in Foundation Model Learning [91.56591923244943]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Online Importance Sampling for Stochastic Gradient Optimization [33.42221341526944]
  本稿では,トレーニング中のデータの重要度を効率的に計算する実用的なアルゴリズムを提案する。 また、ネットワーク出力の損失w.r.t.の導出に基づく新しいメトリクスを導入し、ミニバッチの重要度サンプリング用に設計した。
  論文  参考訳（メタデータ） (2023-11-24T13:21:35Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。