論文の概要: From Detrimental to Beneficial: Dynamic Influence-based Valuation and Editing
- arxiv url: http://arxiv.org/abs/2608.22522v1
- Date: Sun, 23 Aug 2026 17:46:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.783536
- Title: From Detrimental to Beneficial: Dynamic Influence-based Valuation and Editing
- Title（参考訳）: Detrimental から Beneficial へ:動的影響に基づく評価と編集
- Abstract要約: DIVE(Dynamic Influence-based Valuation and Editing)は,バッチレベルのサンプル値を動的に推定する,新しい,効率的なフレームワークである。
生データを変更するのではなく、DIVEはトレーニング中に有害サンプルの勾配方向を戦略的に逆転することで最適化レベルで動作する。
- 参考スコア（独自算出の注目度）: 5.184176329801992
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Data valuation is a cornerstone of data-centric learning, where prior efforts primarily focus on designing algorithms to classify training samples as either beneficial or detrimental for the learning task. However, leveraging these valuation estimates for subsequent data intervention remains underexplored; conventional approaches typically discard or downweight harmful samples, thereby underutilizing available data resources. In this paper, we present Dynamic Influence-based Valuation and Editing (DIVE), a novel and efficient framework that dynamically estimates sample values at the batch level and transforms detrimental data into beneficial contributions. Rather than altering the raw data, DIVE operates at the optimization level by strategically reversing the gradient directions of harmful samples during training, ensuring seamless integration with standard learning procedures with minimal overhead. Extensive empirical evaluations demonstrate that DIVE consistently improves classification performance, maximizes data efficiency, stabilizes optimization, and effectively generalizes to large language model fine-tuning.
- Abstract（参考訳）: データアセスメントはデータ中心の学習の基盤であり、それまでの取り組みは、トレーニングサンプルを学習タスクにとって有益か有害かのどちらかとして分類するアルゴリズムの設計に重点を置いていた。
しかし、これらの評価見積をその後のデータ介入に利用することはまだ未定であり、従来の手法では一般的に有害なサンプルを捨てたり、下げたりすることで、利用可能なデータリソースを過小評価する。
本稿では、動的影響に基づく評価・編集(DIVE)について述べる。これは、バッチレベルでサンプル値を動的に推定し、有害データを有益な貢献に変換する、斬新で効率的なフレームワークである。
DIVEは、生データを変更するのではなく、トレーニング中の有害サンプルの勾配方向を戦略的に反転させ、オーバーヘッドを最小限に抑えた標準学習手順とのシームレスな統合を保証することで、最適化レベルで動作する。
大規模な経験的評価により、DIVEは分類性能を一貫して改善し、データの効率を最大化し、最適化を安定化し、大規模言語モデルの微調整に効果的に一般化することを示した。
関連論文リスト
- IADD-TR: Intervention-Aware Dynamics Decoupling with Targeted Regularization for Model-Based Reinforcement Learning [57.16513298507272]
IADD-TRは、IADD(Intervention-Aware Dynamics Decoupling)とTR(Targeted Regularization)を組み合わせた統合フレームワークである。
IADDは、ゼロアクションアンカーを用いて、アクション干渉段階とアクションフリー自然進化段階への遷移を分解し、堅牢な一般化のためにこの2段階の分解の非特異性を解決する。
政策学習においては,リプレイ状態の政策段階関数の効率的な影響関数からTRを導出する。
論文 参考訳（メタデータ） (2026-08-11T08:20:02Z) - A novel Information-Driven Strategy for Optimal Regression Assessment [3.602068950014566]
機械学習(ML)では、回帰アルゴリズムはデータに基づく損失関数の最小化を目的としている。
グローバルな最適性の達成性を保証するデータ駆動評価手法は存在しない。
この研究は、回帰アルゴリズムを評価するための新しいデータ駆動フレームワークであるInformation Teacherを紹介する。
論文 参考訳（メタデータ） (2025-10-16T02:01:32Z) - Layer-Aware Influence for Online Data Valuation Estimation [32.294500546369136]
データ中心学習は、パフォーマンスを高めるために高品質なトレーニングサンプルのキュレーションを強調する。
中心的な問題は、トレーニングサンプルの影響を効率的に見積もることである。
我々は、損失から出力への勾配のみを必要とする層認識型オンライン推定器を開発した。
論文 参考訳（メタデータ） (2025-10-14T15:34:22Z) - Improving Model Classification by Optimizing the Training Dataset [3.987352341101438]
Coresetsはデータ削減に対する原則的なアプローチを提供し、大規模なデータセットでの効率的な学習を可能にする。
下流の分類品質を向上させるために,コアセット生成プロセスを調整するための体系的なフレームワークを提案する。
論文 参考訳（メタデータ） (2025-07-22T16:10:11Z) - Sharpe Ratio-Guided Active Learning for Preference Optimization in RLHF [67.48004037550064]
本稿では,プロンプトと選好のペアを効率的に選択する能動的学習手法を提案する。
提案手法は,モデル更新に対する影響を評価するために,すべての潜在的選好アノテーションの勾配を評価する。
実験の結果,提案手法は,選択した完了に対する勝利率を最大5%向上させることがわかった。
論文 参考訳（メタデータ） (2025-03-28T04:22:53Z) - Dynamic Loss-Based Sample Reweighting for Improved Large Language Model Pretraining [55.262510814326035]
既存のリウェイト戦略は主にグループレベルのデータの重要性に焦点を当てている。
動的・インスタンスレベルのデータ再重み付けのための新しいアルゴリズムを提案する。
当社のフレームワークでは,冗長データや非形式データを優先的に再重み付けする戦略を考案することが可能です。
論文 参考訳（メタデータ） (2025-02-10T17:57:15Z) - Distilled Datamodel with Reverse Gradient Matching [74.75248610868685]
オフライントレーニングとオンライン評価段階を含む,データ影響評価のための効率的なフレームワークを提案する。
提案手法は, 直接再学習法と比較して, プロセスの大幅な高速化を図りながら, 同等のモデル行動評価を実現する。
論文 参考訳（メタデータ） (2024-04-22T09:16:14Z) - Direct Acquisition Optimization for Low-Budget Active Learning [15.355195433709717]
アクティブラーニング(AL)は、限られたラベル付きデータを持つドメインにデータ集約型機械学習(ML)モデルを統合することで有名になった。
本稿では,従来のALアルゴリズムの低予算環境での性能劣化を実証的に観察する。
そこで我々は,期待される真の損失削減に基づくサンプル選択を最適化する新しいALアルゴリズムであるDAO(Direct Acquisition Optimization)を導入する。
論文 参考訳（メタデータ） (2024-02-08T20:36:21Z) - Temporal Output Discrepancy for Loss Estimation-based Active Learning [65.93767110342502]
ラベルのないサンプルが高損失を伴っていると信じられている場合に,データアノテーションのオラクルに問い合わせる,新しいディープラーニングアプローチを提案する。
本手法は,画像分類やセマンティックセグメンテーションタスクにおける最先端の能動学習手法よりも優れた性能を実現する。
論文 参考訳（メタデータ） (2022-12-20T19:29:37Z) - Domain Adaptation with Adversarial Training on Penultimate Activations [82.9977759320565]
教師なし領域適応(Unsupervised Domain Adaptation, UDA)の重要な目的は、ラベルなし対象データに対するモデル予測の信頼性を高めることである。
我々は,この戦略が,入力画像や中間特徴に対する敵対的訓練よりも予測信頼性を高める目的と,より効率的で相関性が高いことを示す。
論文 参考訳（メタデータ） (2022-08-26T19:50:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。