論文の概要: Losing is for Cherishing: Data Valuation Based on Machine Unlearning and Shapley Value

• arxiv url: http://arxiv.org/abs/2505.16147v1
• Date: Thu, 22 May 2025 02:46:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:47.989528
• Title: Losing is for Cherishing: Data Valuation Based on Machine Unlearning and Shapley Value
• Title（参考訳）: Losing is for Cherishing: 機械学習と共有値に基づくデータ評価
• Authors: Le Ma, Shirao Yang, Zihao Wang, Yinggui Wang, Lei Wang, Tao Wei, Kejun Zhang,
• Abstract要約: 我々は、機械学習を利用してデータ値を効率的に推定する新しいフレームワークUnlearning Shapleyを提案する。 提案手法は,モンテカルロサンプリングによるシェープリー値の計算を行い,再学習を回避し,全データへの依存を排除した。 この作業は、データバリュエーション理論と実践的デプロイメントのギャップを埋め、現代のAIエコシステムにスケーラブルでプライバシに準拠したソリューションを提供する。
• 参考スコア（独自算出の注目度）: 18.858879113762917
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The proliferation of large models has intensified the need for efficient data valuation methods to quantify the contribution of individual data providers. Traditional approaches, such as game-theory-based Shapley value and influence-function-based techniques, face prohibitive computational costs or require access to full data and model training details, making them hardly achieve partial data valuation. To address this, we propose Unlearning Shapley, a novel framework that leverages machine unlearning to estimate data values efficiently. By unlearning target data from a pretrained model and measuring performance shifts on a reachable test set, our method computes Shapley values via Monte Carlo sampling, avoiding retraining and eliminating dependence on full data. Crucially, Unlearning Shapley supports both full and partial data valuation, making it scalable for large models (e.g., LLMs) and practical for data markets. Experiments on benchmark datasets and large-scale text corpora demonstrate that our approach matches the accuracy of state-of-the-art methods while reducing computational overhead by orders of magnitude. Further analysis confirms a strong correlation between estimated values and the true impact of data subsets, validating its reliability in real-world scenarios. This work bridges the gap between data valuation theory and practical deployment, offering a scalable, privacy-compliant solution for modern AI ecosystems.
• Abstract（参考訳）: 大規模モデルの普及により、個々のデータ提供者の貢献を定量化する効率的なデータ評価手法の必要性が高まっている。 ゲーム理論に基づくShapley値や影響関数に基づくテクニックといった従来のアプローチは、計算コストの禁止や、完全なデータへのアクセスやトレーニングの詳細のモデル化を必要とするため、部分的なデータのバリュエーションを達成できない。 これを解決するために,機械学習を利用して効率よくデータ値を推定する新しいフレームワークUnlearning Shapleyを提案する。 事前学習されたモデルから目標データを学習し、到達可能なテストセット上での性能変化を測定することにより、モンテカルロサンプリングによるシェープリー値の計算を行い、再学習を回避し、全データへの依存を排除した。 重要なのは、Unlearning Shapleyは完全なデータバリュエーションと部分的なデータバリュエーションの両方をサポートし、大規模なモデル(LLMなど)でスケーラブルで、データマーケットで実用的だ。 ベンチマークデータセットと大規模テキストコーパスの実験により、我々の手法は最先端手法の精度と一致し、計算オーバーヘッドを桁違いに低減することを示した。 さらなる分析により、推定値とデータサブセットの真の影響との強い相関が確認され、実際のシナリオにおける信頼性が検証される。 この作業は、データバリュエーション理論と実践的デプロイメントのギャップを埋め、現代のAIエコシステムにスケーラブルでプライバシに準拠したソリューションを提供する。

関連論文リスト

• DUPRE: Data Utility Prediction for Efficient Data Valuation [49.60564885180563]
  Data Shapleyのような協調ゲーム理論に基づくデータ評価では、データユーティリティを評価し、複数のデータサブセットに対してMLモデルを再トレーニングする必要がある。 我々のフレームワークである textttDUPRE は、モデル再学習による評価ではなく、データユーティリティを予測することによって、サブセット評価当たりのコストを削減できる代替手法を採用しています。 具体的には、いくつかのデータサブセットのデータユーティリティを評価すると、textttDUPREは、他のすべてのデータサブセットの有用性を予測するために、emphGaussianプロセス(GP)回帰モデルに適合する。
  論文  参考訳（メタデータ） (2025-02-22T08:53:39Z)
• Optimizing Pretraining Data Mixtures with LLM-Estimated Utility [52.08428597962423]
  大規模な言語モデルは、高品質なトレーニングデータの増加によって改善される。 トークンカウントは手動と学習の混合よりも優れており、データセットのサイズと多様性に対する単純なアプローチが驚くほど効果的であることを示している。 UtiliMaxは,手動ベースラインよりも最大10.6倍のスピードアップを達成することで,トークンベースの200ドルを拡大する。また,LLMを活用して小さなサンプルからデータユーティリティを推定するモデル推定データユーティリティ(MEDU)は,計算要求を$simxで削減し,アブレーションベースのパフォーマンスに適合する。
  論文  参考訳（メタデータ） (2025-01-20T21:10:22Z)
• Data Shapley in One Training Run [88.59484417202454]
  Data Shapleyは、機械学習コンテキストにおけるデータのコントリビューションに寄与するための、原則化されたフレームワークを提供する。 既存のアプローチでは、計算集約的な異なるデータサブセット上の再学習モデルが必要である。 本稿では、対象とするデータモデルに対するスケーラブルなデータ属性を提供することにより、これらの制限に対処するIn-Run Data Shapleyを紹介する。
  論文  参考訳（メタデータ） (2024-06-16T17:09:24Z)
• Distilled Datamodel with Reverse Gradient Matching [74.75248610868685]
  オフライントレーニングとオンライン評価段階を含む,データ影響評価のための効率的なフレームワークを提案する。 提案手法は, 直接再学習法と比較して, プロセスの大幅な高速化を図りながら, 同等のモデル行動評価を実現する。
  論文  参考訳（メタデータ） (2024-04-22T09:16:14Z)
• EcoVal: An Efficient Data Valuation Framework for Machine Learning [11.685518953430554]
  機械学習におけるデータアセスメントのための既存のShapley値ベースのフレームワークは、計算コストが高い。 機械学習モデルのデータを高速かつ実用的な方法で推定するために,効率的なデータアセスメントフレームワークであるEcoValを導入する。
  論文  参考訳（メタデータ） (2024-02-14T16:21:47Z)
• How Training Data Impacts Performance in Learning-based Control [67.7875109298865]
  本稿では,トレーニングデータの密度と制御性能の関係を考察する。 データセットの品質尺度を定式化し、$rho$-gap と呼ぶ。 フィードバック線形化制御法に$rho$-gapを適用する方法を示す。
  論文  参考訳（メタデータ） (2020-05-25T12:13:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。