論文の概要: Chunked Data Shapley: A Scalable Dataset Quality Assessment for Machine Learning

• arxiv url: http://arxiv.org/abs/2508.16255v1
• Date: Fri, 22 Aug 2025 09:40:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-25 16:42:36.34276
• Title: Chunked Data Shapley: A Scalable Dataset Quality Assessment for Machine Learning
• Title（参考訳）: Chunked Data Shapley: マシンラーニングのためのスケーラブルなデータセット品質評価
• Authors: Andreas Loizou, Dimitrios Tsoumakos,
• Abstract要約: 我々は、データセットの高品質なデータ計算であるチャンクド・データ・シェープ(C-DaSh)を識別するために、Data Shapleyアプローチを提案する。 C-DaShは、データセットを管理可能なチャンクに分類し、最適化された選択と勾配降下を使って各チャンクのコントリビューションを推定する。 C-DaShは計算効率(80倍から2300倍の高速化)と低品質なデータ領域の検出精度の両方において既存のShapley近似よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: As the volume and diversity of available datasets continue to increase, assessing data quality has become crucial for reliable and efficient Machine Learning analytics. A modern, game-theoretic approach for evaluating data quality is the notion of Data Shapley which quantifies the value of individual data points within a dataset. State-of-the-art methods to scale the NP-hard Shapley computation also face severe challenges when applied to large-scale datasets, limiting their practical use. In this work, we present a Data Shapley approach to identify a dataset's high-quality data tuples, Chunked Data Shapley (C-DaSh). C-DaSh scalably divides the dataset into manageable chunks and estimates the contribution of each chunk using optimized subset selection and single-iteration stochastic gradient descent. This approach drastically reduces computation time while preserving high quality results. We empirically benchmark our method on diverse real-world classification and regression tasks, demonstrating that C-DaSh outperforms existing Shapley approximations in both computational efficiency (achieving speedups between 80x - 2300x) and accuracy in detecting low-quality data regions. Our method enables practical measurement of dataset quality on large tabular datasets, supporting both classification and regression pipelines.
• Abstract（参考訳）: 利用可能なデータセットの量と多様性が増加し続けており、信頼性と効率的な機械学習分析において、データ品質の評価が重要になっている。 データ品質を評価するための現代的なゲーム理論のアプローチは、データセット内の個々のデータポイントの価値を定量化するData Shapleyの概念である。 NP-hard Shapley計算をスケールする最先端の手法は、大規模データセットに適用した場合にも深刻な問題に直面し、実用的使用を制限している。 本研究では、データセットの高品質なデータタプルであるChunked Data Shapley(C-DaSh)を特定するためのData Shapleyアプローチを提案する。 C-DaShは、データセットを管理可能なチャンクに分類し、最適化されたサブセット選択と単点確率勾配勾配を用いて各チャンクの寄与を推定する。 このアプローチは、高品質な結果を保持しながら、計算時間を劇的に短縮する。 C-DaShは計算効率(80倍から2300倍の高速化)と低品質なデータ領域の検出精度の両方において既存のShapley近似よりも優れていることを示す。 提案手法は,大規模な表付きデータセットのデータセット品質を実測し,分類と回帰パイプラインの両方をサポートする。

関連論文リスト

• Understanding Data Influence with Differential Approximation [63.817689230826595]
  我々は,Diff-Inと呼ばれる連続学習ステップ間の影響の差を蓄積することにより,サンプルの影響を近似する新しい定式化を導入する。 2次近似を用いることで、これらの差分項を高精度に近似し、既存の手法で必要となるモデル凸性を排除した。 Diff-In は既存の影響推定器に比べて近似誤差が著しく低いことを示す。
  論文  参考訳（メタデータ） (2025-08-20T11:59:32Z)
• Losing is for Cherishing: Data Valuation Based on Machine Unlearning and Shapley Value [18.858879113762917]
  我々は、機械学習を利用してデータ値を効率的に推定する新しいフレームワークUnlearning Shapleyを提案する。 提案手法は,モンテカルロサンプリングによるシェープリー値の計算を行い,再学習を回避し,全データへの依存を排除した。 この作業は、データバリュエーション理論と実践的デプロイメントのギャップを埋め、現代のAIエコシステムにスケーラブルでプライバシに準拠したソリューションを提供する。
  論文  参考訳（メタデータ） (2025-05-22T02:46:03Z)
• Optimizing Pretraining Data Mixtures with LLM-Estimated Utility [52.08428597962423]
  大規模な言語モデルは、高品質なトレーニングデータの増加によって改善される。 トークンカウントは手動と学習の混合よりも優れており、データセットのサイズと多様性に対する単純なアプローチが驚くほど効果的であることを示している。 UtiliMaxは,手動ベースラインよりも最大10.6倍のスピードアップを達成することで,トークンベースの200ドルを拡大する。また,LLMを活用して小さなサンプルからデータユーティリティを推定するモデル推定データユーティリティ(MEDU)は,計算要求を$simxで削減し,アブレーションベースのパフォーマンスに適合する。
  論文  参考訳（メタデータ） (2025-01-20T21:10:22Z)
• A CLIP-Powered Framework for Robust and Generalizable Data Selection [51.46695086779598]
  実世界のデータセットは、しばしば冗長でノイズの多いデータを含み、トレーニング効率とモデルパフォーマンスに悪影響を及ぼす。 データ選択は、データセット全体から最も代表的なサンプルを特定することを約束している。 より堅牢で一般化可能なサンプル選択にマルチモーダル情報を活用するCLIPを利用した新しいデータ選択フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-15T03:00:58Z)
• CHG Shapley: Efficient Data Valuation and Selection towards Trustworthy Machine Learning [0.0]
  そこで本研究では,各トレーニング時代のモデル性能における各データサブセットの有用性を近似したCHG(Compound of Hardness and Gradient)ユーティリティ関数を提案する。 CHGユーティリティ関数を用いて各データポイント毎の閉形式のShapley値を導出することにより、計算複雑性を1つのモデル再学習に還元する。 さらに、CHG Shapleyをリアルタイムデータ選択に利用し、標準データセット、ラベルノイズデータセット、クラス不均衡データセットの3つの設定で実験を行います。
  論文  参考訳（メタデータ） (2024-06-17T16:48:31Z)
• Online Importance Sampling for Stochastic Gradient Optimization [33.42221341526944]
  本稿では,トレーニング中のデータの重要度を効率的に計算する実用的なアルゴリズムを提案する。 また、ネットワーク出力の損失w.r.t.の導出に基づく新しいメトリクスを導入し、ミニバッチの重要度サンプリング用に設計した。
  論文  参考訳（メタデータ） (2023-11-24T13:21:35Z)
• Accelerated Shapley Value Approximation for Data Evaluation [3.707457963532597]
  機械学習問題の構造的特性を活用することにより,データポイントのシェープ値をより効率的に近似できることを示す。 我々の分析は、データバリュエーションの文脈において、小さなサブセットで訓練されたモデルはより重要であることを示唆している。
  論文  参考訳（メタデータ） (2023-11-09T13:15:36Z)
• Differentially Private Shapley Values for Data Evaluation [3.616258473002814]
  共有値は計算コストが高く、データセット全体を含んでいる。 そこで本研究では,階層型シェープアルゴリズム(Layered Shapley Algorithm)と呼ばれる新しい近似法を提案する。 本手法は, 確率的精度を保証するために, データの小さな (O(polylog(n))) ランダムサンプルと小さな (O(log n)$) 連立関係で動作することを示す。
  論文  参考訳（メタデータ） (2022-06-01T14:14:24Z)
• Evaluating representations by the complexity of learning low-loss predictors [55.94170724668857]
  下流タスクの解決に使用されるデータの表現を評価することの問題点を考察する。 本稿では,関心のあるタスクにおける低損失を実現する表現の上に,予測器を学習する複雑性によって表現の質を測定することを提案する。
  論文  参考訳（メタデータ） (2020-09-15T22:06:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。