論文の概要: KAIROS: Scalable Model-Agnostic Data Valuation
- arxiv url: http://arxiv.org/abs/2506.23799v1
- Date: Mon, 30 Jun 2025 12:44:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-01 21:27:54.055417
- Title: KAIROS: Scalable Model-Agnostic Data Valuation
- Title(参考訳): KAIROS: スケーラブルなモデルに依存しないデータ評価
- Authors: Jiongli Zhu, Parjanya Prajakta Prashant, Alex Cloninger, Babak Salimi,
- Abstract要約: KAIROSはスケーラブルでモデルに依存しない評価フレームワークで、各例に分散影響スコアを割り当てる。
KAIROSは、最先端のモデル-、Shapley-、Wassersteinベースのベースラインを精度とランタイムの両方で一貫して上回っている。
- 参考スコア(独自算出の注目度): 8.766103946679435
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Training data increasingly shapes not only model accuracy but also regulatory compliance and market valuation of AI assets. Yet existing valuation methods remain inadequate: model-based techniques depend on a single fitted model and inherit its biases, while algorithm-based approaches such as Data Shapley require costly retrainings at web scale. Recent Wasserstein-based model-agnostic methods rely on approximations that misrank examples relative to their true leave-one-out (LOO) utility. We introduce KAIROS, a scalable, model-agnostic valuation framework that assigns each example a distributional influence score: its contribution to the Maximum Mean Discrepancy (MMD) between the empirical training distribution and a clean reference set. Unlike Wasserstein surrogates, our MMD-based influence admits a closed-form solution that faithfully approximates the exact LOO ranking within $O(1/N^2)$ error, requires no retraining, and naturally extends to conditional kernels for unified label- and feature-error detection. Moreover, KAIROS supports efficient online updates: when a new batch of size m arrives, all scores can be updated in $O(mN)$ time, delivering up to 50x speedup without compromising ranking quality. Empirical evaluations on noise, mislabeling, and poisoning benchmarks show that KAIROS consistently outperforms state-of-the-art model-, Shapley-, and Wasserstein-based baselines in both accuracy and runtime. We provide rigorous theoretical guarantees, including symmetry for reproducible rankings and density-separation for interpretable thresholds.
- Abstract(参考訳): トレーニングデータは、モデル精度だけでなく、規制コンプライアンスやAI資産の市場評価もますます形作る。
モデルベースの手法は単一の適合モデルに依存し、バイアスを継承する一方で、Data Shapleyのようなアルゴリズムベースのアプローチでは、Webスケールでコストがかかる。
最近のワッサーシュタインに基づくモデルに依存しない手法は、実効性(LOO)と比較して例を誤る近似に依存している。
実験的なトレーニング分布とクリーンリファレンスセットの間の最大平均離散性(MMD:Maximum Mean Discrepancy)への寄与を,それぞれの例に割り当てる,スケーラブルでモデルに依存しない評価フレームワークであるKAIROSを紹介した。
Wasserstein シュロゲートとは異なり、我々のMDDベースの影響は、O(1/N^2)$エラーの正確なLOOランクを忠実に近似し、再トレーニングを必要とせず、ラベルとフィーチャーエラーを統一するための条件付きカーネルに自然に拡張する、クローズドフォームのソリューションを受け入れている。
さらに、KAIROSは効率的なオンライン更新をサポートする。新しいサイズmが到着すると、すべてのスコアが$O(mN)$タイムで更新され、ランキング品質を損なうことなく最大50倍のスピードアップが提供される。
ノイズ、ラベルミス、毒のベンチマークに関する実証的な評価は、KAIROSが最先端モデル、Shapley-、Wassersteinベースのベースラインを精度とランタイムの両方で一貫して上回っていることを示している。
再現可能なランクの対称性や解釈可能なしきい値の密度分離を含む厳密な理論的保証を提供する。
関連論文リスト
- Informed Correctors for Discrete Diffusion Models [31.814439169033616]
本稿では, 近似誤差をより確実に対応させるために, 拡散モデルにより補正器が通知される予測器・補正器サンプリング方式を提案する。
離散拡散モデルにおいて, 誤差が少なく, FIDスコアが向上し, 精度が向上することを示す。
論文 参考訳(メタデータ) (2024-07-30T23:29:29Z) - Weak Supervision Performance Evaluation via Partial Identification [46.73061437177238]
Programmatic Weak Supervision (PWS) は、地上の真理ラベルに直接アクセスすることなく、教師付きモデルトレーニングを可能にする。
本稿では,モデル評価を部分的同定問題としてフレーミングすることで,この問題に対処する新しい手法を提案する。
提案手法は,従来の弱監督評価手法において,ラベル付きデータを必要とせず,重要な指標に信頼性のあるバウンダリを導出する。
論文 参考訳(メタデータ) (2023-12-07T07:15:11Z) - DOMAIN: MilDly COnservative Model-BAsed OfflINe Reinforcement Learning [13.879614274334795]
保守主義は、正確なオフラインデータと不正確なモデルデータのバランスをとるために、アルゴリズムに組み込まれるべきです。
本稿では、モデル不確実性を推定することなく、milDly cOnservative Model-bAsed offlINe RLアルゴリズム(DOMAIN)を提案する。
その結果、DOMAINは従来のRLアルゴリズムよりも優れており、平均性能はD4RLベンチマークで1.8%向上した。
論文 参考訳(メタデータ) (2023-09-16T08:39:28Z) - Precision-Recall Divergence Optimization for Generative Modeling with
GANs and Normalizing Flows [54.050498411883495]
本研究では,ジェネレーティブ・アドバイサル・ネットワークや正規化フローなどの生成モデルのための新しいトレーニング手法を開発した。
指定された精度-リコールトレードオフを達成することは、textitPR-divergencesと呼ぶ家族からのユニークな$f$-divergenceを最小化することを意味する。
当社のアプローチは,ImageNetなどのデータセットでテストした場合の精度とリコールの両面で,BigGANのような既存の最先端モデルの性能を向上させる。
論文 参考訳(メタデータ) (2023-05-30T10:07:17Z) - Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be
Consistent [97.64313409741614]
本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。
CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
論文 参考訳(メタデータ) (2023-02-17T18:45:04Z) - Exploring validation metrics for offline model-based optimisation with
diffusion models [50.404829846182764]
モデルベース最適化(MBO)では、マシンラーニングを使用して、(基底真理)オラクルと呼ばれるブラックボックス関数に対する報酬の尺度を最大化する候補を設計することに興味があります。
モデル検証中に基底オラクルに対する近似をトレーニングし、その代わりに使用することができるが、その評価は近似的であり、敵の例に対して脆弱である。
本手法は,外挿量を測定するために提案した評価フレームワークにカプセル化されている。
論文 参考訳(メタデータ) (2022-11-19T16:57:37Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳(メタデータ) (2022-01-11T23:01:12Z) - Evaluating State-of-the-Art Classification Models Against Bayes
Optimality [106.50867011164584]
正規化フローを用いて学習した生成モデルのベイズ誤差を正確に計算できることを示す。
われわれの手法を用いて、最先端の分類モデルについて徹底的な調査を行う。
論文 参考訳(メタデータ) (2021-06-07T06:21:20Z) - Adversarial Boot Camp: label free certified robustness in one epoch [7.51557557629519]
本稿では,信頼性の高いモデルを実現するための認証手法を提案する。
ラベル情報を使わずに、この損失でモデルを再訓練することで、ImageNet-1k上の認定モデルを実現する。
論文 参考訳(メタデータ) (2020-10-05T13:47:45Z) - Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。
我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
論文 参考訳(メタデータ) (2020-03-04T12:27:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。