論文の概要: Daunce: Data Attribution through Uncertainty Estimation

• arxiv url: http://arxiv.org/abs/2505.23223v1
• Date: Thu, 29 May 2025 08:08:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:07.755553
• Title: Daunce: Data Attribution through Uncertainty Estimation
• Title（参考訳）: Daunce: 不確実性推定によるデータ属性
• Authors: Xingyuan Pan, Chenlu Ye, Joseph Melkonian, Jiaqi W. Ma, Tong Zhang,
• Abstract要約: トレーニングデータ属性法は、特定のテストデータに対して、どのトレーニング例がモデルの予測に最も影響するかを特定することを目的としている。 勾配に基づくTDA法は勾配と2次情報に依存し、大規模に適用性を制限する。 本稿では,不確実性推定による簡便かつ効果的なデータ帰属手法であるDaunceを紹介する。
• 参考スコア（独自算出の注目度）: 7.809316632545256
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training data attribution (TDA) methods aim to identify which training examples influence a model's predictions on specific test data most. By quantifying these influences, TDA supports critical applications such as data debugging, curation, and valuation. Gradient-based TDA methods rely on gradients and second-order information, limiting their applicability at scale. While recent random projection-based methods improve scalability, they often suffer from degraded attribution accuracy. Motivated by connections between uncertainty and influence functions, we introduce Daunce - a simple yet effective data attribution approach through uncertainty estimation. Our method operates by fine-tuning a collection of perturbed models and computing the covariance of per-example losses across these models as the attribution score. Daunce is scalable to large language models (LLMs) and achieves more accurate attribution compared to existing TDA methods. We validate Daunce on tasks ranging from vision tasks to LLM fine-tuning, and further demonstrate its compatibility with black-box model access. Applied to OpenAI's GPT models, our method achieves, to our knowledge, the first instance of data attribution on proprietary LLMs.
• Abstract（参考訳）: トレーニングデータ属性(TDA)手法は、特定のテストデータに対して、どのトレーニング例がモデルの予測に最も影響するかを特定することを目的としている。 これらの影響を定量化することで、TDAはデータデバッグ、キュレーション、評価といった重要なアプリケーションをサポートする。 勾配に基づくTDA法は勾配と2次情報に依存し、大規模に適用性を制限する。 最近のランダムプロジェクションベースの手法はスケーラビリティを向上させるが、しばしば劣化した帰属の精度に悩まされる。 不確実性と影響関数の関係を動機として,不確実性推定による簡便かつ効果的なデータ帰属手法であるDaunceを導入する。 提案手法は,摂動モデルの集合を微調整し,各モデル間の損失の共分散を属性スコアとして計算する。 Daunceは大規模言語モデル(LLM)にスケーラブルで、既存のTDAメソッドよりも正確な属性を実現している。 視覚タスクからLLMファインチューニングまでのタスクにおけるDaunceの有効性を検証し、ブラックボックスモデルアクセスとの互換性をさらに実証する。 OpenAI の GPT モデルに適用することで,私たちの知識を活かし,プロプライエタリな LLM に対するデータ属性の最初の例とする。

関連論文リスト

• Scalable Influence and Fact Tracing for Large Language Model Pretraining [14.598556308631018]
  トレーニングデータ属性(TDA)メソッドは、特定のトレーニング例にモデル出力を振り返ることを目的としている。 我々は,既存の勾配法を改良し,大規模に効果的に機能させる。 我々は、インプロンプトセットとモデルアウトプットをWebベースの可視化ツールとともにリリースし、影響力のある例を探索します。
  論文  参考訳（メタデータ） (2024-10-22T20:39:21Z)
• Influence Functions for Scalable Data Attribution in Diffusion Models [52.92223039302037]
  拡散モデルは、生成的モデリングに大きな進歩をもたらした。 しかし、彼らの普及はデータ属性と解釈可能性に関する課題を引き起こす。 これらの課題に対処するための影響関数フレームワークを開発する。
  論文  参考訳（メタデータ） (2024-10-17T17:59:02Z)
• Enhancing Training Data Attribution for Large Language Models with Fitting Error Consideration [74.09687562334682]
  Debias and Denoise Attribution (DDA) と呼ばれる新しいトレーニングデータ属性法を導入する。 提案手法は既存のアプローチよりも優れており,平均91.64%のAUCを実現している。 DDAは、様々なソースとLLaMA2、QWEN2、Mistralのような異なるスケールのモデルに対して、強力な汎用性とスケーラビリティを示す。
  論文  参考訳（メタデータ） (2024-10-02T07:14:26Z)
• Intriguing Properties of Data Attribution on Diffusion Models [33.77847454043439]
  データ帰属は、望ましいアウトプットをトレーニングデータに戻そうとする。 データ属性は、高直感的または著作権のあるデータを適切に割り当てるためのモジュールになっている。
  論文  参考訳（メタデータ） (2023-11-01T13:00:46Z)
• Cluster-level pseudo-labelling for source-free cross-domain facial expression recognition [94.56304526014875]
  表情認識のためのSFUDA法を提案する。 本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。 提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-11T08:24:50Z)
• Estimating Model Performance under Domain Shifts with Class-Specific Confidence Scores [25.162667593654206]
  不均衡なデータセットのパフォーマンス推定の枠組みの中で,クラスワイドキャリブレーションを導入する。 我々は、4つのタスクの実験を行い、提案した修正により、不均衡なデータセットの推定精度を一貫して改善する。
  論文  参考訳（メタデータ） (2022-07-20T15:04:32Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• How Training Data Impacts Performance in Learning-based Control [67.7875109298865]
  本稿では,トレーニングデータの密度と制御性能の関係を考察する。 データセットの品質尺度を定式化し、$rho$-gap と呼ぶ。 フィードバック線形化制御法に$rho$-gapを適用する方法を示す。
  論文  参考訳（メタデータ） (2020-05-25T12:13:49Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。