論文の概要: Distributional Training Data Attribution

• arxiv url: http://arxiv.org/abs/2506.12965v2
• Date: Fri, 20 Jun 2025 20:38:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 12:48:19.108403
• Title: Distributional Training Data Attribution
• Title（参考訳）: 分散トレーニングデータの属性
• Authors: Bruno Mlodozeniec, Isaac Reid, Sam Power, David Krueger, Murat Erdogdu, Richard E. Turner, Roger Grosse,
• Abstract要約: モデル出力の分布がデータセットに依存するかを予測するために、分布学習データ属性(d-TDA)を導入する。 平均を必ずしも変化させることなく、目標値の分布を劇的に変化させる訓練例を同定する。 また, 分布構造から影響関数 (IF) が自然に出現することが, アンロール化微分の限界として見出された。
• 参考スコア（独自算出の注目度）: 20.18145179467698
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Randomness is an unavoidable part of training deep learning models, yet something that traditional training data attribution algorithms fail to rigorously account for. They ignore the fact that, due to stochasticity in the initialisation and batching, training on the same dataset can yield different models. In this paper, we address this shortcoming through introducing distributional training data attribution (d-TDA), the goal of which is to predict how the distribution of model outputs (over training runs) depends upon the dataset. We demonstrate the practical significance of d-TDA in experiments, e.g. by identifying training examples that drastically change the distribution of some target measurement without necessarily changing the mean. Intriguingly, we also find that influence functions (IFs), a popular but poorly-understood data attribution tool, emerge naturally from our distributional framework as the limit to unrolled differentiation; without requiring restrictive convexity assumptions. This provides a new mathematical motivation for their efficacy in deep learning, and helps to characterise their limitations.
• Abstract（参考訳）: ランダム性(Randomness)は、ディープラーニングモデルのトレーニングでは避けられない部分ですが、従来のトレーニングデータ属性アルゴリズムでは、厳格に説明できない部分です。 彼らは、初期化とバッチ化の確率性のため、同じデータセットでのトレーニングが異なるモデルが得られるという事実を無視している。 本稿では、モデル出力の分布がデータセットにどのように依存するかを予測することを目的として、分散トレーニングデータ属性(d-TDA)を導入することで、この欠点に対処する。 実験におけるd-TDAの実用的意義は、例えば、平均を変えることなく、目標値の分布を劇的に変化させる訓練例を同定することによって示している。 興味深いことに、データ帰属ツールであるインフルエンス関数(IF)は、制限された凸性仮定を必要とせず、我々の分散フレームワークから自然に現れる。 これは、深層学習における有効性に対する新しい数学的動機を与え、その限界を特徴づけるのに役立つ。

関連論文リスト

• Nonparametric Data Attribution for Diffusion Models [57.820618036556084]
  生成モデルのデータ属性は、個々のトレーニング例がモデル出力に与える影響を定量化する。 生成画像とトレーニング画像のパッチレベルの類似性によって影響を測定する非パラメトリック属性法を提案する。
  論文  参考訳（メタデータ） (2025-10-16T03:37:16Z)
• Robust training of implicit generative models for multivariate and heavy-tailed distributions with an invariant statistical loss [0.4249842620609682]
  我々は、引用2024トレーニングで導入されたISL(textitinvariant statistics loss)法に基づいて構築する。 重み付きおよび多変量データ分散を扱うように拡張する。 ジェネレーティブ・ジェネレーティブ・モデリングにおけるその性能を評価し、ジェネレーティブ・ディバイサル・ネットワーク(GAN)の事前学習技術としての可能性を探る。
  論文  参考訳（メタデータ） (2024-10-29T10:27:50Z)
• Influence Functions for Scalable Data Attribution in Diffusion Models [52.92223039302037]
  拡散モデルは、生成的モデリングに大きな進歩をもたらした。 しかし、彼らの普及はデータ属性と解釈可能性に関する課題を引き起こす。 これらの課題に対処するための影響関数フレームワークを開発する。
  論文  参考訳（メタデータ） (2024-10-17T17:59:02Z)
• Data Shapley in One Training Run [88.59484417202454]
  Data Shapleyは、機械学習コンテキストにおけるデータのコントリビューションに寄与するための、原則化されたフレームワークを提供する。 既存のアプローチでは、計算集約的な異なるデータサブセット上の再学習モデルが必要である。 本稿では、対象とするデータモデルに対するスケーラブルなデータ属性を提供することにより、これらの制限に対処するIn-Run Data Shapleyを紹介する。
  論文  参考訳（メタデータ） (2024-06-16T17:09:24Z)
• Ask Your Distribution Shift if Pre-Training is Right for You [67.90850628695563]
  実際に、事前訓練されたモデルの微調整は、いくつかのケースではロバスト性を大幅に改善するが、他のケースではまったく改善しない。 分散シフト中のモデルの2つの障害モード – トレーニングデータの補間不足とバイアス – に注目する。 我々の研究は、親指の規則として、事前学習は、粗悪な外挿を緩和するがデータセットのバイアスを緩和する助けとなることを示唆している。
  論文  参考訳（メタデータ） (2024-02-29T23:46:28Z)
• Mixture Data for Training Cannot Ensure Out-of-distribution Generalization [21.801115344132114]
  トレーニングデータのサイズが大きくなると、必ずしもテスト一般化誤差が減少するとは限らない。 本研究では,OODデータを混合学習データの凸内外にあるデータとして定量的に再定義する。 新たなリスクバウンドの証明は、よく訓練されたモデルの有効性が、目に見えないデータに対して保証されることに同意する。
  論文  参考訳（メタデータ） (2023-12-25T11:00:38Z)
• On the Connection between Pre-training Data Diversity and Fine-tuning Robustness [66.30369048726145]
  下流の有効ロバスト性に影響を与える主な要因はデータ量である。 各種自然および合成データソースから抽出した事前学習分布について,本研究の成果を示す。
  論文  参考訳（メタデータ） (2023-07-24T05:36:19Z)
• MissDiff: Training Diffusion Models on Tabular Data with Missing Values [29.894691645801597]
  この研究は、欠落した値を持つデータから学習するための統一的で原則化された拡散ベースのフレームワークを示す。 まず、広く採用されている「インプット・ザ・ジェネレーション」パイプラインが、バイアスのある学習目標に繋がる可能性があることを観察する。 提案手法は,データ分布のスコアの学習に一貫性があることを証明し,提案手法は特定の場合において負の確率の上限として機能する。
  論文  参考訳（メタデータ） (2023-07-02T03:49:47Z)
• Training Data Attribution for Diffusion Models [1.1733780065300188]
  そこで本研究では,アンサンブルを用いて学習データが拡散モデルの出力にどのように影響するかを明らかにする新しい手法を提案する。 我々のアプローチでは、エンコードされたアンサンブル内の個々のモデルは、影響のあるトレーニング例の識別を可能にするために、訓練データ全体の分割を慎重に設計した上で訓練される。 得られたモデルアンサンブルは、トレーニングデータの影響の効率的なアブレーションを可能にし、トレーニングデータがモデル出力に与える影響を評価する。
  論文  参考訳（メタデータ） (2023-06-03T18:36:12Z)
• Preserving Fairness in AI under Domain Shift [15.820660013260584]
  AIの公正性を保証するための既存のアルゴリズムは、単発トレーニング戦略を使用している。 ドメインシフトの下で公正な状態を維持するために公正なモデルを適用するアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2023-01-29T06:13:40Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• Agree to Disagree: Diversity through Disagreement for Better Transferability [54.308327969778155]
  本稿では,D-BAT(Diversity-By-dis-Agreement Training)を提案する。 我々は、D-BATが一般化された相違の概念から自然に現れることを示す。
  論文  参考訳（メタデータ） (2022-02-09T12:03:02Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Predicting with Confidence on Unseen Distributions [90.68414180153897]
  ドメイン適応と予測不確実性文学を結びつけて、挑戦的な未知分布のモデル精度を予測する。 分類器の予測における信頼度(DoC)の差は,様々な変化に対して,分類器の性能変化を推定することに成功した。 具体的には, 合成分布と自然分布の区別について検討し, その単純さにもかかわらず, DoCは分布差の定量化に優れることを示した。
  論文  参考訳（メタデータ） (2021-07-07T15:50:18Z)
• Mind the Trade-off: Debiasing NLU Models without Degrading the In-distribution Performance [70.31427277842239]
  信頼性正則化という新しいデバイアス化手法を導入する。 モデルがバイアスを悪用するのを防ぐと同時に、トレーニングのすべての例から学ぶのに十分なインセンティブを得られるようにします。 提案手法を3つのNLUタスクで評価し,前者とは対照的に,アウト・オブ・ディストリビューション・データセットの性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-05-01T11:22:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。