論文の概要: A Bayesian Approach To Analysing Training Data Attribution In Deep Learning

• arxiv url: http://arxiv.org/abs/2305.19765v2
• Date: Tue, 31 Oct 2023 08:06:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 23:51:27.510714
• Title: A Bayesian Approach To Analysing Training Data Attribution In Deep Learning
• Title（参考訳）: ディープラーニングにおけるトレーニングデータ帰属分析へのベイズ的アプローチ
• Authors: Elisa Nguyen, Minjoon Seo, Seong Joon Oh
• Abstract要約: トレーニングデータ属性(TDA)技術は、興味のあるテストデータに対するモデルの予測に影響を及ぼすトレーニングデータを見つける。 本稿では,学習モデルをベイズ的後部として扱い,TDAを確率変数として推定する,TDAタスクに対するベイズ的視点を紹介する。 我々は、TDAは、他のノイズ要因とは独立して、一定の訓練データに一貫して影響される深層モデル予測を説明するためにのみ確実に使用できると論じる。
• 参考スコア（独自算出の注目度）: 47.13426998135259
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training data attribution (TDA) techniques find influential training data for the model's prediction on the test data of interest. They approximate the impact of down- or up-weighting a particular training sample. While conceptually useful, they are hardly applicable to deep models in practice, particularly because of their sensitivity to different model initialisation. In this paper, we introduce a Bayesian perspective on the TDA task, where the learned model is treated as a Bayesian posterior and the TDA estimates as random variables. From this novel viewpoint, we observe that the influence of an individual training sample is often overshadowed by the noise stemming from model initialisation and SGD batch composition. Based on this observation, we argue that TDA can only be reliably used for explaining deep model predictions that are consistently influenced by certain training data, independent of other noise factors. Our experiments demonstrate the rarity of such noise-independent training-test data pairs but confirm their existence. We recommend that future researchers and practitioners trust TDA estimates only in such cases. Further, we find a disagreement between ground truth and estimated TDA distributions and encourage future work to study this gap. Code is provided at https://github.com/ElisaNguyen/bayesian-tda.
• Abstract（参考訳）: トレーニングデータ属性(TDA)技術は、興味のあるテストデータに対するモデルの予測に影響を及ぼすトレーニングデータを見つける。 特定のトレーニングサンプルのダウンあるいはアップ重み付けの影響を近似する。 概念的には有用であるが、特に異なるモデル初期化に対する感受性のため、実際の深層モデルにはほとんど適用できない。 本稿では,学習モデルをベイズ後部として扱い,TDAを確率変数として推定する,TDAタスクに対するベイズ的視点を紹介する。 この新たな観点から,モデル初期化とsgdバッチ合成によるノイズが,個々のトレーニングサンプルの影響を過大評価することがしばしばある。 この観察から,TDAは特定の学習データの影響を受けない深部モデル予測を,他のノイズ要因とは独立して確実に説明できるのみである,と論じる。 本実験はノイズ非依存型トレーニングテストデータペアの希少性を実証するが,その存在が確認される。 今後の研究者や実践者は,TDAの推定をそのような場合にのみ信頼することを推奨する。 さらに, 基礎的真理と推定されたTDA分布の相違が発見され, 今後の研究を奨励する。 コードはhttps://github.com/elisanguyen/bayesian-tdaで提供される。

関連論文リスト

• DOTA: Distributional Test-Time Adaptation of Vision-Language Models [52.98590762456236]
  トレーニングフリーテスト時動的アダプタ(TDA)は、この問題に対処するための有望なアプローチである。 単体テスト時間適応法(Dota)の簡易かつ効果的な方法を提案する。 Dotaは継続的にテストサンプルの分布を推定し、モデルがデプロイメント環境に継続的に適応できるようにします。
  論文  参考訳（メタデータ） (2024-09-28T15:03:28Z)
• Learning with Noisy Foundation Models [95.50968225050012]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• The Mirrored Influence Hypothesis: Efficient Data Influence Estimation by Harnessing Forward Passes [30.30769701138665]
  我々は、訓練データとテストデータの間の相互影響を浮き彫りにして、ミラーレッド影響仮説を導入し、探求する。 具体的には、テスト予測に対するトレーニングデータの影響を評価することは、等価だが逆問題として再定義することができることを示唆している。 トレーニングポイント毎に前方パスとペアを組むことで,特定のテストサンプルの勾配を計算し,トレーニングデータの影響を推定する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-02-14T03:43:05Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)
• Provable Detection of Propagating Sampling Bias in Prediction Models [1.7709344190822935]
  本稿では,データバイアスの特定の形式である差分サンプリングバイアスが,データステージから予測ステージにどのように伝播するかを理論的に分析する。 妥当な仮定の下では、モデル予測におけるバイアスの量が、データの差分サンプリングバイアスの量の関数としてどのように変化するかを定量化する。 仮定が緩和された場合でも理論的な結果が実際に成り立つことを実証する。
  論文  参考訳（メタデータ） (2023-02-13T23:39:35Z)
• Conformal prediction for the design problem [72.14982816083297]
  機械学習の現実的な展開では、次にテストすべきデータを選択するために予測アルゴリズムを使用します。 このような設定では、トレーニングデータとテストデータの間には、異なるタイプの分散シフトがある。 このような環境で予測の不確実性を定量化する手法を提案する。
  論文  参考訳（メタデータ） (2022-02-08T02:59:12Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Robust Validation: Confident Predictions Even When Distributions Shift [19.327409270934474]
  本稿では,モデルが点予測ではなく,その予測に対して不確実な推定を行うような,頑健な予測推論の手順について述べる。 本稿では, トレーニング集団の周囲に$f$-divergence のボールを用いて, 任意のテスト分布に対して適切なカバレッジレベルを与える予測セットを生成する手法を提案する。 私たちの方法論の重要な構成要素は、将来のデータシフトの量を見積り、それに対する堅牢性を構築することです。
  論文  参考訳（メタデータ） (2020-08-10T17:09:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。