論文の概要: Training Data Attribution via Approximate Unrolled Differentiation

• arxiv url: http://arxiv.org/abs/2405.12186v2
• Date: Tue, 21 May 2024 04:26:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-22 12:20:58.578946
• Title: Training Data Attribution via Approximate Unrolled Differentiation
• Title（参考訳）: 近似アンロール差分による学習データ帰属
• Authors: Juhan Bae, Wu Lin, Jonathan Lorraine, Roger Grosse,
• Abstract要約: 影響関数のような暗黙の微分に基づく手法は、計算的に効率的になるが、過小評価を考慮できない。 我々は、影響関数のような公式を用いて計算される近似アンローリングベースのTDA手法であるSourceを紹介する。
• 参考スコア（独自算出の注目度）: 8.87519936904341
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many training data attribution (TDA) methods aim to estimate how a model's behavior would change if one or more data points were removed from the training set. Methods based on implicit differentiation, such as influence functions, can be made computationally efficient, but fail to account for underspecification, the implicit bias of the optimization algorithm, or multi-stage training pipelines. By contrast, methods based on unrolling address these issues but face scalability challenges. In this work, we connect the implicit-differentiation-based and unrolling-based approaches and combine their benefits by introducing Source, an approximate unrolling-based TDA method that is computed using an influence-function-like formula. While being computationally efficient compared to unrolling-based approaches, Source is suitable in cases where implicit-differentiation-based approaches struggle, such as in non-converged models and multi-stage training pipelines. Empirically, Source outperforms existing TDA techniques in counterfactual prediction, especially in settings where implicit-differentiation-based approaches fall short.
• Abstract（参考訳）: 多くのトレーニングデータ属性(TDA)メソッドは、トレーニングセットから1つ以上のデータポイントが削除された場合、モデルの振る舞いがどのように変化するかを推定することを目的としている。 影響関数のような暗黙の微分に基づく手法は、計算的に効率的にできるが、不特定性、最適化アルゴリズムの暗黙のバイアス、多段階の訓練パイプラインを考慮できない。 対照的に、アンロールに基づくメソッドはこれらの問題に対処するが、スケーラビリティの課題に直面している。 本研究では、暗黙差分法とアンローリング法を結合し、インフルエンス関数式を用いて計算した近似アンローリング法であるSourceを導入する。 アンローリングベースのアプローチに比べて計算効率は良いが、ソースは非収束モデルやマルチステージトレーニングパイプラインなど、暗黙差分に基づくアプローチが苦戦している場合に適している。 実証的に、ソースは既存のTDA技術よりも、特に暗黙差分法に基づくアプローチが不十分な環境では、対実予測で優れている。

関連論文リスト

• Scalable Influence and Fact Tracing for Large Language Model Pretraining [14.598556308631018]
  トレーニングデータ属性(TDA)メソッドは、特定のトレーニング例にモデル出力を振り返ることを目的としている。 本稿では,既存の勾配法を改良し,大規模に効果的に機能させる。
  論文  参考訳（メタデータ） (2024-10-22T20:39:21Z)
• Influence Functions for Scalable Data Attribution in Diffusion Models [52.92223039302037]
  拡散モデルは、生成的モデリングに大きな進歩をもたらした。 しかし、彼らの普及はデータ属性と解釈可能性に関する課題を引き起こす。 本稿では,テキスト・インフルエンス・ファンクション・フレームワークを開発することにより,このような課題に対処することを目的とする。
  論文  参考訳（メタデータ） (2024-10-17T17:59:02Z)
• A Training-Free Conditional Diffusion Model for Learning Stochastic Dynamical Systems [10.820654486318336]
  本研究では,未知の微分方程式(SDE)をデータを用いて学習するための学習自由条件拡散モデルを提案する。 提案手法はSDEのモデリングにおける計算効率と精度の重要な課題に対処する。 学習されたモデルは、未知のシステムの短期的および長期的両方の挙動を予測する上で、大幅な改善を示す。
  論文  参考訳（メタデータ） (2024-10-04T03:07:36Z)
• Source-Free Domain-Invariant Performance Prediction [68.39031800809553]
  本研究では,不確実性に基づく推定を主軸としたソースフリー手法を提案する。 オブジェクト認識データセットのベンチマーク実験により、既存のソースベースの手法は、限られたソースサンプルの可用性で不足していることが判明した。 提案手法は,現在の最先端のソースフリーおよびソースベース手法よりも優れており,ドメイン不変性能推定の有効性が確認されている。
  論文  参考訳（メタデータ） (2024-08-05T03:18:58Z)
• Efficient Ensembles Improve Training Data Attribution [12.180392191924758]
  トレーニングデータ帰属法は、データ中心AIにおける幅広い応用により、個々のデータポイントがモデル予測に与える影響を定量化することを目的としている。 この分野の既存の手法は、リトレーニングベースとグラデーションベースに分類されるが、有害なトレードオフ帰属効果に苦慮している。 近年の研究では、複数の独立に訓練されたモデルのアンサンブルによる勾配に基づく手法の強化が、より優れた帰属を達成できることが示されている。
  論文  参考訳（メタデータ） (2024-05-27T15:58:34Z)
• Nonparametric Automatic Differentiation Variational Inference with Spline Approximation [7.5620760132717795]
  複雑な構造を持つ分布に対するフレキシブルな後続近似を可能にする非パラメトリック近似法を開発した。 広く使われている非パラメトリック推論手法と比較して,提案手法は実装が容易であり,様々なデータ構造に適応する。 実験では, 複雑な後続分布の近似における提案手法の有効性を実証し, 不完全データを用いた生成モデルの性能向上を図った。
  論文  参考訳（メタデータ） (2024-03-10T20:22:06Z)
• Variational Linearized Laplace Approximation for Bayesian Deep Learning [11.22428369342346]
  変分スパースガウス過程(GP)を用いた線形ラプラス近似(LLA)の近似法を提案する。 本手法はGPの2つのRKHSの定式化に基づいており、予測平均として元のDNNの出力を保持する。 効率のよい最適化が可能で、結果としてトレーニングデータセットのサイズのサブ線形トレーニング時間が短縮される。
  論文  参考訳（メタデータ） (2023-02-24T10:32:30Z)
• Cluster-level pseudo-labelling for source-free cross-domain facial expression recognition [94.56304526014875]
  表情認識のためのSFUDA法を提案する。 本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。 提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-11T08:24:50Z)
• MACE: An Efficient Model-Agnostic Framework for Counterfactual Explanation [132.77005365032468]
  MACE(Model-Agnostic Counterfactual Explanation)の新たな枠組みを提案する。 MACE法では, 優れた反実例を見つけるための新しいRL法と, 近接性向上のための勾配のない降下法を提案する。 公開データセットの実験は、有効性、空間性、近接性を向上して検証する。
  論文  参考訳（メタデータ） (2022-05-31T04:57:06Z)
• Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
  暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。 ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。 本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
  論文  参考訳（メタデータ） (2021-05-11T03:38:16Z)
• Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
  分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。 目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。 提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-07-07T18:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。