論文の概要: Data Attribution for Diffusion Models: Timestep-induced Bias in
Influence Estimation
- arxiv url: http://arxiv.org/abs/2401.09031v2
- Date: Sun, 21 Jan 2024 20:49:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-23 19:05:30.724142
- Title: Data Attribution for Diffusion Models: Timestep-induced Bias in
Influence Estimation
- Title(参考訳): 拡散モデルに対するデータ帰属:時間ステップによる影響推定バイアス
- Authors: Tong Xie, Haoyu Li, Andrew Bai, Cho-Jui Hsieh
- Abstract要約: 拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。
本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。
そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
- 参考スコア(独自算出の注目度): 58.20016784231991
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Data attribution methods trace model behavior back to its training dataset,
offering an effective approach to better understand ''black-box'' neural
networks. While prior research has established quantifiable links between model
output and training data in diverse settings, interpreting diffusion model
outputs in relation to training samples remains underexplored. In particular,
diffusion models operate over a sequence of timesteps instead of instantaneous
input-output relationships in previous contexts, posing a significant challenge
to extend existing frameworks to diffusion models directly. Notably, we present
Diffusion-TracIn that incorporates this temporal dynamics and observe that
samples' loss gradient norms are highly dependent on timestep. This trend leads
to a prominent bias in influence estimation, and is particularly noticeable for
samples trained on large-norm-inducing timesteps, causing them to be generally
influential. To mitigate this effect, we introduce Diffusion-ReTrac as a
re-normalized adaptation that enables the retrieval of training samples more
targeted to the test sample of interest, facilitating a localized measurement
of influence and considerably more intuitive visualization. We demonstrate the
efficacy of our approach through various evaluation metrics and auxiliary
tasks, reducing the amount of generally influential samples to $\frac{1}{3}$ of
its original quantity.
- Abstract(参考訳): データアトリビューションメソッドはモデルの振る舞いをトレーニングデータセットにトレースし、'ブラックボックス'ニューラルネットワークをより理解するための効果的なアプローチを提供する。
モデル出力とトレーニングデータのさまざまな設定における定量化可能なリンクが先行研究で確立されているが、トレーニングサンプルに関する拡散モデル出力の解釈は未検討のままである。
特に拡散モデルは、過去の文脈における即時的な入出力関係の代わりに一連のタイムステップで動作し、既存のフレームワークを直接拡散モデルに拡張する上で大きな課題となる。
特にDiffusion-TracInは、この時間力学を取り入れ、サンプルの損失勾配ノルムが時間ステップに大きく依存しているのを観察する。
この傾向は影響推定に顕著なバイアスをもたらし、特に大きなノルム誘導時間ステップで訓練されたサンプルに顕著であり、一般に影響がある。
この効果を緩和するため,我々は,興味のあるテストサンプルをよりターゲットとしたトレーニングサンプルの検索を可能にする再正規化適応として拡散再帰法を導入し,影響の局所的測定とより直感的な可視化を可能にした。
提案手法の有効性を,様々な評価指標と補助課題を用いて実証し,一般的な影響サンプルの量を,元の量の$\frac{1}{3}$に削減した。
関連論文リスト
- MG-TSD: Multi-Granularity Time Series Diffusion Models with Guided
Learning Process [28.251181984023205]
本稿では,最先端の予測性能を実現する新しい多粒度時系列(MG-TSD)モデルを提案する。
われわれのアプローチは外部データに頼らず、様々な領域にまたがって汎用的で適用可能である。
論文 参考訳(メタデータ) (2024-03-09T01:15:03Z) - Towards Theoretical Understandings of Self-Consuming Generative Models [60.98692028151328]
本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。
我々は,この学習規則が将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。
我々は拡散モデルに一般結果を特化し、自己消費ループ内での最適な早期停止の有効性などの微妙な洞察を提供する。
論文 参考訳(メタデータ) (2024-02-19T02:08:09Z) - Temporal Disentangled Contrastive Diffusion Model for Spatiotemporal
Imputation [36.80005620519233]
C$2$TSDは、トレンド情報と季節情報を条件付き特徴として取り入れ、モデル一般化性を改善するために対照的な学習を採用する新しいアプローチである。
3つの実世界のデータセットに対する実験は、様々な最先端ベースラインよりもC$2$TSDの方が優れた性能を示している。
論文 参考訳(メタデータ) (2024-02-18T11:59:04Z) - Projection Regret: Reducing Background Bias for Novelty Detection via
Diffusion Models [72.07462371883501]
本研究では,非意味情報のバイアスを緩和する効率的な新規性検出手法であるemphProjection Regret(PR)を提案する。
PRは、テスト画像とその拡散ベースの投影の間の知覚距離を計算し、異常を検出する。
拡張実験により、PRは生成モデルに基づく新規性検出手法の先行技術よりも有意なマージンで優れていることが示された。
論文 参考訳(メタデータ) (2023-12-05T09:44:47Z) - Debias the Training of Diffusion Models [53.49637348771626]
本研究では,拡散モデルにおいて一定の損失重み戦略を用いることで,トレーニング期間中に偏りが生じるという理論的証拠を提供する。
理論的に偏りのない原理に基づくエレガントで効果的な重み付け戦略を提案する。
これらの分析は、拡散モデルの内部動作の理解とデミステレーションを促進することが期待されている。
論文 参考訳(メタデータ) (2023-10-12T16:04:41Z) - Exploring Continual Learning of Diffusion Models [24.061072903897664]
拡散モデルの連続学習(CL)特性を評価する。
我々は,拡散の時間経過にまたがる多様な行動を示す,忘れのダイナミクスに関する洞察を提供する。
論文 参考訳(メタデータ) (2023-03-27T15:52:14Z) - How Much is Enough? A Study on Diffusion Times in Score-based Generative
Models [76.76860707897413]
現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。
本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
論文 参考訳(メタデータ) (2022-06-10T15:09:46Z) - Efficient Causal Inference from Combined Observational and
Interventional Data through Causal Reductions [68.6505592770171]
因果効果を推定する際の主な課題の1つである。
そこで本研究では,任意の数の高次元潜入共創者を置き換える新たな因果還元法を提案する。
パラメータ化縮小モデルを観測データと介入データから共同で推定する学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-03-08T14:29:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。