論文の概要: Training Unbiased Diffusion Models From Biased Dataset

• arxiv url: http://arxiv.org/abs/2403.01189v1
• Date: Sat, 2 Mar 2024 12:06:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-05 14:46:42.185907
• Title: Training Unbiased Diffusion Models From Biased Dataset
• Title（参考訳）: バイアスデータセットから非バイアス拡散モデルのトレーニング
• Authors: Yeongmin Kim, Byeonghu Na, Minsang Park, JoonHo Jang, Dongjun Kim, Wanmo Kang, Il-Chul Moon
• Abstract要約: 本稿では,拡散モデルのバイアスを軽減するために,時間依存性の重要度再重み付けを提案する。 時間依存密度比が従来の手法よりも精度が高いことを示す。 スコアマッチングに直接適用することは難解であるが、再重み付けとスコア補正の両方に時間依存密度比を用いることで、目的関数の抽出可能な形式に繋がることがわかった。
• 参考スコア（独自算出の注目度）: 18.09610829650175
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With significant advancements in diffusion models, addressing the potential risks of dataset bias becomes increasingly important. Since generated outputs directly suffer from dataset bias, mitigating latent bias becomes a key factor in improving sample quality and proportion. This paper proposes time-dependent importance reweighting to mitigate the bias for the diffusion models. We demonstrate that the time-dependent density ratio becomes more precise than previous approaches, thereby minimizing error propagation in generative learning. While directly applying it to score-matching is intractable, we discover that using the time-dependent density ratio both for reweighting and score correction can lead to a tractable form of the objective function to regenerate the unbiased data density. Furthermore, we theoretically establish a connection with traditional score-matching, and we demonstrate its convergence to an unbiased distribution. The experimental evidence supports the usefulness of the proposed method, which outperforms baselines including time-independent importance reweighting on CIFAR-10, CIFAR-100, FFHQ, and CelebA with various bias settings. Our code is available at https://github.com/alsdudrla10/TIW-DSM.
• Abstract（参考訳）: 拡散モデルの大幅な進歩により、データセットバイアスの潜在的なリスクに対処することがますます重要になる。 生成された出力はデータセットのバイアスに直接苦しむため、潜在バイアスの軽減はサンプルの品質と比率を改善する上で鍵となる。 本稿では,拡散モデルのバイアスを軽減するために,時間依存的重要度重み付けを提案する。 本研究では, 時間依存密度比が従来の手法よりも精度が向上し, 生成学習における誤差伝播を最小化することを示す。 スコアマッチングへの直接適用は難しかったが,再重み付けとスコア補正の両方に時間依存の密度比を用いることで,目的関数の抽出可能な形式につながり,偏りのないデータ密度を再生できることが判明した。 さらに,従来のスコアマッチングとの関係を理論的に確立し,偏りのない分布への収束を実証する。 提案手法は, CIFAR-10, CIFAR-100, FFHQ, CelebAにおける時間依存性の重要度再重み付けなどのベースラインを, 様々なバイアス設定で向上させる。 私たちのコードはhttps://github.com/alsdudrla10/TIW-DSMで利用可能です。

関連論文リスト

• Looking at Model Debiasing through the Lens of Anomaly Detection [11.113718994341733]
  ディープニューラルネットワークはデータのバイアスに敏感である。 本稿では,異常検出に基づく新しいバイアス同定手法を提案する。 合成および実際のベンチマークデータセット上で、最先端のパフォーマンスに到達する。
  論文  参考訳（メタデータ） (2024-07-24T17:30:21Z)
• DiffInject: Revisiting Debias via Synthetic Data Generation using Diffusion-based Style Injection [9.801159950963306]
  DiffInject(ディフインジェクション)は,事前学習した拡散モデルを用いて,合成バイアス競合サンプルを増強する強力な手法である。 私たちのフレームワークでは、バイアスタイプやラベル付けに関する明確な知識は必要ありません。
  論文  参考訳（メタデータ） (2024-06-10T09:45:38Z)
• Revisiting the Dataset Bias Problem from a Statistical Perspective [72.94990819287551]
  統計的観点から「データセットバイアス」問題を考察する。 問題の主な原因は、クラス属性 u と非クラス属性 b の強い相関関係である。 本稿では,各試料nの目的をフラクタル1p(u_n|b_n)で重み付けするか,その試料をフラクタル1p(u_n|b_n)に比例してサンプリングすることにより,データセットバイアスを軽減することを提案する。
  論文  参考訳（メタデータ） (2024-02-05T22:58:06Z)
• Data Attribution for Diffusion Models: Timestep-induced Bias in Influence Estimation [53.27596811146316]
  拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。 本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。 そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
  論文  参考訳（メタデータ） (2024-01-17T07:58:18Z)
• Feature-Level Debiased Natural Language Understanding [86.8751772146264]
  既存の自然言語理解(NLU)モデルは、特定のデータセットで高いパフォーマンスを達成するために、データセットバイアスに依存することが多い。 本稿では, バイアスの潜在特性を緩和し, バイアスの動的性質を無視するために, DCT(Debiasing contrastive learning)を提案する。 DCTは、ディストリビューション内のパフォーマンスを維持しながら、アウトオブディストリビューションデータセットの最先端のベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-12-11T06:16:14Z)
• Kernel-Whitening: Overcome Dataset Bias with Isotropic Sentence Embedding [51.48582649050054]
  符号化文の特徴間の相関関係を解消する表現正規化手法を提案する。 またNystromカーネル近似法であるKernel-Whiteningを提案する。 実験により,Kernel-Whiteningは分布内精度を維持しつつ,分布外データセット上でのBERTの性能を著しく向上することが示された。
  論文  参考訳（メタデータ） (2022-10-14T05:56:38Z)
• How Much is Enough? A Study on Diffusion Times in Score-based Generative Models [76.76860707897413]
  現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。 本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
  論文  参考訳（メタデータ） (2022-06-10T15:09:46Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• Bayesian analysis of the prevalence bias: learning and predicting from imbalanced data [10.659348599372944]
  本稿では,モデル学習のための理論的および計算的枠組みと,有病率バイアスの存在下での予測について述べる。 原則的なトレーニング損失の代替として,要約曲線から操作点を選択することで,テスト時の手順を補完するものだ。 バックプロパゲーションを用いた(深い)学習の現在のパラダイムにシームレスに統合され、ベイズモデルと自然に結合する。
  論文  参考訳（メタデータ） (2021-07-31T14:36:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。