論文の概要: Self-Guided Generation of Minority Samples Using Diffusion Models

• arxiv url: http://arxiv.org/abs/2407.11555v1
• Date: Tue, 16 Jul 2024 10:03:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-17 15:42:36.519473
• Title: Self-Guided Generation of Minority Samples Using Diffusion Models
• Title（参考訳）: 拡散モデルを用いた微量試料の自己誘導生成
• Authors: Soobin Um, Jong Chul Ye,
• Abstract要約: データ多様体の低密度領域に居住する少数サンプルを生成するための新しい手法を提案する。 我々のフレームワークは拡散モデルに基づいて構築されており、ガイドドサンプリングの原理を生かしている。 実データセットのベンチマーク実験により、我々のアプローチは現実的な低自由度マイノリティインスタンスを作成する能力を大幅に改善できることが示された。
• 参考スコア（独自算出の注目度）: 57.319845580050924
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a novel approach for generating minority samples that live on low-density regions of a data manifold. Our framework is built upon diffusion models, leveraging the principle of guided sampling that incorporates an arbitrary energy-based guidance during inference time. The key defining feature of our sampler lies in its \emph{self-contained} nature, \ie, implementable solely with a pretrained model. This distinguishes our sampler from existing techniques that require expensive additional components (like external classifiers) for minority generation. Specifically, we first estimate the likelihood of features within an intermediate latent sample by evaluating a reconstruction loss w.r.t. its posterior mean. The generation then proceeds with the minimization of the estimated likelihood, thereby encouraging the emergence of minority features in the latent samples of subsequent timesteps. To further improve the performance of our sampler, we provide several time-scheduling techniques that properly manage the influence of guidance over inference steps. Experiments on benchmark real datasets demonstrate that our approach can greatly improve the capability of creating realistic low-likelihood minority instances over the existing techniques without the reliance on costly additional elements. Code is available at \url{https://github.com/soobin-um/sg-minority}.
• Abstract（参考訳）: データ多様体の低密度領域に居住する少数サンプルを生成するための新しい手法を提案する。 このフレームワークは拡散モデルに基づいて構築されており、推定時間中に任意のエネルギーベースのガイダンスを組み込んだガイドサンプリングの原理を利用している。 サンプルのキーとなる特徴は、事前訓練されたモデルでのみ実装可能な、emph{self-contained} な性質である \ie にある。 これは、マイノリティ世代のための高価な追加コンポーネント(外部分類器など)を必要とする既存の技術と、サンプルを区別します。 具体的には、まず、その後部平均値の再構成損失を評価することにより、中間潜伏試料に含まれる特徴の可能性を推定する。 生成は推定された推定値の最小化に進み、その後の時間経過の潜伏サンプルにおける少数の特徴の出現を促す。 提案手法では,提案手法の精度向上を図るため,提案手法の有効性を適切に管理する時間スケジューリング手法を提案する。 ベンチマーク実データセットの実験により、我々のアプローチは、コストのかかる追加要素に頼ることなく、既存の技術よりもリアルに低品質なマイノリティインスタンスを作成する能力を大幅に改善できることを示した。 コードは \url{https://github.com/soobin-um/sg-minority} で公開されている。

関連論文リスト

• DOTA: Distributional Test-Time Adaptation of Vision-Language Models [52.98590762456236]
  トレーニングフリーテスト時動的アダプタ(TDA)は、この問題に対処するための有望なアプローチである。 単体テスト時間適応法(Dota)の簡易かつ効果的な方法を提案する。 Dotaは継続的にテストサンプルの分布を推定し、モデルがデプロイメント環境に継続的に適応できるようにします。
  論文  参考訳（メタデータ） (2024-09-28T15:03:28Z)
• Which Pretrain Samples to Rehearse when Finetuning Pretrained Models? [60.59376487151964]
  特定のタスクに関する微調整済みモデルが、テキストとビジョンタスクの事実上のアプローチになった。 このアプローチの落とし穴は、微調整中に起こる事前学習の知識を忘れることである。 本研究では,実際に忘れられているサンプルを識別・優先順位付けする新しいサンプリング手法であるmix-cdを提案する。
  論文  参考訳（メタデータ） (2024-02-12T22:32:12Z)
• Boosting Diffusion Models with an Adaptive Momentum Sampler [21.88226514633627]
  本稿では,広く使用されているAdamサンプルから着想を得た新しいDPM用リバースサンプルについて述べる。 提案手法は,事前学習した拡散モデルに容易に適用できる。 初期段階から更新方向を暗黙的に再利用することにより,提案するサンプルは,高レベルのセマンティクスと低レベルの詳細とのバランスを良くする。
  論文  参考訳（メタデータ） (2023-08-23T06:22:02Z)
• Don't Play Favorites: Minority Guidance for Diffusion Models [59.75996752040651]
  本稿では,拡散モデルの生成過程をマイノリティ標本に集中させる新しい枠組みを提案する。 我々は、所望の確率レベルを持つ領域に向けて生成過程をガイドできるサンプリング技術であるマイノリティガイダンスを開発する。
  論文  参考訳（メタデータ） (2023-01-29T03:08:47Z)
• POODLE: Improving Few-shot Learning via Penalizing Out-of-Distribution Samples [19.311470287767385]
  そこで本研究では,対象クラス外からのラベル付きサンプルの配布外サンプルを用いて,数発の学習を改善することを提案する。 提案手法は, 実装が簡単で, 特徴抽出器に非依存であり, 事前学習に要する追加コストを伴わず軽量であり, インダクティブ設定とトランスダクティブ設定の両方に適用可能である。
  論文  参考訳（メタデータ） (2022-06-08T18:59:21Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Oops I Took A Gradient: Scalable Sampling for Discrete Distributions [53.3142984019796]
  このアプローチは、多くの困難な設定において、ジェネリックサンプリングよりも優れていることを示す。 また,高次元離散データを用いた深部エネルギーモデルトレーニングのための改良型サンプリング器についても実演した。
  論文  参考訳（メタデータ） (2021-02-08T20:08:50Z)
• Minority Class Oversampling for Tabular Data with Deep Generative Models [4.976007156860967]
  オーバーサンプリングによる非バランスな分類タスクの性能向上を図るために, 深層生成モデルを用いて現実的なサンプルを提供する能力について検討した。 実験の結果,サンプリング手法は品質に影響を与えないが,実行環境は様々であることがわかった。 また、性能指標の点でも改善が重要であるが、絶対的な点では小さな点がしばしば見られる。
  論文  参考訳（メタデータ） (2020-05-07T21:35:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。