論文の概要: Don't Settle at the Mode! Mitigating Diversity Collapse in Pretrained Flow Models via Feature Self-Guidance
- arxiv url: http://arxiv.org/abs/2606.27371v1
- Date: Thu, 25 Jun 2026 17:59:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 18:46:32.398396
- Title: Don't Settle at the Mode! Mitigating Diversity Collapse in Pretrained Flow Models via Feature Self-Guidance
- Title(参考訳): モードで落ち込むな! 特徴自己誘導による事前学習流れモデルにおける多様性崩壊の緩和
- Abstract要約: 最先端のフローモデルは、テキストや画像プロンプトから素晴らしい画像を生成する。
同じ条件下で複数のサンプルを生成すると、多様性が崩壊する。
我々は,報酬モデルの追加を必要とせず,多様性の崩壊を緩和する,効率的でトレーニング不要な自己指導機構を導入する。
- 参考スコア(独自算出の注目度): 26.478519452337434
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: State-of-the-art flow models generate stunning images from text or image prompts. However, they suffer from diversity collapse when generating multiple samples under the same conditioning. Existing methods address this issue via either latent guidance, which has limited effectiveness, or sample selection, which relies on external reward models that incur significant inference-time overhead. In this work, we introduce an efficient, training-free self-guidance mechanism to mitigate diversity collapse without requiring additional reward models. Specifically, we disperse the internal features of the flow model during batch generation with feature self-guidance. Further, to keep the features close to the manifold, we introduce a manifold regularization step that projects these dispersed features back onto the data manifold, ensuring diverse generation without sacrificing alignment with the input conditions. Our method integrates seamlessly as a plug-and-play module into pretrained flow models, adding only a marginal inference cost. Experiments demonstrate significant improvements in diversity while preserving fidelity across several conditional flow models, including multi-step and few-step text-to-image, depth-to-image, and reference image generation.
- Abstract(参考訳): 最先端のフローモデルは、テキストや画像プロンプトから素晴らしい画像を生成する。
しかし、同じ条件下で複数のサンプルを生成する際に、多様性の崩壊に悩まされる。
既存の手法では、有効性に制限のある潜在ガイダンスや、推論時間オーバーヘッドの大きい外部報酬モデルに依存するサンプル選択によってこの問題に対処している。
本研究では,新たな報酬モデルを必要とすることなく,多様性の崩壊を緩和する,効率的なトレーニング不要な自己指導機構を導入する。
具体的には,バッチ生成時のフローモデルの内部的特徴を自己誘導で分散する。
さらに,これらの特徴を多様体に近接させるために,これらの分散した特徴をデータ多様体に投影し,入力条件との整合性を犠牲にすることなく多種多様な生成を保証する多様体正規化ステップを導入する。
本手法は,プレトレーニングフローモデルにプラグイン・アンド・プレイモジュールとしてシームレスに統合し,限界推論コストのみを加算する。
実験では、多段階および数段階のテキスト・ツー・イメージ、深さ・ツー・イメージ、参照画像生成など、複数の条件付きフローモデルにまたがる忠実さを維持しながら、多様性を著しく改善した。
関連論文リスト
- Training-Free Self-Correction for Multimodal Masked Diffusion Models [61.84305395626145]
本研究では,事前学習したマスク拡散モデルの帰納バイアスを利用した学習自由自己補正フレームワークを提案する。
本手法は,サンプリングステップを短縮したテキスト・画像生成およびマルチモーダル理解タスクにおける生成品質を著しく向上させる。
論文 参考訳(メタデータ) (2026-02-02T23:58:15Z) - Training-Free Generation of Diverse and High-Fidelity Images via Prompt Semantic Space Optimization [50.5332987313297]
本稿では,トレーニングフリーでモデルに依存しないモジュールであるToken-Prompt Embedding Space Optimization (TPSO)を提案する。
TPSOは、トークン埋め込み空間の未表現領域を探索するために学習可能なパラメータを導入し、学習された分布の強いモードからサンプルを繰り返し生成する傾向を減少させる。
MS-COCOと3つの拡散バックボーンの実験では、TPSOは画像品質を犠牲にすることなく、生成多様性を著しく向上し、ベースライン性能を1.10から4.18ポイントに改善した。
論文 参考訳(メタデータ) (2025-11-25T00:42:09Z) - OSCAR: Orthogonal Stochastic Control for Alignment-Respecting Diversity in Flow Matching [14.664226708184676]
フローベースのテキスト・ツー・イメージモデルは決定論的軌跡に従っており、ユーザーは様々なモードを見つけるために繰り返しサンプルを採取せざるを得ない。
本稿では,フロー自体を多様性に配慮した,トレーニング不要な推論時間制御機構を提案する。
論文 参考訳(メタデータ) (2025-10-10T07:07:19Z) - Image Generation Diversity Issues and How to Tame Them [8.858030256056095]
生成メソッドは、実際のデータとほとんど区別できない出力を生成するが、多くの場合、データの完全なキャプチャに失敗する。
本稿では、生成モデルにおける現在の多様性の欠如と、これを測定するための共通指標の欠如に留意する。
画像検索問題として多様性をフレーミングすることでこれを実現し、合成データを用いて実画像の検索回数をクエリとして測定する。
論文 参考訳(メタデータ) (2024-11-25T08:00:21Z) - A Simple Approach to Unifying Diffusion-based Conditional Generation [63.389616350290595]
多様な条件生成タスクを処理するための、シンプルで統一されたフレームワークを導入します。
提案手法は,異なる推論時間サンプリング方式による多目的化を実現する。
我々のモデルは、非親密なアライメントや粗い条件付けのような追加機能をサポートしています。
論文 参考訳(メタデータ) (2024-10-15T09:41:43Z) - Kaleido Diffusion: Improving Conditional Diffusion Models with Autoregressive Latent Modeling [49.41822427811098]
本稿では, 自己回帰性潜伏前駆体を組み込むことにより, サンプルの多様性を高める新しいアプローチであるKaleidoを紹介する。
Kaleidoは、オリジナルのキャプションをエンコードして潜伏変数を生成する自動回帰言語モデルを統合する。
そこで我々は,Kaleidoが生成した潜在変数のガイダンスに忠実に従属していることを示し,画像生成過程を効果的に制御し,指示する能力を示す。
論文 参考訳(メタデータ) (2024-05-31T17:41:11Z) - Ensembling Diffusion Models via Adaptive Feature Aggregation [14.663257610094625]
より強力な生成能力を生み出すために複数の高品質モデルを活用することは価値があるが、広く研究されていない。
既存のメソッドは主にパラメータマージ戦略を採用して、新しい静的モデルを生成する。
本稿では,様々な状態に応じて複数のモデルのコントリビューションを動的に調整するアダプティブ・フィーチャー・アグリゲーション(AFA)を提案する。
論文 参考訳(メタデータ) (2024-05-27T11:55:35Z) - Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。
特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
論文 参考訳(メタデータ) (2023-11-22T15:07:59Z) - DiffBlender: Composable and Versatile Multimodal Text-to-Image Diffusion Models [20.281651578265624]
一つのアーキテクチャ内で3つのモードを全て処理できるマルチモーダルなT2I拡散モデルを提案する。
我々は、DiffBlenderが複数の情報ソースを効果的に統合し、詳細な画像合成における多様な応用を支援することを実証した。
論文 参考訳(メタデータ) (2023-05-24T14:31:20Z) - Deep Equilibrium Approaches to Diffusion Models [1.4275201654498746]
拡散に基づく生成モデルは高品質な画像を生成するのに極めて効果的である。
これらのモデルは通常、高忠実度画像を生成するために長いサンプリングチェーンを必要とする。
我々は、異なる観点からの拡散モデル、すなわち(深い)平衡(DEQ)固定点モデルについて考察する。
論文 参考訳(メタデータ) (2022-10-23T22:02:19Z) - Auto-regressive Image Synthesis with Integrated Quantization [55.51231796778219]
本稿では,条件付き画像生成のための多目的フレームワークを提案する。
CNNの帰納バイアスと自己回帰の強力なシーケンスモデリングが組み込まれている。
提案手法は,最先端技術と比較して,優れた多彩な画像生成性能を実現する。
論文 参考訳(メタデータ) (2022-07-21T22:19:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。