論文の概要: Exploring More to Solve More: Boosting Diversity in Text Diffusion Models via Entropy-Based Guidance

• arxiv url: http://arxiv.org/abs/2608.00024v1
• Date: Fri, 10 Jul 2026 07:15:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-09 10:00:34.255734
• Title: Exploring More to Solve More: Boosting Diversity in Text Diffusion Models via Entropy-Based Guidance
• Title（参考訳）: さらなる課題を探る:エントロピーに基づくガイダンスによるテキスト拡散モデルの多様性向上
• Abstract要約: トレーニング不要なSemantic-Aware Kernel Entropy ガイダンス手法を提案する。 本手法は,カーネルグラム行列上でのオーダー2レニーエントロピーを計算する。 この目的を埋め込み空間に線形化することにより、抽出可能な誘導信号を導出する。
• 参考スコア（独自算出の注目度）: 29.822116353065386
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although diffusion models have revolutionized continuous domains like image synthesis through high quality generations and controllable guidance mechanisms, bringing this controllability to the discrete, sequential nature of text remains an open challenge. Meanwhile, current sampling strategies and guidance methods adjust token likelihoods without capturing the broader semantic landscape, leading to a suboptimal balance between fidelity and diversity. In this work, we introduce a novel training-free Semantic-Aware Kernel Entropy (SAKE) guidance method. Our method computes the order-2 Rényi entropy over a kernel Gram matrix that captures both cross-token semantic interactions and relative token positions. By linearizing this objective in the embedding space, we derive a tractable guidance signal that dynamically adjusts the sampling distribution, flattening it to encourage exploration during redundancy and sharpening it for fidelity when diverse. Empirical experiments demonstrate that our approach achieves a superior Pareto frontier between fidelity and diversity, and improves multi-sample performance on reasoning-intensive tasks, such as code and mathematics generation, compared to temperature scaling and discrete guidance baselines.
• Abstract（参考訳）: 拡散モデルは、高品質な世代や制御可能な誘導機構を通じて画像合成のような連続的な領域に革命をもたらしたが、この制御性をテキストの離散的、シーケンシャルな性質にもたらすことは、未解決の課題である。 一方、現在のサンプリング戦略やガイダンス手法は、より広いセマンティックランドスケープを捉えずにトークンの確率を調整し、忠実度と多様性のバランスを最適に保ちます。 本稿では,SAKE(Semantic-Aware Kernel Entropy)指導法について紹介する。 本手法は,クロストークンな意味的相互作用と相対トークン位置の両方をキャプチャするカーネルグラム行列上でのオーダー2レニーエントロピーを計算する。 この目的を埋め込み空間に線形化することにより、サンプリング分布を動的に調整し、冗長性の探索を奨励し、多様性のある場合の忠実度を向上するトラクタブル誘導信号を導出する。 実証実験により,本手法は忠実度と多様性の両面において優れたパレートフロンティアを実現し,温度スケーリングや離散ガイダンスベースラインと比較して,コードや数学生成などの推論集約的なタスクにおけるマルチサンプル性能を向上させることを示した。

関連論文リスト

• Probability-Conserving Flow Guidance [49.03107678763765]
  Adaptive Manifold Guidance (AdaMaG)はリアリズムを改善し、幻覚を減らし、高誘導下での劣化を制御する。 画像生成ベンチマーク全体で、AdaMaGはリアリズムを改善し、幻覚を減らし、高誘導下での劣化を制御する。
  論文  参考訳（メタデータ） (2026-05-19T16:34:01Z)
• Euphonium: Steering Video Flow Matching via Process Reward Gradient Guided Stochastic Dynamics [49.242224984144904]
  本稿では,プロセス報酬勾配誘導ダイナミクスによる生成を支援する新しいフレームワークであるEuphoniumを提案する。 我々の重要な洞察は、プロセス・リワード・モデルの勾配を明示的に組み込んだ理論的に原理化されたアルゴリズムとしてサンプリング・プロセスを定式化することである。 我々は,誘導信号をフローネットワークに内部化する蒸留目標を導出し,報奨モデルへの推論時間依存性を排除した。
  論文  参考訳（メタデータ） (2026-02-04T08:59:57Z)
• Bridging the Discrete-Continuous Gap: Unified Multimodal Generation via Coupled Manifold Discrete Absorbing Diffusion [60.186310080523135]
  離散データ(テキスト)に対する自己回帰的アプローチと連続データ(画像)に対する拡散的アプローチへの生成的モデリングの分岐は、真に統一されたマルチモーダルシステムの開発を妨げる。 階層的二重プロセスとしてマルチモーダル生成を再構成する新しい確率的フレームワークである textbfCoM-DAD を提案する。 提案手法は、標準的なマスキングモデルよりも優れた安定性を示し、スケーラブルで統一されたテキスト画像生成のための新しいパラダイムを確立する。
  論文  参考訳（メタデータ） (2026-01-07T16:21:19Z)
• Hierarchical Koopman Diffusion: Fast Generation with Interpretable Diffusion Trajectory [30.327899232038863]
  textbfHierarchical Koopman Diffusionは、一段階のサンプリングと解釈可能な生成軌道の両方を達成する新しいフレームワークである。 我々のフレームワークは,拡散モデルにおける高速サンプリングと解釈可能性のギャップを埋め,生成モデルにおける説明可能な画像合成の道を開く。
  論文  参考訳（メタデータ） (2025-10-14T07:17:35Z)
• OSCAR: Orthogonal Stochastic Control for Alignment-Respecting Diversity in Flow Matching [14.664226708184676]
  フローベースのテキスト・ツー・イメージモデルは決定論的軌跡に従っており、ユーザーは様々なモードを見つけるために繰り返しサンプルを採取せざるを得ない。 本稿では,フロー自体を多様性に配慮した,トレーニング不要な推論時間制御機構を提案する。
  論文  参考訳（メタデータ） (2025-10-10T07:07:19Z)
• TAG:Tangential Amplifying Guidance for Hallucination-Resistant Diffusion Sampling [53.61290359948953]
  タンジェンシャル増幅誘導(TAG)は、下層の拡散モデルを変更することなく、軌道信号のみで動作する。 この誘導過程を1次テイラー展開を利用して定式化する。 TAGは、最小限の計算加算で拡散サンプリング忠実度を改善する、プラグアンドプレイのアーキテクチャに依存しないモジュールである。
  論文  参考訳（メタデータ） (2025-10-06T06:53:29Z)
• Diverse Text-to-Image Generation via Contrastive Noise Optimization [60.48914865049489]
  テキスト・ツー・イメージ(T2I)拡散モデルは高忠実度画像の生成において顕著な性能を示した。 既存のアプローチは通常、推論中に中間の潜伏状態やテキスト条件を最適化する。 本稿では,多様性問題に異なる視点から対処する簡易かつ効果的な手法であるContrastive Noise Optimizationを紹介する。
  論文  参考訳（メタデータ） (2025-10-04T13:51:32Z)
• Unifying Continuous and Discrete Text Diffusion with Non-simultaneous Diffusion Processes [9.29387855908007]
  NeoDiffは、離散的アプローチと連続的アプローチの両方の長所を統合する、新しい拡散モデルである。 我々のアプローチは、テキスト生成のためのより原理的で効果的なフレームワークを提供する、離散的かつ連続的な拡散モデルの理論を統一する。
  論文  参考訳（メタデータ） (2025-05-28T09:28:52Z)
• Parallelly Tempered Generative Adversarial Nets: Toward Stabilized Gradients [7.94957965474334]
  生成的敵対ネットワーク(GAN)は、生成的人工知能(AI)における代表的バックボーンモデルである。 本研究は,モード崩壊の存在下でのトレーニングの不安定性と非効率性を,対象分布におけるマルチモーダルにリンクすることで解析する。 新たに開発したGAN目標関数により, 生成元は同時に全ての誘電分布を学習することができる。
  論文  参考訳（メタデータ） (2024-11-18T18:01:13Z)
• Trajectory Forecasting through Low-Rank Adaptation of Discrete Latent Codes [36.12653178844828]
  トラジェクトリ予測は、一連のエージェントの将来の動きを予測できるため、ビデオ監視分析に不可欠である。 本稿では,離散潜在空間を用いたベクトル量子変分オートエンコーダ(VQ-VAEs)を導入し,後方崩壊問題に対処する。 このような2段階のフレームワークは、インスタンスレベルの離散化によって強化され、正確で多様な予測につながることを示す。
  論文  参考訳（メタデータ） (2024-05-31T10:13:17Z)
• Evade the Trap of Mediocrity: Promoting Diversity and Novelty in Text Generation via Concentrating Attention [85.5379146125199]
  強力なトランスフォーマーアーキテクチャは高品質な文を生成するのに優れていることが証明されている。 本研究では,Transformerにおけるスペーサーの注意値が多様性を向上させることを発見した。 注意分布のシャープさを制御するために,新しい注意正規化損失を導入する。
  論文  参考訳（メタデータ） (2022-11-14T07:53:16Z)
• Unsupervised Controllable Generation with Self-Training [90.04287577605723]
  GANによる制御可能な世代は依然として困難な研究課題である。 本稿では,自己学習を通じてジェネレータを制御する潜伏符号の分布を学習するための教師なしフレームワークを提案する。 我々のフレームワークは、変分オートエンコーダのような他の変種と比較して、より良い絡み合いを示す。
  論文  参考訳（メタデータ） (2020-07-17T21:50:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。