論文の概要: Deconstructing Generative Diversity: An Information Bottleneck Analysis of Discrete Latent Generative Models

• arxiv url: http://arxiv.org/abs/2512.01831v1
• Date: Mon, 01 Dec 2025 16:13:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-02 19:46:34.949305
• Title: Deconstructing Generative Diversity: An Information Bottleneck Analysis of Discrete Latent Generative Models
• Title（参考訳）: 生成多様性のデコンストラクション:離散潜在生成モデルの情報ボトルネック解析
• Authors: Yudi Wu, Wenhao Zhao, Dianbo Liu,
• Abstract要約: 生成の多様性は、AR、MIM、Diffusionのような個別の遅延生成モデルによって大きく異なる。 本稿では,情報ボトルネック(IB)理論に基づく診断フレームワークを提案し,その振る舞いを解明する基盤となる戦略を解析する。
• 参考スコア（独自算出の注目度）: 4.138804085040435
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative diversity varies significantly across discrete latent generative models such as AR, MIM, and Diffusion. We propose a diagnostic framework, grounded in Information Bottleneck (IB) theory, to analyze the underlying strategies resolving this behavior. The framework models generation as a conflict between a 'Compression Pressure' - a drive to minimize overall codebook entropy - and a 'Diversity Pressure' - a drive to maximize conditional entropy given an input. We further decompose this diversity into two primary sources: 'Path Diversity', representing the choice of high-level generative strategies, and 'Execution Diversity', the randomness in executing a chosen strategy. To make this decomposition operational, we introduce three zero-shot, inference-time interventions that directly perturb the latent generative process and reveal how models allocate and express diversity. Application of this probe-based framework to representative AR, MIM, and Diffusion systems reveals three distinct strategies: "Diversity-Prioritized" (MIM), "Compression-Prioritized" (AR), and "Decoupled" (Diffusion). Our analysis provides a principled explanation for their behavioral differences and informs a novel inference-time diversity enhancement technique.
• Abstract（参考訳）: 生成の多様性は、AR、MIM、Diffusionのような個別の遅延生成モデルによって大きく異なる。 本稿では,情報ボトルネック(IB)理論に基づく診断フレームワークを提案し,その振る舞いを解明する基盤となる戦略を解析する。 フレームワークは、コードブックのエントロピーを最小化するドライブである「圧縮圧力」と、入力を与えられた条件付きエントロピーを最大化するドライブである「ダイバーシティ圧力」の競合として生成する。 さらに、この多様性を、高レベルの生成戦略の選択を表す「パス多様性」と、選択した戦略を実行する際のランダム性である「実行多様性」の2つの主要なソースに分解する。 この分解を運用するために、我々は3つのゼロショット推論時間介入を導入し、遅延生成過程を直接摂動させ、モデルがどのように多様性を割り当て、表現するかを明らかにする。 このプローブベースのフレームワークをAR、MIM、拡散システムに応用すると、"ダイバーシティ・プリオライト化"(MIM)、"圧縮・プリオライト化"(AR)、"デカップリング"(拡散)の3つの異なる戦略が明らかになる。 本分析では, 行動の違いを原理的に説明し, 新たな推論時多様性向上技術について報告する。

関連論文リスト

• Variational Learning of Disentangled Representations [2.3713407563738063]
  遠方表現は、実験条件間で共有される変動の要因を条件固有である要因と区別することを可能にする。 DISCoVeRは条件不変因子と条件固有因子を明確に分離する新しい変分フレームワークである。 DISCoVeRは, 合成データセット, 自然画像, 単一セルRNA-seqデータにおいて, 歪みを改善できることを示す。
  論文  参考訳（メタデータ） (2025-06-20T17:36:12Z)
• GUD: Generation with Unified Diffusion [40.64742332352373]
  拡散生成モデルは、データサンプルにノイズを徐々に付加するプロセスを反転させることで、ノイズをデータに変換する。 設計自由度を大幅に向上した拡散生成モデル統合フレームワークを開発した。
  論文  参考訳（メタデータ） (2024-10-03T16:51:14Z)
• Controlling the Fidelity and Diversity of Deep Generative Models via Pseudo Density [70.14884528360199]
  本稿では, GAN や拡散モデルなどのバイアス深層生成モデルへのアプローチを導入し, 忠実度の向上や多様性の向上を図ったデータ生成手法を提案する。 提案手法では, 擬似密度という, 個人サンプルの新たな測定基準を用いて, トレーニングとデータ生成の分布を操作する。
  論文  参考訳（メタデータ） (2024-07-11T16:46:04Z)
• Few-Shot Image Generation by Conditional Relaxing Diffusion Inversion [37.18537753482751]
  条件拡散緩和インバージョン(CRDI)は、合成画像生成における分布の多様性を高めるために設計されている。 CRDIはいくつかのサンプルに基づいた微調整を頼りにしていない。 ターゲットの画像インスタンスの再構築と、数ショットの学習による多様性の拡大に重点を置いている。
  論文  参考訳（メタデータ） (2024-07-09T21:58:26Z)
• PGODE: Towards High-quality System Dynamics Modeling [40.76121531452706]
  本稿では,エージェントが相互に相互作用して動作に影響を与えるマルチエージェント力学系をモデル化する問題について検討する。 最近の研究では、主に幾何学グラフを用いてこれらの相互相互作用を表現し、グラフニューラルネットワーク(GNN)によって捉えられている。 本稿では,プロトタイプグラフODE(Prototypeal Graph ODE)という新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-11-11T12:04:47Z)
• Strategic Distribution Shift of Interacting Agents via Coupled Gradient Flows [6.064702468344376]
  実世界のシステムにおける分散シフトのダイナミクスを解析するための新しいフレームワークを提案する。 より単純なモデルでは捉えられない偏極や異なる影響といった、よく文書化された形態の分布シフトを捉える手法を示す。
  論文  参考訳（メタデータ） (2023-07-03T17:18:50Z)
• Source-free Domain Adaptation Requires Penalized Diversity [60.04618512479438]
  ソースデータがない場合、異なるドメイン間の知識伝達に対処するために、ソースフリードメイン適応(SFDA)が導入された。 教師なしのFDAでは、多様性はソース上の1つの仮説を学習するか、共有された特徴抽出器で複数の仮説を学習することに限定される。 本稿では,異なる特徴抽出器を用いて表現多様性を促進する新しい無教師付きSFDAアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-06T00:20:19Z)
• Quantifying & Modeling Multimodal Interactions: An Information Decomposition Framework [89.8609061423685]
  本稿では,入力モーダル性と出力タスクを関連付けた冗長性,特異性,シナジーの度合いを定量化する情報理論手法を提案する。 PID推定を検証するために、PIDが知られている合成データセットと大規模マルチモーダルベンチマークの両方で広範な実験を行う。 本研究では,(1)マルチモーダルデータセット内の相互作用の定量化,(2)マルチモーダルモデルで捉えた相互作用の定量化,(3)モデル選択の原理的アプローチ,(4)実世界のケーススタディの3つにその有用性を示す。
  論文  参考訳（メタデータ） (2023-02-23T18:59:05Z)
• Towards Robust and Adaptive Motion Forecasting: A Causal Representation Perspective [72.55093886515824]
  本稿では,3つの潜伏変数群からなる動的過程として,運動予測の因果的形式化を導入する。 我々は、因果グラフを近似するために、不変なメカニズムやスタイルの共創者の表現を分解するモジュラーアーキテクチャを考案する。 合成および実データを用いた実験結果から,提案した3つの成分は,学習した動き表現の頑健性と再利用性を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2021-11-29T18:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。