論文の概要: Learning to Be Guided: Shaping Latent Geometry for Classifier-Free Guidance
- arxiv url: http://arxiv.org/abs/2610.22885v1
- Date: Fri, 16 Oct 2026 03:39:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 00:56:07.75679
- Title: Learning to Be Guided: Shaping Latent Geometry for Classifier-Free Guidance
- Title(参考訳): 指導を受けるための学習: 分類器自由誘導のための潜時幾何学の形成
- Abstract要約: 我々は,クラス幾何学をガイド生成の重要な要因として研究し,CFG互換表現への第一歩を踏み出した。
本研究は, クラス幾何学を指導的生成の重要な要因として取り上げ, CFG互換学習への第一歩を踏み出した。
- 参考スコア(独自算出の注目度): 2.349587016540483
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Classifier-free guidance (CFG) is a standard component of conditional diffusion models, and guided generation performance has become the \textit{de facto} measure of state-of-the-art models. Recent work on latent diffusion models seeks to learn latent spaces that are easier to model with diffusion. However, under CFG, generation additionally depends on how conditions are arranged in the latent space. We study this arrangement under discrete class conditions, termed \emph{class geometry}, and investigate what class geometry allows a latent space to work well with CFG. Under a Gaussian class model, we show that shifting variance from intra- to inter-class at fixed total variance makes classes more distinguishable under noise, and derive a noisy posterior objective whose per-sample descent direction is proportional to the oracle CFG correction. Based on the analysis, we propose Prototype Regularization (PR), a lightweight surrogate for the intractable noisy posterior objective, which applies a cosine prototype classifier to spatially pooled latents. With a controlled training budget (20 epochs for VAE, 80 epochs for DiT), adding PR to an LDM baseline reduces guided gFID on ImageNet from 3.31 to 2.28, surpassing a DINOv3-aligned VA-VAE (2.44) with negligible overhead. We further demonstrate that PR generalizes to pseudo-labels derived from clustering, continuous text-embedding conditions, and video latents. Together, our findings highlight class geometry as a critical factor in guided generation and take a first step toward CFG-compatible representation learning. Our project page is available at: https://maps-research.github.io/cfg-geometry/.
- Abstract(参考訳): 分類器フリーガイダンス(CFG)は条件付き拡散モデルの標準コンポーネントであり、誘導生成性能は最先端モデルのtextit{de facto}測度となっている。
潜伏拡散モデルに関する最近の研究は、拡散でモデル化しやすい潜伏空間を学ぼうとしている。
しかし、CFGの下では、生成は潜在空間でどのように配置されるかにも依存する。
この配置を離散クラス条件下で研究し、クラス幾何がCFGとどのようにうまく機能するかを考察する。
ガウスのクラスモデルでは、固定された全分散度におけるクラス内からクラス間への分散のシフトにより、雑音下でのクラスをより識別しやすくし、各サンプルの降下方向がオラクルCFG補正に比例する雑音的な後続目標を導出することを示した。
そこで本研究では,空間的にプールした潜伏者に対してコサイン型プロトタイプ分類器を応用した,難聴後目的のための軽量サロゲートであるPrototype Regularization(PR)を提案する。
制御されたトレーニング予算(VAE 20 epochs、DiT 80 epochs)により、LDMベースラインにPRを追加することで、ImageNet上のガイド付きgFIDを3.31から2.28に削減し、DINOv3準拠のVA-VAE (2.44) を無視できないオーバーヘッドで上回る。
さらに、PRはクラスタリング、連続テキスト埋め込み条件、ビデオラテントから派生した擬似ラベルに一般化することを示した。
そこで本研究では,クラス幾何学をガイド生成の重要な要素として取り上げ,CFG互換表現学習への第一歩を踏み出した。
私たちのプロジェクトページは、https://maps-research.github.io/cfg-geometry/.com/で公開されています。
関連論文リスト
- Delta Score Matters! Spatial Adaptive Multi Guidance in Diffusion Models [8.570762845568995]
拡散モデルは、複雑な静的および時間的視覚の合成において顕著な成功を収めた。
標準アーキテクチャ-CFG(Free Guidance)は、グローバルな一様スカラーに依存している。
この増幅は、文書化された「デテールアーティファクトジレンマ」でモデルをトラップする
本研究では,Spatial Adaptive Multi Guidance (SAMG)を提案する。
論文 参考訳(メタデータ) (2026-04-29T10:08:08Z) - Sparse Semantic Dimension as a Generalization Certificate for LLMs [53.681678236115836]
Sparse Semantic Dimension (SSD)は,モデル層上で訓練されたSparse Autoencoder (SAE)のアクティブな特徴語彙から導かれる複雑性尺度である。
我々はGPT-2 Small と Gemma-2B でこの枠組みを検証し、実際のサンプルサイズで非空き証明書を提供することを実証した。
論文 参考訳(メタデータ) (2026-02-11T21:45:18Z) - Normalized Attention Guidance: Universal Negative Guidance for Diffusion Models [57.20761595019967]
注意空間にL1をベースとした正規化・精細化を施した,効率的かつトレーニング不要な機構である正規化注意誘導(NAG)を提案する。
NAGは、CFGが忠実性を維持しながら崩壊する効果的な負のガイダンスを復元する。
NAGはアーキテクチャ(UNet、DiT)、サンプリングレシスタンス(複数ステップ、複数ステップ)、モダリティ(イメージ、ビデオ)をまたいで一般化する
論文 参考訳(メタデータ) (2025-05-27T13:30:46Z) - Conditional Diffusion Models with Classifier-Free Gibbs-like Guidance [19.83064246586143]
CFGは条件付きおよび非条件付きデノイザの出力を線形に結合することにより条件付き拡散モデルを改善する手法である。
CFGは視覚的品質を高め、プロンプトとの整合性を向上させるが、しばしばサンプルの多様性を低下させる。
所望の傾斜分布からサンプルを抽出するギブスライクなサンプリング手法を提案する。
論文 参考訳(メタデータ) (2025-05-27T12:27:33Z) - Classifier-Free Guidance: From High-Dimensional Analysis to Generalized Guidance Forms [22.44946627454133]
CFGは十分に高次元かつ無限次元のターゲット分布を正確に再現することを示す。
我々は、この性質、特に非線形CFG一般化を享受するガイダンスが多数存在することを示す。
本研究は,最先端拡散モデルとフローマッチングモデルを用いて,クラス条件とテキスト・ツー・イメージ生成の実験により検証した。
論文 参考訳(メタデータ) (2025-02-11T10:29:29Z) - Rethinking Few-shot 3D Point Cloud Semantic Segmentation [62.80639841429669]
本稿では,FS-PCSによる3Dポイント・クラウドセマンティックセマンティックセグメンテーションについて再検討する。
我々は、最先端の2つの重要な問題、前景の漏洩とスパースポイントの分布に焦点をあてる。
これらの問題に対処するために、新しいベンチマークを構築するための標準化されたFS-PCS設定を導入する。
論文 参考訳(メタデータ) (2024-03-01T15:14:47Z) - Generative Modeling with Flow-Guided Density Ratio Learning [12.192867460641835]
Flow-Guided Density Ratio Learning (FDRL)は、生成モデルに対するシンプルでスケーラブルなアプローチである。
我々は,FDRLが128時間128ドルの高次元の画像を生成するとともに,既存の勾配流ベースラインを定量的なベンチマークで上回っていることを示す。
論文 参考訳(メタデータ) (2023-03-07T07:55:52Z) - Contrastive Neighborhood Alignment [81.65103777329874]
本稿では,学習特徴のトポロジを維持するための多様体学習手法であるContrastive Neighborhood Alignment(CNA)を提案する。
対象モデルは、対照的な損失を用いて、ソース表現空間の局所構造を模倣することを目的としている。
CNAは3つのシナリオで説明される: 多様体学習、モデルが元のデータの局所的なトポロジーを次元還元された空間で維持する、モデル蒸留、小さな学生モデルがより大きな教師を模倣するために訓練される、レガシーモデル更新、より強力なモデルに置き換えられる、という3つのシナリオである。
論文 参考訳(メタデータ) (2022-01-06T04:58:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。