論文の概要: Closing the Null Space: Guidance-Aware Quantization for Classifier-Free Diffusion
- arxiv url: http://arxiv.org/abs/2607.08241v1
- Date: Thu, 09 Jul 2026 08:42:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-10 14:45:27.471879
- Title: Closing the Null Space: Guidance-Aware Quantization for Classifier-Free Diffusion
- Title(参考訳): Null 空間を閉じる: クラス化自由拡散のための誘導型量子化
- Authors: Abdullah Al Shafi, Sumaiya Rahim Suma,
- Abstract要約: 2パスのCFG実行パターンは、パラメータカウントとビット操作のメトリクスが完全に隠蔽する遅延オーバーヘッドを課します。
誘導予測に基づいて直接校正を行う誘導認識混合精度(GAMP)を提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deploying classifier-free guidance (CFG) diffusion models under real-world compute budgets requires quantization, yet existing post-training quantization (PTQ) methods treat CFG models as single-branch networks, ignoring the paired conditional/unconditional structure that CFG inference fundamentally relies on. This structural blind spot has two consequences. At the system level, the two-pass CFG execution pattern imposes a latency overhead that parameter-count and bit-operation metrics conceal entirely, and commodity INT8 inference stacks fail to realize the theoretical efficiency gains that BOPs calculations promise. At the algorithmic level, calibrating against the guidance gap alone admits an exact null space: a quantized model can achieve perfect gap-fidelity diagnostics while the unconditional branch drifts arbitrarily, corrupting every guided prediction at inference time. This paper terms this the branch-drift trap, proves its existence analytically, and confirms it empirically through a false-positive result in which the best-calibrated model by standard diagnostics simultaneously produces the worst sample quality. To close the trap, Guidance-Aware Mixed Precision (GAMP) is proposed, which calibrates directly on the guided prediction, derives per-layer activation-bit sensitivity from guided-output degradation, and allocates bits via a greedy knapsack -- provably preventing unconditional branch drift by construction.
- Abstract(参考訳): 実世界の計算予算下での分類器フリーガイダンス(CFG)拡散モデルの導入には量子化が必要であるが、既存の訓練後量子化(PTQ)メソッドはCFGモデルを単一ブランチネットワークとして扱い、CFGの推論が基本的に依存するペア条件/非条件構造を無視している。
この構造的な盲点には2つの結果がある。
システムレベルでは、2パスのCFG実行パターンは、パラメータカウントとビット操作のメトリクスが完全に隠蔽される遅延オーバーヘッドを課し、コモディティINT8推論スタックは、BOPの計算が約束する理論的効率向上を実現することができない。
量子化モデルは完全なギャップ忠実度診断を達成でき、非条件分岐は任意にドリフトし、推論時に全ての誘導予測が破壊される。
本稿では,これを分岐ドリフトトラップと呼び,その存在を解析的に証明し,標準診断による最良校正モデルが同時に最悪のサンプル品質を生み出す偽陽性の結果を通じて実証的に確認する。
トラップを閉じるために、誘導予測を直接キャリブレーションし、誘導出力劣化から層間アクティベーションビット感度を導出し、グリーディ・ナプサックを介してビットを割り当てる誘導-認識混合精度(GAMP)を提案する。
関連論文リスト
- Efficient Conditioning Why Pseudo Observation Batch Bayesian Optimization Works When It Does not [0.0]
Constant Liar (CL)、Kriging Believer (KB)、およびファンタジーモデルは並列ベイズ最適化におけるバッチ選択に広く使われている。
データを拡張した場合に,効率的な条件付けをキーサロゲート特性として,クローズドフォームで予測を更新する機能として同定する。
CL, KB, および空想モデルを, 偽値分布のみが異なる単一の条件付け機構のインスタンスとして統一する。
論文 参考訳(メタデータ) (2026-05-12T13:14:24Z) - P-Guide: Parameter-Efficient Prior Steering for Single-Pass CFG Inference [7.28668585578288]
単一の推論パスを通じて高品質なガイダンスを実現するフレームワークである textbfP-Guide を導入する。
一階近似の下では、P-Guideは以前の空間から生成を操るという意味でCFGと等価である。
論文 参考訳(メタデータ) (2026-05-07T12:31:05Z) - Learning from Emptiness: De-biasing Listwise Rerankers with Content-Agnostic Probability Calibration [76.08899010904652]
CapCalは、ランキング決定から位置バイアスを機械的に分離する、トレーニング不要のフレームワークである。
シングルパス効率を保ちながら、トレーニング不要の手法で優れた性能を発揮する。
論文 参考訳(メタデータ) (2026-04-11T10:47:22Z) - CFG-EC: Error Correction Classifier-Free Guidance [0.0]
CFG-ECは、任意のCFGベースの手法に拡張可能な汎用的な補正スキームである。
CFG-ECはCFGやCFG++よりも非条件成分を効果的に扱えることを示す。
論文 参考訳(メタデータ) (2025-11-18T03:08:38Z) - Unsupervised Conformal Inference: Bootstrapping and Alignment to Control LLM Uncertainty [49.19257648205146]
生成のための教師なし共形推論フレームワークを提案する。
我々のゲートは、分断されたUPPよりも厳密で安定した閾値を提供する。
その結果は、ラベルのない、API互換の、テスト時間フィルタリングのゲートになる。
論文 参考訳(メタデータ) (2025-09-26T23:40:47Z) - Normalized Attention Guidance: Universal Negative Guidance for Diffusion Models [57.20761595019967]
注意空間にL1をベースとした正規化・精細化を施した,効率的かつトレーニング不要な機構である正規化注意誘導(NAG)を提案する。
NAGは、CFGが忠実性を維持しながら崩壊する効果的な負のガイダンスを復元する。
NAGはアーキテクチャ(UNet、DiT)、サンプリングレシスタンス(複数ステップ、複数ステップ)、モダリティ(イメージ、ビデオ)をまたいで一般化する
論文 参考訳(メタデータ) (2025-05-27T13:30:46Z) - Conditional Diffusion Models with Classifier-Free Gibbs-like Guidance [19.83064246586143]
CFGは条件付きおよび非条件付きデノイザの出力を線形に結合することにより条件付き拡散モデルを改善する手法である。
CFGは視覚的品質を高め、プロンプトとの整合性を向上させるが、しばしばサンプルの多様性を低下させる。
所望の傾斜分布からサンプルを抽出するギブスライクなサンプリング手法を提案する。
論文 参考訳(メタデータ) (2025-05-27T12:27:33Z) - Rectified Diffusion Guidance for Conditional Generation [94.83538269086613]
CFGの背後にある理論を再検討し、不適切な組合せ係数(textiti.e.)が生成分布を期待的にシフトさせることを厳密に確認する。
提案手法は, 強みを考慮すれば, textbftextitform ソリューションが有効であることを示す。
実世界のデータに関する実証的な証拠は、我々の設計と既存の最先端拡散モデルとの整合性を実証している。
論文 参考訳(メタデータ) (2024-10-24T13:41:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。