論文の概要: Adaptive Classifier-Free Guidance via Dynamic Low-Confidence Masking

• arxiv url: http://arxiv.org/abs/2505.20199v1
• Date: Mon, 26 May 2025 16:40:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 19:27:26.948625
• Title: Adaptive Classifier-Free Guidance via Dynamic Low-Confidence Masking
• Title（参考訳）: 動的低信頼マスキングによる適応型分類器フリーガイダンス
• Authors: Pengxiang Li, Shilin Yan, Joey Tsai, Renrui Zhang, Ruichuan An, Ziyu Guo, Xiaowei Gao,
• Abstract要約: 本稿では,モデルの予測信頼度を利用して非条件入力を調整する新しい手法であるAdaptive-Free Guidance (A-CFG)を紹介する。 A-CFGは、より効果的なガイダンスにつながる曖昧さの領域に焦点を当てている。 多様な言語生成ベンチマークの実験では、A-CFGは標準CFGよりも大幅に改善されている。
• 参考スコア（独自算出の注目度）: 15.052244821404079
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Classifier-Free Guidance (CFG) significantly enhances controllability in generative models by interpolating conditional and unconditional predictions. However, standard CFG often employs a static unconditional input, which can be suboptimal for iterative generation processes where model uncertainty varies dynamically. We introduce Adaptive Classifier-Free Guidance (A-CFG), a novel method that tailors the unconditional input by leveraging the model's instantaneous predictive confidence. At each step of an iterative (masked) diffusion language model, A-CFG identifies tokens in the currently generated sequence for which the model exhibits low confidence. These tokens are temporarily re-masked to create a dynamic, localized unconditional input. This focuses CFG's corrective influence precisely on areas of ambiguity, leading to more effective guidance. We integrate A-CFG into a state-of-the-art masked diffusion language model and demonstrate its efficacy. Experiments on diverse language generation benchmarks show that A-CFG yields substantial improvements over standard CFG, achieving, for instance, a 3.9 point gain on GPQA. Our work highlights the benefit of dynamically adapting guidance mechanisms to model uncertainty in iterative generation.
• Abstract（参考訳）: 分類自由誘導(CFG)は、条件付きおよび非条件付き予測を補間することにより、生成モデルの制御可能性を大幅に向上させる。 しかし、標準CFGはしばしば静的な無条件入力を使用し、モデルの不確かさが動的に変化する反復生成プロセスに最適である。 適応型分類器自由誘導法(A-CFG)を導入し,モデルの瞬時予測信頼度を利用して非条件入力を調整する手法を提案する。 反復拡散言語モデルの各ステップにおいて、A-CFGはモデルが低信頼を示す現在生成されたシーケンス内のトークンを識別する。 これらのトークンは、動的にローカライズされた非条件入力を生成するために一時的に再マッピングされる。 このことは、CFGの曖昧さの領域に正確に修正の影響を集中させ、より効果的なガイダンスをもたらす。 A-CFGを最先端のマスク付き拡散言語モデルに統合し,その有効性を示す。 様々な言語生成ベンチマークの実験では、A-CFGは標準CFGよりも大幅に改善され、GPQAでは3.9ポイント向上した。 我々の研究は、反復生成における不確実性をモデル化するための指導機構を動的に適用する利点を強調している。

関連論文リスト

• CtrlDiff: Boosting Large Diffusion Language Models with Dynamic Block Prediction and Controllable Generation [7.250878248686215]
  拡散ベースの言語モデルは、強力な並列生成機能と固有の編集性のために、魅力的な代替手段として登場した。 ローカルセマンティクスに基づいて各生成ブロックのサイズを適応的に決定する動的かつ制御可能な半自動回帰フレームワークであるCtrlDiffを提案する。
  論文  参考訳（メタデータ） (2025-05-20T14:52:41Z)
• FELLE: Autoregressive Speech Synthesis with Token-Wise Coarse-to-Fine Flow Matching [51.32059240975148]
  FELLEは、言語モデリングとトークンワイドフローマッチングを統合する自動回帰モデルである。 各連続値トークンに対して、FELLEは、前ステップからの情報を組み込んで、フローマッチングにおける一般的な事前分布を変更する。 FELLEは、言語モデルの出力に基づいて階層的に連続値のトークンを生成する。
  論文  参考訳（メタデータ） (2025-02-16T13:54:32Z)
• Contrastive CFG: Improving CFG in Diffusion Models by Contrasting Positive and Negative Concepts [55.298031232672734]
  As-Free Guidance (CFG) は条件拡散モデルサンプリングに有効であることが証明された。 対照的な損失を用いた負のCFG誘導を強化する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-11-26T03:29:27Z)
• Steering Masked Discrete Diffusion Models via Discrete Denoising Posterior Prediction [88.65168366064061]
  本稿では,確率論的推論の課題として,事前学習したMDMを操る作業を行う新しいフレームワークであるDDPPを紹介する。 私たちのフレームワークは、3つの新しい目標のファミリーにつながります。 Wet-lab Validation(ウェット・ラブ・バリデーション)を用いて,報酬最適化タンパク質配列の過渡的発現を観察する。
  論文  参考訳（メタデータ） (2024-10-10T17:18:30Z)
• Eliminating Oversaturation and Artifacts of High Guidance Scales in Diffusion Models [27.640009920058187]
  CFG更新ルールを再検討し、この問題に対処するための修正を導入する。 過飽和を伴わない高品質な世代を実現するために並列成分の低重み付けを提案する。 また、この知見に基づいて、CFG更新ルールに対する新しい再スケーリングモーメント手法も導入する。
  論文  参考訳（メタデータ） (2024-10-03T12:06:29Z)
• No Training, No Problem: Rethinking Classifier-Free Guidance for Diffusion Models [25.301443993960277]
  我々はCFGの中核となる原則を再考し、新しい方法である独立条件ガイダンス(ICG)を導入する。 ICGは特別な訓練手順を必要とせずにCFGの利点を提供する。 提案手法は条件拡散モデルの学習過程を合理化し,任意の事前学習条件モデル上での推論にも適用可能である。
  論文  参考訳（メタデータ） (2024-07-02T22:04:00Z)
• Adaptive Guidance: Training-free Acceleration of Conditional Diffusion Models [44.58960475893552]
  適応誘導 (AG) は計算自由誘導 (CFG) の効率的な変種である AGはCFGの画質を25%低下させながら保存する。 LinearAG" はベースラインモデルから逸脱するコストでさらに安価な推論を提供する。
  論文  参考訳（メタデータ） (2023-12-19T17:08:48Z)
• Continual-MAE: Adaptive Distribution Masked Autoencoders for Continual Test-Time Adaptation [49.827306773992376]
  連続的テスト時間適応(CTTA)は、ソース事前学習モデルから目標分布の連続的な変化に移行するために提案される。 提案手法は,CTTAタスクの分類とセグメンテーションの両方において,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-12-19T15:34:52Z)
• Consistency Regularization for Generalizable Source-free Domain Adaptation [62.654883736925456]
  ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。 既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。 より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-03T07:45:53Z)
• Variational Classification [51.2541371924591]
  我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。 軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。 我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
  論文  参考訳（メタデータ） (2023-05-17T17:47:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。