論文の概要: REG: Rectified Gradient Guidance for Conditional Diffusion Models

• arxiv url: http://arxiv.org/abs/2501.18865v1
• Date: Fri, 31 Jan 2025 03:16:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 14:03:53.238731
• Title: REG: Rectified Gradient Guidance for Conditional Diffusion Models
• Title（参考訳）: REG:条件付き拡散モデルのための正規化グラディエントガイダンス
• Authors: Zhengqi Gao, Kaiwen Zha, Tianyuan Zhang, Zihui Xue, Duane S. Boning,
• Abstract要約: 本稿では,既存のガイダンス手法の性能向上を図るために,修正勾配ガイダンス(REG)を提案する。 REGは、事前のガイダンス技術よりも最適なソリューションにより良い近似を提供する。 クラス条件の画像ネットとテキスト・ツー・イメージ生成タスクの実験では、REGは一貫してFIDとインセプション/CLIPスコアを改善している。
• 参考スコア（独自算出の注目度）: 16.275782069986253
• License:
• Abstract: Guidance techniques are simple yet effective for improving conditional generation in diffusion models. Albeit their empirical success, the practical implementation of guidance diverges significantly from its theoretical motivation. In this paper, we reconcile this discrepancy by replacing the scaled marginal distribution target, which we prove theoretically invalid, with a valid scaled joint distribution objective. Additionally, we show that the established guidance implementations are approximations to the intractable optimal solution under no future foresight constraint. Building on these theoretical insights, we propose rectified gradient guidance (REG), a versatile enhancement designed to boost the performance of existing guidance methods. Experiments on 1D and 2D demonstrate that REG provides a better approximation to the optimal solution than prior guidance techniques, validating the proposed theoretical framework. Extensive experiments on class-conditional ImageNet and text-to-image generation tasks show that incorporating REG consistently improves FID and Inception/CLIP scores across various settings compared to its absence.
• Abstract（参考訳）: 誘導手法は単純であるが,拡散モデルにおける条件生成の改善に有効である。 実証的な成功にもかかわらず、指導の実践的な実践はその理論的な動機から大きく分かれている。 本稿では,この差分を,理論上は無効であると証明したスケール化辺縁分布目標を,有効なスケール化ジョイント分布目標に置き換えることで整合する。 さらに、確立されたガイダンス実装は、将来の予測制約を伴わない、難解な最適解に対する近似であることを示す。 これらの理論的知見に基づいて,既存のガイダンス手法の性能向上を目的とした汎用的な改良であるrerectified gradient guidance (REG)を提案する。 1D と 2D の実験では、REG は事前指導手法よりも最適解に近似し、提案した理論的枠組みを検証している。 クラス条件の画像ネットとテキスト・ツー・イメージ生成タスクの大規模な実験により、REGを組み込むことによって、不在時よりも様々な設定におけるFIDとインセプション/CLIPスコアが一貫して改善されることが示されている。

関連論文リスト

• Contextually Entangled Gradient Mapping for Optimized LLM Comprehension [0.0]
  Entually Entangled Gradient Mapping (CEGM)は、勾配最適化に対する新しいアプローチを導入する。 勾配を分離された数値エンティティではなく、コンテキスト依存の動的キャリアとして扱う。 提案手法は,既存の最適化戦略において重要なギャップを埋めるものである。
  論文  参考訳（メタデータ） (2025-01-28T11:50:35Z)
• Learning Dynamic Representations via An Optimally-Weighted Maximum Mean Discrepancy Optimization Framework for Continual Learning [10.142949909263846]
  継続的な学習は、モデルを永続的に取得し、保持することを可能にする。 悲惨な忘れ物は モデルパフォーマンスを著しく損なう 本稿では,表現変更に対する罰則を課す,OPMMD(Optimally-Weighted Mean Discrepancy)と呼ばれる新しいフレームワークを紹介する。
  論文  参考訳（メタデータ） (2025-01-21T13:33:45Z)
• COD: Learning Conditional Invariant Representation for Domain Adaptation Regression [20.676363400841495]
  ドメイン適応回帰(Domain Adaptation Regression)は、ソースドメインからラベルのないターゲットドメインへのラベルの知識を一般化するために開発された。 既存の条件分布アライメント理論と離散前処理法はもはや適用できない。 誤差を最小限に抑えるために,CODに基づく条件付き不変表現学習モデルを提案する。
  論文  参考訳（メタデータ） (2024-08-13T05:08:13Z)
• When Invariant Representation Learning Meets Label Shift: Insufficiency and Theoretical Insights [16.72787996847537]
  一般化ラベルシフト(GLS)は、シフト内の複雑な要因に対処する大きな可能性を示す最新の開発である。 主な結果は、不変表現学習が不十分であることを示し、一般化のためのGLS補正が不十分であること、および必要であることを証明した。 本稿では,カーネル埋め込みに基づく補正アルゴリズム(KECA)を提案する。
  論文  参考訳（メタデータ） (2024-06-24T12:47:21Z)
• Making Linear MDPs Practical via Contrastive Representation Learning [101.75885788118131]
  マルコフ決定過程(MDP)における次元性の呪いに、低ランク表現を利用することで対処することが一般的である。 本稿では,効率的な表現学習を可能にしつつ,正規化を自動的に保証する線形MDPの代替的定義について考察する。 いくつかのベンチマークにおいて、既存の最先端モデルベースおよびモデルフリーアルゴリズムよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-07-14T18:18:02Z)
• Heterogeneous Calibration: A post-hoc model-agnostic framework for improved generalization [8.815439276597818]
  モデル出力にポストホックモデル非依存変換を適用した不均一キャリブレーションの概念を導入し、二項分類タスクにおけるAUC性能を改善する。 単純なパターンを特徴空間の不均一なパーティションと呼び、各パーティションの完全校正がAUCを個別に最適化することを理論的に示す。 このフレームワークの理論的最適性はどんなモデルにも当てはまるが、ディープニューラルネットワーク(DNN)に注目し、このパラダイムの最も単純なインスタンス化をさまざまなオープンソースデータセットでテストする。
  論文  参考訳（メタデータ） (2022-02-10T05:08:50Z)
• Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
  そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。 実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
  論文  参考訳（メタデータ） (2021-12-10T20:46:13Z)
• Towards Principled Disentanglement for Domain Generalization [90.9891372499545]
  機械学習モデルの根本的な課題は、アウト・オブ・ディストリビューション(OOD)データへの一般化である。 私たちはまず、DEC(Disentanglement-Constrained Domain Generalization)と呼ばれる制約付き最適化としてOOD一般化問題を定式化する。 この変換に基づいて、結合表現の不絡合と領域一般化のための原始双対アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-11-27T07:36:32Z)
• Optimization-Inspired Learning with Architecture Augmentations and Control Mechanisms for Low-Level Vision [74.9260745577362]
  本稿では,GDC(Generative, Discriminative, and Corrective)の原則を集約する,最適化に着想を得た統合学習フレームワークを提案する。 フレキシブルな組み合わせで最適化モデルを効果的に解くために,3つのプロパゲーティブモジュールを構築した。 低レベル視覚タスクにおける実験は、GDCの有効性と適応性を検証する。
  論文  参考訳（メタデータ） (2020-12-10T03:24:53Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• Target-Embedding Autoencoders for Supervised Representation Learning [111.07204912245841]
  本稿では,対象空間が高次元な純粋教師付き環境における一般化の枠組みを解析する。 我々は、教師付き予測のための目標埋め込みオートエンコーダ(TEA)の一般的なフレームワークのモチベーションと形式化を行い、特徴とターゲットの予測の両方から予測可能なように最適化された中間潜在表現を学習する。
  論文  参考訳（メタデータ） (2020-01-23T02:37:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。