論文の概要: Ctrl-U: Robust Conditional Image Generation via Uncertainty-aware Reward Modeling

• arxiv url: http://arxiv.org/abs/2410.11236v1
• Date: Tue, 15 Oct 2024 03:43:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 14:02:22.638455
• Title: Ctrl-U: Robust Conditional Image Generation via Uncertainty-aware Reward Modeling
• Title（参考訳）: Ctrl-U:不確実性認識リワードモデリングによるロバスト条件画像生成
• Authors: Guiyu Zhang, Huan-ang Gao, Zijian Jiang, Hao Zhao, Zhedong Zheng,
• Abstract要約: 本稿では,ユーザの指示に従って画像が合成される条件付き画像生成の課題に焦点をあてる。 報酬モデルからの不正確なフィードバックの悪影響を低減するために,不確実性を考慮した報酬モデルCtrl-Uを提案する。
• 参考スコア（独自算出の注目度）: 18.93897922183304
• License:
• Abstract: In this paper, we focus on the task of conditional image generation, where an image is synthesized according to user instructions. The critical challenge underpinning this task is ensuring both the fidelity of the generated images and their semantic alignment with the provided conditions. To tackle this issue, previous studies have employed supervised perceptual losses derived from pre-trained models, i.e., reward models, to enforce alignment between the condition and the generated result. However, we observe one inherent shortcoming: considering the diversity of synthesized images, the reward model usually provides inaccurate feedback when encountering newly generated data, which can undermine the training process. To address this limitation, we propose an uncertainty-aware reward modeling, called Ctrl-U, including uncertainty estimation and uncertainty-aware regularization, designed to reduce the adverse effects of imprecise feedback from the reward model. Given the inherent cognitive uncertainty within reward models, even images generated under identical conditions often result in a relatively large discrepancy in reward loss. Inspired by the observation, we explicitly leverage such prediction variance as an uncertainty indicator. Based on the uncertainty estimation, we regularize the model training by adaptively rectifying the reward. In particular, rewards with lower uncertainty receive higher loss weights, while those with higher uncertainty are given reduced weights to allow for larger variability. The proposed uncertainty regularization facilitates reward fine-tuning through consistency construction. Extensive experiments validate the effectiveness of our methodology in improving the controllability and generation quality, as well as its scalability across diverse conditional scenarios. Code will soon be available at https://grenoble-zhang.github.io/Ctrl-U-Page/.
• Abstract（参考訳）: 本稿では,ユーザの指示に従って画像が合成される条件付き画像生成の課題に焦点をあてる。 このタスクを支える重要な課題は、生成された画像の忠実さと、提供された条件とのセマンティックアライメントの両立を保証することである。 この問題に対処するために、これまでの研究では、事前訓練されたモデル、すなわち報酬モデルから導かれた教師付き知覚的損失を用いて、条件と生成された結果との整合性を強制してきた。 しかし、合成画像の多様性を考慮すると、報酬モデルは通常、新たに生成されたデータに遭遇したときに不正確なフィードバックを与え、トレーニングプロセスを損なう可能性がある。 この制限に対処するため,不確実性推定と不確実性認識正則化を含む不確実性認識報酬モデルCtrl-Uを提案する。 報酬モデル内の固有の認知的不確実性を考えると、同じ条件下で生成された画像でさえ、報酬損失の相対的に大きな相違をもたらすことが多い。 この観測から着想を得た予測分散を不確実性指標として用いた。 不確実性推定に基づいて、報酬を適応的に修正することでモデルトレーニングを規則化する。 特に、低い不確実性を持つ報酬はより高い損失重みを受け、高い不確実性を持つ報酬はより大きな変動を可能にするために還元重みを与える。 提案された不確実性正規化は、整合性構築による報酬の微調整を促進する。 広範囲な実験により、制御性や生成品質の向上、および様々な条件シナリオにおけるスケーラビリティ向上における方法論の有効性が検証された。 コードは間もなくhttps://grenoble-zhang.github.io/Ctrl-U-Page/.comで公開される。

関連論文リスト

• Uncertainty-boosted Robust Video Activity Anticipation [72.14155465769201]
  ビデオアクティビティの予測は、ロボットビジョンから自動運転まで幅広い応用可能性を受け入れることで、将来何が起こるかを予測することを目的としている。 近年の進展にもかかわらず、コンテンツ進化過程やイベントラベルの動的相関として反映されたデータ不確実性問題は、何らかの形で無視されている。 本研究では,予測結果の信頼性を示す不確実な値を生成する,不確実性を考慮した頑健なビデオアクティビティ予測フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-29T12:31:38Z)
• Extreme Miscalibration and the Illusion of Adversarial Robustness [66.29268991629085]
  敵の訓練は、しばしばモデルの堅牢性を高めるために使用される。 我々は、この観測されたロバストネスの利得はロバストネスの錯覚(IOR)であることを示した。 我々は,NLPコミュニティに対して,試験時間温度のスケーリングを堅牢性評価に組み込むよう促す。
  論文  参考訳（メタデータ） (2024-02-27T13:49:12Z)
• Fine-Tuning of Continuous-Time Diffusion Models as Entropy-Regularized Control [54.132297393662654]
  拡散モデルは、自然画像やタンパク質のような複雑なデータ分布を捉えるのに優れている。 拡散モデルはトレーニングデータセットの分布を表現するために訓練されるが、私たちはしばしば、生成された画像の美的品質など他の特性にもっと関心を持っている。 本稿では,本フレームワークが真に報酬の高い多種多様なサンプルを効率よく生成できることを示す理論的,実証的な証拠を示す。
  論文  参考訳（メタデータ） (2024-02-23T08:54:42Z)
• Compensation Sampling for Improved Convergence in Diffusion Models [12.311434647047427]
  拡散モデルは画像生成において顕著な品質を達成するが、コストはかかる。 反復 denoising は高忠実度画像を生成するために多くの時間ステップを必要とする。 対象データの初期的不正確な再構成による復元誤差の蓄積により,復調過程が著しく制限されていることを論じる。
  論文  参考訳（メタデータ） (2023-12-11T10:39:01Z)
• DifFIQA: Face Image Quality Assessment Using Denoising Diffusion Probabilistic Models [1.217503190366097]
  顔画像品質評価(FIQA)技術は、これらの性能劣化を軽減することを目的としている。 拡散確率モデル(DDPM)に基づく強力な新しいFIQA手法DifFIQAを提案する。 拡散に基づく摂動は計算コストが高いため、DifFIQA(R)と呼ばれる回帰ベースの品質予測器にDifFIQAで符号化された知識を蒸留する。
  論文  参考訳（メタデータ） (2023-05-09T21:03:13Z)
• Model-Based Uncertainty in Value Functions [89.31922008981735]
  MDP上の分布によって引き起こされる値の分散を特徴付けることに重点を置いている。 従来の作業は、いわゆる不確実性ベルマン方程式を解くことで、値よりも後方の分散を境界にしている。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式を提案する。
  論文  参考訳（メタデータ） (2023-02-24T09:18:27Z)
• Reliability-Aware Prediction via Uncertainty Learning for Person Image Retrieval [51.83967175585896]
  UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。 データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
  論文  参考訳（メタデータ） (2022-10-24T17:53:20Z)
• Dense Uncertainty Estimation via an Ensemble-based Conditional Latent Variable Model [68.34559610536614]
  我々は、アレータリック不確実性はデータの固有の特性であり、偏見のないオラクルモデルでのみ正確に推定できると論じる。 そこで本研究では,軌道不確実性推定のためのオラクルモデルを近似するために,列車時の新しいサンプリングと選択戦略を提案する。 以上の結果から,提案手法は精度の高い決定論的結果と確実な不確実性推定の両方を達成できることが示唆された。
  論文  参考訳（メタデータ） (2021-11-22T08:54:10Z)
• Robustness via Uncertainty-aware Cycle Consistency [44.34422859532988]
  非ペア画像-画像間の変換とは、対応する画像対を使わずに画像間マッピングを学習することを指す。 既存の手法は、外乱や予測の不確実性にロバスト性を明示的にモデル化することなく決定論的マッピングを学習する。 不確実性を考慮した一般化適応サイクル一貫性(UGAC)に基づく新しい確率的手法を提案する。
  論文  参考訳（メタデータ） (2021-10-24T15:33:21Z)
• A Hierarchical Variational Neural Uncertainty Model for Stochastic Video Prediction [45.6432265855424]
  本稿では,モデルの予測不確かさの原理的定量化であるニューラル不確実性量化器(NUQ)を紹介する。 提案するフレームワークは,最先端モデルと比較して効果的に訓練する。
  論文  参考訳（メタデータ） (2021-10-06T00:25:22Z)
• Uncertainty-aware Generalized Adaptive CycleGAN [44.34422859532988]
  unpaired image-to-image translationは、教師なしの方法で画像ドメイン間のマッピングを学ぶことを指す。 既存の手法はしばしば、外れ値への堅牢性や予測不確実性を明示的にモデル化せずに決定論的マッピングを学習する。 Uncertainty-aware Generalized Adaptive Cycle Consistency (UGAC) という新しい確率論的手法を提案する。
  論文  参考訳（メタデータ） (2021-02-23T15:22:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。