論文の概要: Trust-Region Noise Search for Black-Box Alignment of Diffusion and Flow Models

• arxiv url: http://arxiv.org/abs/2603.14504v1
• Date: Sun, 15 Mar 2026 17:37:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 16:19:35.85677
• Title: Trust-Region Noise Search for Black-Box Alignment of Diffusion and Flow Models
• Title（参考訳）: 拡散・流れモデルのブラックボックスアライメントに対する信頼関係雑音探索
• Abstract要約: 信頼領域に基づく検索アルゴリズム(TRS)は、事前訓練された生成モデルと報酬モデルをブラックボックスとして扱う。 我々は,テキスト・ツー・イメージ,分子・タンパク質設計タスクにおけるTRSを評価し,出力サンプルを著しく改善した。
• 参考スコア（独自算出の注目度）: 46.98480905892642
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Optimizing the noise samples of diffusion and flow models is an increasingly popular approach to align these models to target rewards at inference time. However, we observe that these approaches are usually restricted to differentiable or cheap reward models, the formulation of the underlying pretrained generative model, or are memory/compute inefficient. We instead propose a simple trust-region based search algorithm (TRS) which treats the pre-trained generative and reward models as a black-box and only optimizes the source noise. Our approach achieves a good balance between global exploration and local exploitation, and is versatile and easily adaptable to various generative settings and reward models with minimal hyperparameter tuning. We evaluate TRS across text-to-image, molecule and protein design tasks, and obtain significantly improved output samples over the base generative models and other inference-time alignment approaches which optimize the source noise sample, or even the entire reverse-time sampling noise trajectories in the case of diffusion models. Our source code is publicly available.
• Abstract（参考訳）: 拡散モデルと流れモデルのノイズサンプルを最適化することは、これらのモデルを推論時に報酬に合わせるために、ますます一般的なアプローチである。 しかし、これらの手法は通常、微分可能または安価な報酬モデル、基礎となる事前学習生成モデルの定式化、あるいはメモリ/計算非効率に制限されている。 そこで我々は,事前学習した生成モデルと報奨モデルをブラックボックスとして扱い,ソースノイズのみを最適化する簡易信頼領域探索アルゴリズム(TRS)を提案する。 提案手法は,グローバルな探索と局所的利用のバランスが良好であり,様々な生成的設定や報酬モデルに適応しやすく,最小限のハイパーパラメータチューニングが可能である。 我々は,テキスト・ツー・イメージ,分子・タンパク質設計タスクにおけるTRSを評価し,ソースノイズサンプルを最適化するベース生成モデルや他の推論時アライメントアプローチ,あるいは拡散モデルの場合の逆時間サンプリングノイズトラジェクトリ全体に対して,大幅に改善された出力サンプルを得る。 私たちのソースコードは公開されています。

関連論文リスト

• Noise Hypernetworks: Amortizing Test-Time Compute in Diffusion Models [57.49136894315871]
  テストタイムスケーリングの新しいパラダイムは、推論モデルと生成視覚モデルにおいて驚くべきブレークスルーをもたらした。 本稿では,テスト時間スケーリングの知識をモデルに組み込むことの課題に対する1つの解決策を提案する。 拡散モデルにおいて、初期入力ノイズを変調するノイズハイパーネットワークにより、報酬誘導試験時間雑音の最適化を行う。
  論文  参考訳（メタデータ） (2025-08-13T17:33:37Z)
• Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
  我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。 従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。 本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
  論文  参考訳（メタデータ） (2025-07-11T08:00:47Z)
• Divergence Minimization Preference Optimization for Diffusion Model Alignment [66.31417479052774]
  Divergence Minimization Preference Optimization (DMPO) は、逆KL分散を最小化して拡散モデルを整列する原理的手法である。 DMPOは、異なるベースモデルとテストセットで既存のテクニックを一貫して上回り、適合させることができる。
  論文  参考訳（メタデータ） (2025-07-10T07:57:30Z)
• A Minimalist Method for Fine-tuning Text-to-Image Diffusion Models [3.8623569699070357]
  ノイズPPOは、初期雑音発生器を学習する最小限の強化学習アルゴリズムである。 実験により、ノイズPPOは元のモデルよりもアライメントとサンプル品質を一貫して改善することが示された。 これらの知見は拡散モデルにおける最小主義的RL微調整の実用的価値を裏付けるものである。
  論文  参考訳（メタデータ） (2025-05-23T00:01:52Z)
• Arbitrary-steps Image Super-resolution via Diffusion Inversion [68.78628844966019]
  本研究では,拡散インバージョンに基づく新しい画像超解像(SR)手法を提案する。 本研究では,拡散モデルの中間状態を構築するための部分雑音予測戦略を設計する。 トレーニングが完了すると、このノイズ予測器を使用して、拡散軌道に沿ってサンプリングプロセスを部分的に初期化し、望ましい高分解能結果を生成する。
  論文  参考訳（メタデータ） (2024-12-12T07:24:13Z)
• Training-free Diffusion Model Alignment with Sampling Demons [15.400553977713914]
  提案手法は,報酬関数やモデル再学習を介さずに,推論時の復調過程を導出するための最適化手法である。 提案手法は,高報酬に対応する領域の密度を最適化することにより,雑音分布の制御を行う。 実験の結果,提案手法は平均的美学のテキスト・ツー・イメージ生成を著しく改善することがわかった。
  論文  参考訳（メタデータ） (2024-10-08T07:33:49Z)
• Adjoint Matching: Fine-tuning Flow and Diffusion Generative Models with Memoryless Stochastic Optimal Control [26.195547996552406]
  我々は,反復的プロセスを通じてサンプルを生成する動的生成モデルに対して,報酬微調整を最適制御(SOC)として用いた。 提案手法は,報酬の微調整,一貫性の向上,リアリズム,人間の選好報酬モデルへの一般化など,既存の方法よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-09-13T14:22:14Z)
• FIND: Fine-tuning Initial Noise Distribution with Policy Optimization for Diffusion Models [10.969811500333755]
  本稿では,FIND(Fincent-tuning Initial Noise Distribution)フレームワークのポリシー最適化について紹介する。 提案手法はSOTA法よりも10倍高速である。
  論文  参考訳（メタデータ） (2024-07-28T10:07:55Z)
• Blue noise for diffusion models [50.99852321110366]
  本稿では,画像内および画像間の相関雑音を考慮した拡散モデルを提案する。 我々のフレームワークは、勾配流を改善するために、1つのミニバッチ内に画像間の相関を導入することができる。 本手法を用いて,各種データセットの質的,定量的な評価を行う。
  論文  参考訳（メタデータ） (2024-02-07T14:59:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。