論文の概要: Hierarchical Variational Policies for Reward-Guided Diffusion

• arxiv url: http://arxiv.org/abs/2605.21661v1
• Date: Wed, 20 May 2026 19:13:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-22 16:35:41.969522
• Title: Hierarchical Variational Policies for Reward-Guided Diffusion
• Title（参考訳）: Reward-Guided Diffusionのための階層的変分法
• Authors: Kushagra Pandey, Farrin Marouf Sofian, Jan Niklas Groeneveld, Felix Draxler, Stephan Mandt,
• Abstract要約: 推論コストを大幅に削減した高品質な報酬整合型サンプルを生成するための原則的フレームワークを提案する。 提案手法は,テスト時間適応を階層的変動モデルとして定式化し,制御を軽量で表現力のあるポリシーに補正する。 さらに我々は、安価で償却された提案と限定的なテスト時間最適化を組み合わせたセミアモータイズ方式にアプローチを拡張した。
• 参考スコア（独自算出の注目度）: 19.524996812453058
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Adapting pretrained diffusion models to downstream objectives such as inverse problems often requires expensive test-time guidance or optimization. We propose a principled framework for generating high-quality reward-aligned samples at substantially reduced inference cost. Our approach formulates test-time adaptation as a hierarchical variational model, where control is amortized into a lightweight yet expressive stochastic policy. This formulation naturally supports few-step diffusion sampling: large step sizes enable fast inference, while the learned policy maintains sample quality by providing structured per-step control. The resulting fully amortized sampler achieves a strong quality--speed tradeoff, matching or exceeding recent test-time scaling baselines while requiring significantly less compute. For example, on 4x super-resolution, our method achieves better perceptual quality with more than 5x faster inference compared to the best-performing baseline. We further extend our approach to a semi-amortized regime that combines cheap amortized proposals with limited test-time optimization, achieving state-of-the-art perceptual quality across several challenging inverse problems.
• Abstract（参考訳）: 逆問題のような下流の目的に事前訓練された拡散モデルを適用するには、高価なテストタイムガイダンスや最適化が必要となることが多い。 推論コストを大幅に削減した高品質な報酬整合型サンプルを生成するための原則的フレームワークを提案する。 提案手法は,テスト時間適応を階層的変動モデルとして定式化し,制御を軽量かつ表現力のある確率的ポリシーに補正する。 この定式化は自然に数段階の拡散サンプリングをサポートし、大きなステップサイズは高速な推論を可能にし、学習ポリシーは構造化されたステップ単位の制御を提供することでサンプル品質を維持する。 得られた完全償却サンプリングは、計算を著しく少なくしながら、最近のテストタイムスケーリングベースラインに適合または超える、強い品質のトレードオフを達成する。 例えば, 4倍超解像では, 最良性能のベースラインに比べて5倍以上高速な推論により, 知覚品質が向上する。 さらに我々は、安価で償却された提案と限定的なテスト時間最適化を組み合わせ、いくつかの挑戦的な逆問題にまたがって最先端の知覚的品質を達成するセミアモータイズ方式にアプローチを拡張した。

関連論文リスト

• Embedding-perturbed Exploration Preference Optimization for Flow Models [23.146684617048674]
  本稿では,埋め込みレベルの摂動による最適化を実現する新しいフレームワークを提案する。 提案手法は, 試料群内における構造的, 埋め込みレベルの摂動を導入し, 安定な分散を保証している。 我々のアプローチは最先端のベースラインを大きく上回っている。
  論文  参考訳（メタデータ） (2026-05-15T09:56:40Z)
• Policy-based Tuning of Autoregressive Image Models with Instance- and Distribution-Level Rewards [16.135177543347773]
  自己回帰モデル(AR)は画像生成に非常に効果的であるが、標準の最大形推定トレーニングではサンプルの品質と多様性を直接最適化することができない。 本稿では,トークンベースのAR推論をマルコフ決定プロセスとして,グループ相対ポリシー最適化によって最適化した軽量なRLフレームワークを提案する。 私たちの中核的な貢献は、新しい流通レベルのLeave-One-Out FID(LOO-FID)の報酬の導入です。
  論文  参考訳（メタデータ） (2026-03-24T11:28:36Z)
• Not All Candidates are Created Equal: A Heterogeneity-Aware Approach to Pre-ranking in Recommender Systems [11.849498011182066]
  Heterogeneity-Aware Adaptive Pre- grade (HAP) は、競合に敏感なサンプリングを通じて勾配の衝突を緩和する統合フレームワークである。 HAPは、Toutiaoプロダクションシステムに9ヶ月間デプロイされ、ユーザアプリ使用期間を最大0.4%改善した。
  論文  参考訳（メタデータ） (2026-03-04T06:27:47Z)
• Coverage Improvement and Fast Convergence of On-policy Preference Learning [67.36750525893514]
  言語モデルアライメントのためのオンラインのオンラインプライオリティ学習アルゴリズムは、オフラインのアルゴリズムよりも大幅に優れている。 我々は,サンプリング政策の包括的範囲が政治訓練を通じてどのように進展するかを分析する。 一般機能クラス設定における報奨蒸留のための原則的オンライン方式を開発した。
  論文  参考訳（メタデータ） (2026-01-13T10:46:06Z)
• Guided Star-Shaped Masked Diffusion [11.965970427956684]
  本稿では,事前学習モデルを用いた新しいサンプリングアルゴリズムを提案する。 本手法は星型パラダイムを用いて生成過程を再構成する。 学習可能な再タスクスケジューラで拡張し、潜在的なエラーをインテリジェントに識別し、修正します。
  論文  参考訳（メタデータ） (2025-10-09T15:53:51Z)
• SPREAD: Sampling-based Pareto front Refinement via Efficient Adaptive Diffusion [0.8594140167290097]
  SPREADは拡散確率モデル(DDPM)に基づく生成フレームワークである 決定空間からサンプリングされた点上の条件拡散過程を学習する。 適応的多重勾配降下インスパイアされた更新を高速収束に利用するサンプリングスキームにより、候補を洗練する。
  論文  参考訳（メタデータ） (2025-09-25T12:09:37Z)
• Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
  人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。 過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。 報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
  論文  参考訳（メタデータ） (2024-05-26T05:38:50Z)
• Exploiting Diffusion Prior for Real-World Image Super-Resolution [75.5898357277047]
  本稿では,事前学習したテキスト・画像拡散モデルにカプセル化された事前知識を視覚的超解像に活用するための新しいアプローチを提案する。 時間認識エンコーダを用いることで、事前学習した合成モデルを変更することなく、有望な復元結果が得られる。
  論文  参考訳（メタデータ） (2023-05-11T17:55:25Z)
• The Simulator: Understanding Adaptive Sampling in the Moderate-Confidence Regime [52.38455827779212]
  エミュレータと呼ばれる適応サンプリングを解析するための新しい手法を提案する。 適切なログファクタを組み込んだトップk問題の最初のインスタンスベースの下位境界を証明します。 我々の新しい分析は、後者の問題に対するこの種の最初のエミュレータであるベストアームとトップkの識別に、シンプルでほぼ最適であることを示した。
  論文  参考訳（メタデータ） (2017-02-16T23:42:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。