論文の概要: VaLoP: Value Gradient Lookahead and Pullback for Reward-Guided Diffusion

• arxiv url: http://arxiv.org/abs/2610.35607v1
• Date: Mon, 26 Oct 2026 15:29:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:14.053951
• Title: VaLoP: Value Gradient Lookahead and Pullback for Reward-Guided Diffusion
• Title（参考訳）: VaLoP: Reward-Guided Diffusionのための値勾配のルックアヘッドとプルバック
• Abstract要約: リワードガイダンスは、報酬モデルが好むイメージやアクションに対して、事前訓練された拡散またはフローモデルを操縦する。 本稿では、1つのベクトル-ヤコビアン積による補正を演算する値勾配Lookahead and Pullback (VaLoP)を提案する。 どちらも、目標報酬(VaLoP-Fast)に関する既存の価値段階的なガイダンスを、学習価値ガイダンスの約コストで、堅牢に上回ります。
• 参考スコア（独自算出の注目度）: 8.46069844016289
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reward guidance steers a pretrained diffusion or flow model toward images or actions that a reward model prefers, at sampling time and without retraining the model for each reward. It follows the gradient of a value function, the expected reward given the noisy state. The two common estimates of this gradient, gradients through a one-step denoised estimate and learned value models, are least accurate at high noise, where the coarse structure of the sample is decided. Interestingly, we find that both errors are posterior covariances, which grow with the uncertainty about the clean sample, and hence at higher noise. To reduce them, we evaluate the value at a less noisy state, one sampler step ahead, where this uncertainty is smaller, and pull its gradient back to the current state. This lookahead places both estimators at the two ends of one family and reveals that an intermediate lookahead requires one additional term, a correction through the generator. We therefore propose Value Gradient Lookahead and Pullback (VaLoP), which computes this correction with one vector-Jacobian product, and VaLoP-Fast, which amortizes it with a small head that, for text-to-image models, is trained with a single reward and reused for the others. Across various models, rewards, and benchmark datasets, both robustly outperform existing value-gradient guidance on the target reward, VaLoP-Fast at about the cost of learned-value guidance. Both extend to critic-guided robot policies, where VaLoP-Fast attains the highest success rates on LIBERO and RoboCasa.
• Abstract（参考訳）: リワードガイダンスは、報酬モデルが好むイメージやアクションに対して、各報酬に対してモデルを再トレーニングすることなく、事前訓練された拡散またはフローモデルを使用する。 これは値関数の勾配に従っており、期待される報酬はノイズ状態である。 この勾配の2つの一般的な推定、一段階の偏微分推定と学習値モデルによる勾配は、サンプルの粗い構造が決定される高雑音において最小の精度である。 興味深いことに、どちらの誤差も後続の共分散であり、クリーンサンプルの不確実性によって成長し、ノイズが高い。 これを低減するために, この不確実性が小さく, よりノイズの少ない状態での値の評価を行い, その勾配を現在の状態に引き戻す。 このルックアヘッドは、両方の推定器を1つのファミリーの2つの端に配置し、中間ルックアヘッドが1つの追加の項、すなわちジェネレータによる補正を必要とすることを明らかにする。 そこで我々は,この補正を1つのベクトル・ヤコビアン積で計算するValue Gradient Lookahead and Pullback (VaLoP) と,テキスト・ツー・イメージ・モデルでは1つの報酬でトレーニングし,他のモデルで再利用するVaLoP-Fastを提案する。 さまざまなモデル、報酬、ベンチマークデータセットを通じて、どちらも目標報酬に関する既存の価値段階のガイダンス、VaLoP-Fastを、学習価値ガイダンスの約コストで堅牢に上回る。 VaLoP-FastはLIBEROとRoboCasaで最高の成功率を達成した。

関連論文リスト

• Noise-Space Reward Alignment for Few-Step Generative Models [28.088422981456546]
  数段階の生成モデルでは、1つか数回の評価で高品質なサンプルを生成する。 直習は過度な報酬の過度な最適化に悩まされる。 NPOは、直接微調整よりも優れた報酬品質のトレードオフを一貫して達成している。
  論文  参考訳（メタデータ） (2026-10-15T02:30:15Z)
• Few-Step Boltzmann Generators via Scalable Likelihood Flow Maps [33.896605880822115]
  フローベース生成モデリングは、少数の関数評価のみを使用しながら高品質なサンプルを出力するモデルに導かれる。 本稿では,flOw maPs (SCALLOP) のLikeLihood蒸留について紹介する。 SCALLOPは、トレーニングのばらつきとトレーニング時間の両方を大幅に削減し、パフォーマンスを継続的に改善します。
  論文  参考訳（メタデータ） (2026-06-27T23:26:53Z)
• How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis [53.063298916923976]
  r*(x) = *(langle *, xrangle)$ と $x sim N(0, I_d)$ でガウスの単一インデックスモデルでフィードバックを研究する。 まず、報酬重み付きサンプルから隠れた方向を*$で学習し、次に重み付きリッジ回帰により読み出し層に適合する2段階のニューラル報酬モデルを分析する。
  論文  参考訳（メタデータ） (2026-05-23T22:00:38Z)
• Stitched Value Model for Diffusion Alignment [76.52330634059528]
  拡散またはフローベースの生成モデルは、即興の忠実さや美的嗜好など、タスク固有の報酬と整合していなければならない。 本稿では、クリーンな画像のために事前訓練された報酬モデルをノイズの多い潜伏状態に効率的に転送するモデル縫合フレームワークであるStitchVMを提案する。 提案手法は,下流のステアリングおよびポストトレーニング手法の幅広い改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2026-05-19T13:02:50Z)
• On Training in Imagination [69.97419830683606]
  最先端のモデルに基づく強化学習手法は、想像上のロールアウトに関するポリシーを訓練する。 学習力学と報酬モデルにおける誤差が回帰や政策最適化に与える影響について検討する。
  論文  参考訳（メタデータ） (2026-05-07T12:51:32Z)
• Smaller Models, Smarter Rewards: A Two-Sided Approach to Process and Outcome Rewards [40.23960862004138]
  本稿では,最先端の小型言語モデルが有用報酬モデルに変換できるかどうかを考察する。 我々はAPPS符号化チャレンジベンチマークから得られた正当性ラベル付きコードサンプルのデータセットを構築した。 この批判を用いて、複数世代にわたる最も正確なコードの検索能力を20%以上改善する。
  論文  参考訳（メタデータ） (2025-10-27T07:36:41Z)
• Value Flows [90.1510269525399]
  本稿では, フローベースモデルを用いて, 将来のリターン分布を推定する。 学習したフローモデルに基づいて、新しいフロー微分ODEを用いて、異なる状態の戻り不確かさを推定する。 ステートベース37ドル、イメージベースのベンチマークタスク25ドルの実験では、バリューフローが平均的な成功率で1.3倍の改善を達成している。
  論文  参考訳（メタデータ） (2025-10-09T00:57:40Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。