論文の概要: Routing Policy Optimization for Online Diffusion Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.22282v1
• Date: Thu, 15 Oct 2026 17:40:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.232628
• Title: Routing Policy Optimization for Online Diffusion Reinforcement Learning
• Title（参考訳）: オンライン拡散強化学習のためのルーティングポリシー最適化
• Abstract要約: 強化学習は、視覚ジェネレータを訓練対象を超えて報酬信号と整合させることができる。 既存のスコア関数法は、典型的には逆の denoising 軌道を摂動することによって導入される。 我々は、アテンションルーティングを探索行動に変換するためにルーティングポリシー最適化を使用します。
• 参考スコア（独自算出の注目度）: 63.968567790829496
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning can align visual generators with reward signals beyond their pretraining objectives, but existing score-function methods typically introduce stochasticity by perturbing the reverse denoising trajectory, leading to costly rollout-based optimization. We instead ask whether stochastic exploration can be introduced inside the generator while preserving its original sampler. Routing Policy Optimization (RPO) answers this question by turning attention routing into a stochastic exploration action. At a few selected denoising levels, each query block keeps its own block and samples further key blocks in proportion to the generator's native attention mass, or keeps dense attention. The sampled route perturbs the velocity of that transition, and a Gaussian likelihood around the dense velocity scores the perturbation with a score-function objective. RPO further uses a controlled two-rollout estimator: two rollouts share the same prompt, initial latent, routed denoising levels, and dense anchor layers, differing only in their sampled attention routes. Their reward difference provides an advantage signal for the routed transitions. Because the likelihood differentiates the dense velocity itself, the learned updates remain effective after routing is removed. At inference, RPO restores dense attention and retains the original deterministic sampler. Experiments on text-to-image and text-to-video generation show that RPO improves generation quality while achieving nearly 4x higher training efficiency than Flow-GRPO-style methods. Please see our project page at https://velox-world.com/rpo for visual results.
• Abstract（参考訳）: 強化学習(Reinforcement learning)は、視覚ジェネレータを事前学習対象を超えて報酬信号と整合させることができるが、既存のスコア関数法は、逆のデノナイジング軌道を摂動させることで確率性を導入し、コストのかかるロールアウトベースの最適化をもたらす。 代わりに、元のサンプルを保存しながら、発生器の内部に確率探索を導入することができるかどうかを尋ねる。 ルーティングポリシー最適化(RPO)は、注意ルーティングを確率的な探索行動に変換することで、この問題に答える。 選択されたいくつかのレベルにおいて、各クエリブロックは独自のブロックを保持し、ジェネレータのネイティブアテンション質量に比例して、さらにキーブロックをサンプリングする。 サンプリングされた経路は、その遷移の速度を摂動し、密度速度の周りのガウス確率は、スコア関数の目的で摂動を測る。 RPOはさらに、制御された2つのロールアウト推定器を使用する: 2つのロールアウトは同じプロンプト、初期潜伏状態、ルート付き遮蔽レベル、および密度の高いアンカー層を共有し、サンプリングされた注意経路でのみ異なる。 報酬差は経路遷移に有利な信号を与える。 確率が高密度な速度そのものを区別するため、学習された更新はルーティングが削除された後も有効である。 推測すると、RPOは密度の高い注意を回復し、元の決定論的サンプリングを維持できる。 テキスト・ツー・イメージとテキスト・ツー・ビデオ生成の実験により、RPOはFlow-GRPOスタイルの手法よりも4倍高いトレーニング効率を実現し、生成品質を向上させることが示された。 プロジェクトのページはhttps://velox-world.com/rpoで見てください。

関連論文リスト

• Scaling Reinforcement Learning for Diffusion Models via Velocity Matching [66.34541945134916]
  RewardBenchファインチューニングは、人間の好みやタスク固有の目的に拡散モデルを適用するための重要なツールである。 自己回帰モデルとは異なり、拡散モデルは生成したサンプルの抽出可能な可能性を提供しない。 本稿では,速度場に直接作用する単純なトラジェクトリフリー更新である報酬ベースベロシティマッチング(RVM)を提案する。
  論文  参考訳（メタデータ） (2026-08-24T17:13:43Z)
• Latent Reward Registers for Diffusion Preference Alignment [46.49072106092868]
  本稿では,中間雑音の遅延から端末の好みを推定するメカニズムであるLatent Reward Registersを提案する。 この独立した読み出し機構は、発電機の隠された状態や速度場を変えることなく、潜伏した報酬証拠を抽出する。 トレーニングのために、Reward-Gradient On-Policy Distillation (RG-OPD) は、標準的な政策勾配の計算的に高価なロールアウトを回避し、報酬誘導された更新をオンライン軌道に沿って蒸留する。 推論のためには、Reward-Guided Sampling (RGS) はパラメータ更新なしで大小マッチングされた報酬勾配を経由する。
  論文  参考訳（メタデータ） (2026-08-04T17:00:52Z)
• Drift-Aware RL-based Wavelet Denoising for Network-Traffic Anomaly Detection [1.5469452301122173]
  ネットワーク監視のための交通利用測定は、付加雑音と統計的ドリフトによって損なわれる。 2つのタスクに最適化された前処理層として適応ウェーブレットをデノナイズするドリフト対応フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-07-22T10:52:05Z)
• Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals [83.0127582612634]
  Near-boundary Rescue (NSR) は最小限のプラグ・アンド・プレイの修正であり、失った信号を回復するために、アウト・オブ・バウンドトークンを保持する。 NSRはトレーニングの安定性を大幅に改善し、DAPOやGSPOといった強力なベースライン上で一貫したゲインを提供する。
  論文  参考訳（メタデータ） (2026-05-21T16:45:31Z)
• Recover to Predict: Progressive Retrospective Learning for Variable-Length Trajectory Prediction [34.346912198889505]
  軌道予測は自律運転において重要であり、密集した動的交通における安全かつ効率的な計画を可能にする。 既存の手法の多くは、固定長観測下での予測精度を最適化している。 一般的な戦略は、不完全な観察から完全な観察から直接特徴をマッピングすることである。 しかし、このワンショットマッピングは、重要な情報ギャップのため、短い軌跡の正確な表現を学ぶのに苦労している。 本稿では,不完全な観察から特徴を徐々に整列させるプログレッシブ・レトロスペクティブ・フレームワーク(PRF)を提案する。
  論文  参考訳（メタデータ） (2026-03-11T09:51:22Z)
• General and Efficient Steering of Unconditional Diffusion [25.225845714398364]
  非条件拡散を効率的に操るレシピを提案する。 推測中は 勾配誘導なしで 本手法は拡散モデル構造に関する2つの観測に基づいて構築されている。 CIFAR-10、ImageNet、CelebAの実験では、精度/品質のオーバーベース勾配ガイダンスが改善された。
  論文  参考訳（メタデータ） (2026-02-11T21:58:26Z)
• Cascaded Regression Tracking: Towards Online Hard Distractor Discrimination [202.2562153608092]
  本稿では,2段階の逐次回帰トラッカーを提案する。 第1段階では, 容易に同定可能な負の候補を抽出する。 第2段階では、残留するあいまいな硬質試料をダブルチェックするために、離散サンプリングに基づくリッジ回帰を設計する。
  論文  参考訳（メタデータ） (2020-06-18T07:48:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。