論文の概要: Adaptive Reward Routing: Dynamic Multi-Reward Optimization for Joint Audio-Video Diffusion via Forward-Process RL

• arxiv url: http://arxiv.org/abs/2609.37200v1
• Date: Tue, 29 Sep 2026 10:18:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.41608
• Title: Adaptive Reward Routing: Dynamic Multi-Reward Optimization for Joint Audio-Video Diffusion via Forward-Process RL
• Title（参考訳）: Adaptive Reward Routing: Dynamic Multi-Reward Optimization for Joint Audio-Video Diffusion via Forward-Process RL
• Abstract要約: RL(Multi-Reward guided reinforcement learning)は、共同音声・ビデオ拡散モデルを改善するための有望な方法である。 その効果は、トレーニング中に変化する2つの量に依存する。 本稿では,前処理RL中の更新位置と報酬調整を協調的に適応する適応リワードルーティングを提案する。
• 参考スコア（独自算出の注目度）: 35.11130845874191
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Multi-reward guided reinforcement learning (i.e., RL) offers a promising way to improve joint audio-video diffusion models along several complementary objectives, including modality-specific quality, cross-modal semantic alignment, and temporal synchronization. Its effectiveness, however, depends on two quantities that change during training: where reward-driven updates should act, and how competing rewards should be combined. Existing methods tend to rely on fixed routing and reward weights, failing to track evolving model functions. To address these limitations, we propose Adaptive Reward Routing to jointly adapt update locations and reward coordination during forward-process RL (i.e., DiffusionNFT) of joint audio-video diffusion models. Our method consists of two components. (i) Cross-Modal Influence-Guided Routing (Localizing Updates): We use bidirectional cross-attention responses as an efficient proxy for evolving cross-modal influence, dynamically reweighting token-aware losses and scaling gradients across cross-modal layers without additional model interventions. (ii) Preference-Preserving Modality-Aware Reweighting (Coordinating Rewards): We preserve predefined weights as preference priors and use branch-specific reward-gradient interactions as residual corrections after warm-up. This resolves evolving conflicts without letting dominant rewards suppress weak but essential objectives. Extensive experiments demonstrate consistent improvements in modality quality, semantic consistency, and audio-video synchronization over strong RL baselines. Ablations and mechanism analyses further validate the complementary benefits of adaptive update routing and reward coordination.
• Abstract（参考訳）: RL(Multi-Reward guided reinforcement learning)は、モーダル固有の品質、モーダル間のセマンティックアライメント、時間同期など、いくつかの相補的な目的に沿って、ジョイントオーディオとビデオの拡散モデルを改善するための有望な方法を提供する。 しかし、その効果は、トレーニング中に変化する2つの量に依存する。 既存の手法は、固定されたルーティングと報酬の重み付けに依存し、進化するモデル関数を追跡できない傾向にある。 これらの制約に対処するため、我々は、共同音声・ビデオ拡散モデルの前方処理RL(DiffusionNFT)において、更新位置と報酬調整を共同で適応するAdaptive Reward Routingを提案する。 我々の方法は2つの構成要素から成る。 (i)クロスモーダル・インフルエンス・ガイド・ルーティング(ローカライズ・アップデート) クロスモーダル・インフルエンス・アテンション・レスポンスを、クロスモーダル・インフルエンスを進化させ、トークン・アウェア・ロスを動的に再重み付けし、追加のモデル介入なしにクロスモーダル・レイヤ間の勾配を拡大するための効率的なプロキシとして使用します。 (II) 優先保存モード・アウェア・リウェイトリング(コーディネート・リウェイト・リウェイト) 事前定義された重みを優先優先として保存し, 温暖化後の残差補正として分枝特異的報酬・漸進的相互作用を用いる。 これは、支配的な報酬が弱いが本質的な目的を抑えることなく、進化する紛争を解決する。 大規模な実験では、強いRLベースライン上でのモダリティ品質、セマンティック一貫性、オーディオ-ビデオ同期が一貫した改善を示している。 アブレーションとメカニズム解析は、適応更新ルーティングと報酬調整の相補的な利点をさらに検証する。

関連論文リスト

• AV-GRPO: Modality-Anchored Decoupling Diffusion Reinforcement Learning for Joint Audio-Video Generation [20.113831634562743]
  共同音声・ビデオ生成のためのモダリティ対応オンライン拡散RLフレームワークを提案する。 AV-GRPOは3つの重要なモジュールを含む: 学習信号のアンコレッドロールアウトと難易度を安定させる; (2) トラジェクトリロックされたフリーズ・トウワーの最適化によりコストと再割り当てを低減; (3) 適応目的と摂動強度をモダリティ固有力学に合わせて調整する。 JavisBench と VABench の実験では、AV-GRPO が LTX-2.3 の生成品質、セマンティックアライメント、LoRA 下でのクロスモーダル同期、およびフル微調整で優れていることを示した。
  論文  参考訳（メタデータ） (2026-09-24T13:53:05Z)
• Selective Timestep Weighting and Advantage-Based Replay for Sample-Efficient Diffusion RLHF [47.179011318017835]
  人間からのフィードバックからの強化学習(RLHF)は、生成モデルと人間の嗜好を整合させる強力なパラダイムとして現れている。 拡散モデルへのRLHFの適用は、既存のアプローチでは、通常、大量の人間または報酬モデルの評価を必要とするため、非常にフィードバックの少ないままである。 本稿では,拡散RLHFのフィードバック効率を大幅に向上する2つの補完戦略を提案する。
  論文  参考訳（メタデータ） (2026-07-08T17:49:49Z)
• Efficient Reinforcement for Visual-Textual Thinking with Discrete Diffusion Model [70.56994065819471]
  マルチモーダル離散拡散モデル(英語版)は、インターリーブ推論における強化学習のためのARモデルの効果的な代替手段である。 共同報酬代入は、モダリティ間で共有報酬信号を使用し、RL更新中に相互干渉を導入する。 テキストと視覚セグメントに独立して報酬を割り当てる戦略である因子化報酬割り当てを提案する。
  論文  参考訳（メタデータ） (2026-06-11T07:33:46Z)
• Explicit Critic Guidance for Aligning Diffusion Models [27.6704888666835]
  拡散後学習のための状態整列型アクター批判フレームワークを提案する。 提案手法は, グループリレーショナルRLとアクタークリティックベースラインを, シングルリワード, マルチリワードベンチマークで連続的に上回っている。
  論文  参考訳（メタデータ） (2026-05-26T22:20:51Z)
• TMPO: Trajectory Matching Policy Optimization for Diverse and Efficient Diffusion Alignment [52.570581883709345]
  本稿では,報酬を人間レベルの報酬分布マッチングに置き換えるトラジェクティブマッチングポリシバランス最適化(TMPO)を提案する。 TMPOは最先端の手法に対する生成的多様性を9.1%向上させ、下流および効率の指標で競合性能を達成する。 大規模フロープレフィックスのマルチトラックトレーニング時間を短縮するため、TMPOはDynamic Tree Smplingモデルを導入し、動的にスケジュールされたステップでトラジェクトリがdenoisingとブランチを共有する。
  論文  参考訳（メタデータ） (2026-05-09T04:41:02Z)
• Diffusion-APO: Trajectory-Aware Direct Preference Alignment for Video Diffusion Transformers [12.948398661304184]
  Diffusion-APOは、ビデオ拡散モデルと人間の意図を一致させる軌跡認識アルゴリズムである。 オンラインランキング、半オンラインアンカー、オフラインリファインメント、蒸留対応ドリフト補正を統合した統一かつモジュール化されたRLHFフレームワークを導入する。 本研究では,Diffusion-APOが視覚的品質と指示の基準線を一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2026-05-08T09:37:46Z)
• Learning to Credit the Right Steps: Objective-aware Process Optimization for Visual Generation [57.61006679699323]
  強化学習は人間の嗜好信号を用いた視覚生成モデルの訓練後の効果的な枠組みとして登場した。 現代の視覚生成では、視覚的品質、動きの整合性、テキストアライメントなどの不均一な目的を捉えるために、複数の報酬モデルがしばしば使用される。 GRPO の微粒化学習のための構造化フレームワークである Objective-Aware Trajectory Credit Assignment (OTCA) を提案する。
  論文  参考訳（メタデータ） (2026-04-21T08:37:13Z)
• Reward Score Matching: Unifying Reward-based Fine-tuning for Flow and Diffusion Models [54.597200388738656]
  Reward-based fine-tuningは、事前訓練された拡散またはフローベース生成モデルを、より高い逆サンプルに向けて操ることを目的としている。 報酬スコアマッチング (RSM) と呼ばれる共通フレームワークで記述できることが示される。
  論文  参考訳（メタデータ） (2026-04-19T12:47:52Z)
• ROCM: RLHF on consistency models [8.905375742101707]
  一貫性モデルにRLHFを適用するための報酬最適化フレームワークを提案する。 正規化戦略として様々な$f$-divergencesを調査し、報酬とモデルの一貫性のバランスを崩す。
  論文  参考訳（メタデータ） (2025-03-08T11:19:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。