論文の概要: AV-GRPO: Modality-Anchored Decoupling Diffusion Reinforcement Learning for Joint Audio-Video Generation

• arxiv url: http://arxiv.org/abs/2609.29816v3
• Date: Mon, 28 Sep 2026 12:36:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-29 21:31:51.803177
• Title: AV-GRPO: Modality-Anchored Decoupling Diffusion Reinforcement Learning for Joint Audio-Video Generation
• Title（参考訳）: AV-GRPO:共同オーディオ映像生成のためのモダリティアンカレートデカップリング拡散強化学習
• Abstract要約: 共同音声・ビデオ生成のためのモダリティ対応オンライン拡散RLフレームワークを提案する。 AV-GRPOは3つの重要なモジュールを含む: 学習信号のアンコレッドロールアウトと難易度を安定させる; (2) トラジェクトリロックされたフリーズ・トウワーの最適化によりコストと再割り当てを低減; (3) 適応目的と摂動強度をモダリティ固有力学に合わせて調整する。 JavisBench と VABench の実験では、AV-GRPO が LTX-2.3 の生成品質、セマンティックアライメント、LoRA 下でのクロスモーダル同期、およびフル微調整で優れていることを示した。
• 参考スコア（独自算出の注目度）: 20.113831634562743
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent years have witnessed major progress in joint audio-video generation. Existing models still suffer from limited per-modality fidelity, insufficient text-modality alignment and weak cross-modal synchronization. While reinforcement-learning post-training offers a promising remedy, directly adapting it to joint audio-video generation is challenging. Heterogeneous multimodal rewards entangle learning signals and complicate credit assignment. Joint optimization of two modality towers is computationally expensive given their divergent dynamics. Moreover, synchronization evaluation difficulty depends on paired samples, preventing fair reward comparisons. We propose AV-GRPO, a modality-anchored online diffusion RL framework, and 5DAV, a decoupled, difficulty-controllable training dataset. AV-GRPO includes three key modules: (1) modality-anchored rollouts to disentangle learning signals and stabilize difficulty; (2) trajectory-locked frozen-tower optimization to reduce cost and reassign credit; (3) adaptive objectives and perturbation strengths tailored to modality-specific dynamics. This converts coupled multimodal preference learning into unimodal subproblems for precise reward attribution and better synchronization. Our 5DAV dataset decouples samples across five dimensions for systematic training. Experiments on JavisBench and VABench demonstrate AV-GRPO outperforms LTX-2.3 in generation quality, semantic alignment and cross-modal synchronization under LoRA and full fine-tuning. Ablations confirm our designs. Code and data: https://github.com/zhiyuxu03/AV-GRPO
• Abstract（参考訳）: 近年,共同音声・ビデオ生成の進歩が目覚ましい。 既存のモデルでは、モダリティごとの忠実度が制限され、テキスト・モダリティのアライメントが不十分で、モダリティ間の同期が弱い。 強化学習のポストトレーニングは、有望な治療法を提供するが、それを共同オーディオビデオ生成に直接適応させることは難しい。 不均一なマルチモーダル報酬は、学習信号を絡ませ、信用代入を複雑にする。 2つのモジュラー塔の連成最適化は、その分岐力学を考えると計算コストが高い。 さらに、同期評価の難しさは、ペア化されたサンプルに依存し、公正な報酬比較を防止する。 モダリティ対応オンライン拡散RLフレームワークであるAV-GRPOと、分離された難易度制御可能なトレーニングデータセットである5DAVを提案する。 AV-GRPO は,(1) 学習信号の切り離しと難易度を安定させるモダリティアンカレッドロールアウト,(2) コスト削減と再割り当てのためのトラジェクトリロックフリーズ・トウワー最適化,(3) 適応的目的と摂動強度を, モーダリティ固有力学に適合させる。 これにより、結合されたマルチモーダル選好学習を、正確な報奨属性とより良い同期のために、一様サブプロブレムに変換する。 5DAVデータセットは、体系的なトレーニングのために5次元にわたるサンプルを分離します。 JavisBench と VABench の実験では、AV-GRPO が LTX-2.3 の生成品質、セマンティックアライメント、LoRA 下でのクロスモーダル同期、およびフル微調整で優れていることを示した。 アブレーションは私たちの設計を確認します。 コードとデータ:https://github.com/zhiyuxu03/AV-GRPO

関連論文リスト

• Training data attribution in diffusion models via mirrored unlearning and noise-consistent skew [37.305953456688606]
  トレーニングデータ属性(TDA)は、生成モデル解釈を可能にし、様々な下流タスクを育成する。 現在のTDAアプローチは信頼性と堅牢性に欠けており、現実のセットアップでは採用されない。 我々は、ミラー化未学習および雑音持続スキュー(MUCS)を用いてTDAを実行することを提案する。
  論文  参考訳（メタデータ） (2026-05-18T06:52:26Z)
• Mutual Forcing: Dual-Mode Self-Evolution for Fast Autoregressive Audio-Video Character Generation [86.69465782855086]
  Mutual Forcingは、長時間のオーディオ-ビデオ同期を伴う高速自動回帰オーディオ-ビデオ生成のためのフレームワークである。 提案手法は,ジョイント・オーディオ・ビデオ・モデリングと高速自己回帰生成という2つの課題に対処する。
  論文  参考訳（メタデータ） (2026-04-28T16:28:05Z)
• Team RAS in 10th ABAW Competition: Multimodal Valence and Arousal Estimation Approach [53.64487844936037]
  本手法は,顔,行動,音声の3つの相補的なモードを組み合わせる。 実験により,提案したマルチモーダル核融合戦略は, Aff-Wild2 開発セット上で0.658 の一致相関係数(CCC)を達成することを示した。
  論文  参考訳（メタデータ） (2026-03-13T15:06:14Z)
• VADE: Variance-Aware Dynamic Sampling via Online Sample-Level Difficulty Estimation for Multimodal RL [38.782188833641676]
  GRPOやGSPOのようなグループベースのポリシー最適化手法は、マルチモーダルモデルのトレーニングの標準となっている。 グループ内のすべての応答が同じ報酬を受けると、それらは致命的な急激な消滅問題に悩まされる。 textbfVADEは,オンラインサンプルレベルの難易度を用いたサンプリングフレームワークである。
  論文  参考訳（メタデータ） (2025-11-24T08:59:54Z)
• Dual-Stream Diffusion for World-Model Augmented Vision-Language-Action Model [62.889356203346985]
  本稿では,モダリティ競合を処理する世界モデル拡張VLAフレームワークである Dual-STream diffusion (DUST) を提案する。 DUSTは標準のVLAベースラインと暗黙のワールドモデリングメソッドよりも最大6%向上する。 Franka Research 3による実世界のタスクでは、DUSTは成功率のベースラインを13%上回っている。
  論文  参考訳（メタデータ） (2025-10-31T16:32:12Z)
• MMR1: Enhancing Multimodal Reasoning with Variance-Aware Sampling and Open Resources [113.33902847941941]
  VAS (Variance-Aware Sampling) は、Variance Promotion Score (VPS) によって導かれるデータ選択戦略である。 我々は、1.6MのCoT冷間開始データと15kのRLQAペアを含む大規模かつ慎重にキュレートされたリソースをリリースする。 数学的推論ベンチマークによる実験では、キュレートされたデータと提案されたVASの有効性が示されている。
  論文  参考訳（メタデータ） (2025-09-25T14:58:29Z)
• MoCa: Modality-aware Continual Pre-training Makes Better Bidirectional Multimodal Embeddings [75.0617088717528]
  MoCaは、トレーニング済みのVLMバックボーンを効果的な双方向埋め込みモデルに変換するためのフレームワークである。 MoCaは、MMEBとViDoRe-v2ベンチマークのパフォーマンスを継続的に改善し、新しい最先端の結果を達成する。
  論文  参考訳（メタデータ） (2025-06-29T06:41:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。