論文の概要: AlphaGRPO: Unlocking Self-Reflective Multimodal Generation in UMMs via Decompositional Verifiable Reward

• arxiv url: http://arxiv.org/abs/2605.12495v1
• Date: Tue, 12 May 2026 17:59:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:57.08435
• Title: AlphaGRPO: Unlocking Self-Reflective Multimodal Generation in UMMs via Decompositional Verifiable Reward
• Title（参考訳）: AlphaGRPO:分解検証リワードによるUMMにおける自己反射型マルチモーダル生成のアンロック
• Authors: Runhui Huang, Jie Wu, Rui Yang, Zhe Liu, Hengshuang Zhao,
• Abstract要約: 我々はAlphaGRPOを提案し、追加のコールドスタートステージなしでマルチモーダル生成能力を向上する。 我々のアプローチは、高度な推論タスクを実行するためのモデルの本質的な可能性を解き放つ。 実世界のマルチモーダル世代を安定的に管理する上での課題に対処するために、DVReward(Decompositional Verifiable Reward)を導入する。
• 参考スコア（独自算出の注目度）: 52.7128440950672
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we propose AlphaGRPO, a novel framework that applies Group Relative Policy Optimization (GRPO) to AR-Diffusion Unified Multimodal Models (UMMs) to enhance multimodal generation capabilities without an additional cold-start stage. Our approach unlocks the model's intrinsic potential to perform advanced reasoning tasks: Reasoning Text-to-Image Generation, where the model actively infers implicit user intents, and Self-Reflective Refinement, where it autonomously diagnoses and corrects misalignments in generated outputs. To address the challenge of providing stable supervision for real-world multimodal generation, we introduce the Decompositional Verifiable Reward (DVReward). Unlike holistic scalar rewards, DVReward utilizes an LLM to decompose complex user requests into atomic, verifiable semantic and quality questions, which are then evaluated by a general MLLM to provide reliable and interpretable feedback. Extensive experiments demonstrate that AlphaGRPO yields robust improvements across multimodal generation benchmarks, including GenEval, TIIF-Bench, DPG-Bench and WISE, while also achieving significant gains in editing tasks on GEdit without training on editing tasks. These results validate that our self-reflective reinforcement approach effectively leverages inherent understanding to guide high-fidelity generation. Project page: https://huangrh99.github.io/AlphaGRPO/
• Abstract（参考訳）: 本稿では,AR-Diffusion Unified Multimodal Models (UMM) にグループ相対ポリシー最適化(GRPO)を適用した新たなフレームワークであるAlphaGRPOを提案する。 モデルが暗黙のユーザ意図を積極的に推論するテキスト・ツー・イメージ生成の推論と、生成した出力の誤りを自律的に診断し修正するセルフ・リフレクティブ・リファインメントである。 実世界のマルチモーダル世代を安定的に管理することの課題に対処するために,DVReward(Decompositional Verifiable Reward)を導入する。 全体的なスカラー報酬とは異なり、DVReward は LLM を用いて複雑なユーザリクエストをアトミックで検証可能なセマンティックおよび品質の質問に分解し、一般的なMLLM によって評価され、信頼性と解釈可能なフィードバックを提供する。 大規模な実験により、AlphaGRPOはGenEval、TIIF-Bench、DPG-Bench、WISEを含むマルチモーダル世代ベンチマークで堅牢な改善を実現し、また、編集タスクをトレーニングすることなくGEdit上でタスクを編集する大きな進歩を達成している。 これらの結果から,我々の自己回帰的強化手法は,本質的な理解を効果的に活用し,高忠実度生成を導くことが検証された。 プロジェクトページ:https://huangrh99.github.io/AlphaGRPO/

関連論文リスト

• ReVEL: Multi-Turn Reflective LLM-Guided Heuristic Evolution via Structured Performance Feedback [0.0]
  ReVEL: 構造化性能フィードバックによるマルチTurn反射型LLM-Huristic Evolutionを提案する。 ReVELの中核は、(i)パフォーマンスに目立ったグループ化と(ii)マルチターンフィードバック駆動リフレクションの2つのメカニズムにある。 本結果は,自動設計の原則的パラダイムとして,構造化グループを用いたマルチターン推論に注目した。
  論文  参考訳（メタデータ） (2026-03-05T04:52:11Z)
• Endogenous Reprompting: Self-Evolving Cognitive Alignment for Unified Multimodal Models [23.128973540926552]
  内因性再増殖は、モデルの理解を明確な生成的推論ステップに変換する。 評価精度,再現効率,生成品質において,SEERは一貫して最先端のベースラインを上回っていることを示す。
  論文  参考訳（メタデータ） (2026-01-28T06:54:36Z)
• STAR: STacked AutoRegressive Scheme for Unified Multimodal Learning [37.68078190711403]
  STAR:STacked AutoRegressive scheme for task-progressive unified multimodal learning。 このアプローチはマルチモーダル学習を理解、生成、編集という複数の段階に分解する。 実験により、STARがGenEval(0.91)、DPG-Bench(87.44)、ImgEdit(4.34)の最先端性能を達成することが示された。
  論文  参考訳（メタデータ） (2025-12-15T07:02:59Z)
• MURPHY: Multi-Turn GRPO for Self Correcting Code Generation [55.66642560374686]
  Murphyは、トレーニング中に反復的な自己補正を導入することでGRPOを拡張するマルチターン反射最適化フレームワークである。 Murphy は GRPO に対して 8% の相対的な利得を達成し,同様の計算予算で性能を継続的に向上することを示す。
  論文  参考訳（メタデータ） (2025-11-11T05:03:22Z)
• UME-R1: Exploring Reasoning-Driven Generative Multimodal Embeddings [70.60608084375691]
  我々は、生成的埋め込みの探索の先駆者であり、生成的パラダイム内の埋め込みタスクを統合する。 UME-R1は,2段階のトレーニング戦略からなる汎用なマルチモーダル埋め込みフレームワークである。 ビデオ、画像、ビジュアルドキュメントにまたがる78タスクにわたるMMEB-V2ベンチマークで評価した。
  論文  参考訳（メタデータ） (2025-11-01T05:04:23Z)
• ReVeal: Self-Evolving Code Agents via Reliable Self-Verification [11.875519107421312]
  自己検証とツールベースの評価を通じてコード生成を進化させる強化学習フレームワークであるReVealを紹介する。 推論において、この強化された自己検証により、3つしかトレーニングされていないLiveCodeBenchでは、自己構築されたテストとツールフィードバックを使用して、20ターン以上のコードを継続的に進化させることができる。 これらの調査結果は、RLトレーニングとテストタイムスケーリングのためのスケーラブルなパラダイムとしてのReVealの約束を強調し、より堅牢で自律的なAIエージェントへの道を開いた。
  論文  参考訳（メタデータ） (2025-06-13T03:41:04Z)
• SUDER: Self-Improving Unified Large Multimodal Models for Understanding and Generation with Dual Self-Rewards [55.99492656542475]
  textbfSDER (textbfSelf-improving textbfUnified LMMs with textbfDual stextbfElf-textbfRewards) を提案する。
  論文  参考訳（メタデータ） (2025-06-09T17:38:45Z)
• MLE-Dojo: Interactive Environments for Empowering LLM Agents in Machine Learning Engineering [57.156093929365255]
  自律型大規模言語モデル(LLM)エージェントを体系的に強化し、評価し、改善するためのガイムスタイルのフレームワーク。 MLE-Dojoは、現実的なエンジニアリングシナリオを反映した、多様でオープンなMLEタスクを慎重にキュレートする。 完全に実行可能な環境は、教師付き微調整と強化学習の両方を通して包括的なエージェントトレーニングをサポートする。
  論文  参考訳（メタデータ） (2025-05-12T17:35:43Z)
• Generate, Discriminate, Evolve: Enhancing Context Faithfulness via Fine-Grained Sentence-Level Self-Evolution [61.80716438091887]
  GenDiE (Generate, Discriminate, Evolve) は、微粒な文レベルの最適化によって文脈忠実性を高める新しい自己進化フレームワークである。 応答中の各文を独立した最適化単位として扱うことで、GenDiEは以前のアプローチの限界に効果的に対処する。 ASQA(ドメイン内のLFQA)とConFiQAデータセットの実験は、GenDiEが忠実さと正しさの両方で様々なベースラインを超えることを示した。
  論文  参考訳（メタデータ） (2025-03-03T16:08:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。