論文の概要: MindOmni: Unleashing Reasoning Generation in Vision Language Models with RGPO

• arxiv url: http://arxiv.org/abs/2505.13031v1
• Date: Mon, 19 May 2025 12:17:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.581272
• Title: MindOmni: Unleashing Reasoning Generation in Vision Language Models with RGPO
• Title（参考訳）: MindOmni: RGPOを用いた視覚言語モデルにおける推論生成
• Authors: Yicheng Xiao, Lin Song, Yukang Chen, Yingmin Luo, Yuxin Chen, Yukang Gan, Wei Huang, Xiu Li, Xiaojuan Qi, Ying Shan,
• Abstract要約: 近年のテキスト・ツー・イメージシステムは、マルチモーダル入力や複雑な推論タスクの処理において制限に直面している。 我々は、強化学習による推論生成を取り入れ、これらの課題に対処する統合マルチモーダルな大規模言語モデルであるMind Omniを紹介する。
• 参考スコア（独自算出の注目度）: 87.52631406241456
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent text-to-image systems face limitations in handling multimodal inputs and complex reasoning tasks. We introduce MindOmni, a unified multimodal large language model that addresses these challenges by incorporating reasoning generation through reinforcement learning. MindOmni leverages a three-phase training strategy: i) design of a unified vision language model with a decoder-only diffusion module, ii) supervised fine-tuning with Chain-of-Thought (CoT) instruction data, and iii) our proposed Reasoning Generation Policy Optimization (RGPO) algorithm, utilizing multimodal feedback to effectively guide policy updates. Experimental results demonstrate that MindOmni outperforms existing models, achieving impressive performance on both understanding and generation benchmarks, meanwhile showcasing advanced fine-grained reasoning generation capabilities, especially with mathematical reasoning instruction. All codes will be made public at \href{https://github.com/EasonXiao-888/MindOmni}{https://github.com/EasonXiao-888/MindOmni}.
• Abstract（参考訳）: 近年のテキスト・ツー・イメージシステムは、マルチモーダル入力や複雑な推論タスクの処理において制限に直面している。 我々は、強化学習による推論生成を取り入れ、これらの課題に対処する統合マルチモーダルな大規模言語モデルであるMindOmniを紹介する。 MindOmniは3段階のトレーニング戦略を活用している。 一 復号器のみの拡散モジュールを備えた統合視覚言語モデルの設計 二 Chain-of-Thought(CoT)命令データによる微調整の監督及び 三 ポリシー更新を効果的に導くために、マルチモーダルフィードバックを利用した推論生成ポリシー最適化(RGPO)アルゴリズムを提案する。 実験の結果、MindOmniは既存のモデルよりも優れており、理解と生成のベンチマークにおいて優れた性能を発揮し、一方で、特に数学的推論の指導において、高度な微粒な推論生成能力を示した。 すべてのコードは \href{https://github.com/EasonXiao-888/MindOmni}{https://github.com/EasonXiao-888/MindOmni} で公開される。

関連論文リスト

• OpenVLThinker: An Early Exploration to Complex Vision-Language Reasoning via Iterative Self-Improvement [91.88062410741833]
  本研究では,類似の推論機能を大規模視覚言語モデル(LVLM)にうまく組み込むことができるか検討する。 本稿では,教師付き微調整(SFT)と強化学習(RL)を反復的に活用し,モデル一般化をさらに改善する手法を検討する。 OpenVLThinkerは、MathVista、MathVerse、MathVisionといった挑戦的なベンチマークで一貫して改善された推論性能を示すLVLMである。
  論文  参考訳（メタデータ） (2025-03-21T17:52:43Z)
• MUSE-VL: Modeling Unified VLM through Semantic Discrete Encoding [6.538592344967826]
  本稿では,MUSE-VL(Unified Vision-Language Model Semantic)を紹介する。 提案手法は,従来のSOTA Emu3に比べて4.8%向上し,LLaVA-NeXT 34Bを3.7%上回った。
  論文  参考訳（メタデータ） (2024-11-26T03:33:52Z)
• MIO: A Foundation Model on Multimodal Tokens [74.85153216521945]
  マルチモーダルトークン上に構築された新しい基礎モデルMIOを紹介する。 MIOは、エンドツーエンドの自己回帰的な方法で、音声、テキスト、画像、ビデオを理解し、生成することができる。
  論文  参考訳（メタデータ） (2024-09-26T09:57:16Z)
• OmniBench: Towards The Future of Universal Omni-Language Models [63.16606414452612]
  OmniBenchは、視覚的、音響的、テキスト的入力を同時に認識し、解釈し、推論する能力を評価するために設計された新しいベンチマークである。 評価の結果,オープンソース OLM は三モーダル文脈における命令追従や推論に重大な制限があることが明らかとなった。 我々は,OLM性能を向上させるため,より堅牢な3モーダル統合技術とトレーニング戦略の開発を提唱する。
  論文  参考訳（メタデータ） (2024-09-23T17:59:05Z)
• Multimodal Chain-of-Thought Reasoning in Language Models [94.70184390935661]
  言語(テキスト)と視覚(画像)のモダリティを2段階のフレームワークに組み込んだマルチモーダルCoTを提案する。 その結果,ScienceQA と A-OKVQA のベンチマークは,提案手法の有効性を示した。
  論文  参考訳（メタデータ） (2023-02-02T07:51:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。