論文の概要: Advancing Multimodal Reasoning Capabilities of Multimodal Large Language Models via Visual Perception Reward

• arxiv url: http://arxiv.org/abs/2506.07218v1
• Date: Sun, 08 Jun 2025 16:48:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:10.717129
• Title: Advancing Multimodal Reasoning Capabilities of Multimodal Large Language Models via Visual Perception Reward
• Title（参考訳）: 視覚的知覚リワードによる多モーダル大言語モデルのマルチモーダル推論能力の向上
• Authors: Tong Xiao, Xin Xu, Zhenya Huang, Hongyu Gao, Quan Liu, Qi Liu, Enhong Chen,
• Abstract要約: 本稿では,MLLMに視覚内容の正確な知覚を促す新しい視覚認識報酬を導入するPerception-R1を提案する。 本稿では,Perception-R1が1,442のトレーニングデータのみを用いて,ほとんどのベンチマークで最先端のパフォーマンスを実現することを示す。
• 参考スコア（独自算出の注目度）: 87.06604760273372
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Enhancing the multimodal reasoning capabilities of Multimodal Large Language Models (MLLMs) is a challenging task that has attracted increasing attention in the community. Recently, several studies have applied Reinforcement Learning with Verifiable Rewards (RLVR) to the multimodal domain in order to enhance the reasoning abilities of MLLMs. However, these works largely overlook the enhancement of multimodal perception capabilities in MLLMs, which serve as a core prerequisite and foundational component of complex multimodal reasoning. Through McNemar's test, we find that existing RLVR method fails to effectively enhance the multimodal perception capabilities of MLLMs, thereby limiting their further improvement in multimodal reasoning. To address this limitation, we propose Perception-R1, which introduces a novel visual perception reward that explicitly encourages MLLMs to perceive the visual content accurately, thereby can effectively incentivizing both their multimodal perception and reasoning capabilities. Specifically, we first collect textual visual annotations from the CoT trajectories of multimodal problems, which will serve as visual references for reward assignment. During RLVR training, we employ a judging LLM to assess the consistency between the visual annotations and the responses generated by MLLM, and assign the visual perception reward based on these consistency judgments. Extensive experiments on several multimodal reasoning benchmarks demonstrate the effectiveness of our Perception-R1, which achieves state-of-the-art performance on most benchmarks using only 1,442 training data.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)のマルチモーダル推論能力の強化は,コミュニティの注目を集めている課題である。 近年,MLLMの推論能力を高めるために,Reinforcement Learning with Verifiable Rewards (RLVR) をマルチモーダル領域に適用する研究がいくつかある。 しかし、これらの研究は、複雑なマルチモーダル推論の中核となる前提条件と基礎となるMLLMにおけるマルチモーダル認識能力の強化を概ね見落としている。 McNemarのテストにより、既存のRLVR法はMLLMのマルチモーダル認識能力を効果的に向上することができず、これによりマルチモーダル推論のさらなる改善が制限されることがわかった。 この制限に対処するために,MLLMが視覚的コンテンツを正確に知覚することを明示的に促す新しい視覚認識報酬を導入したPerception-R1を提案する。 具体的には,まず,マルチモーダル問題のCoTトラジェクトリからテキストによる視覚アノテーションを収集し,報酬付与のための視覚的参照として機能する。 RLVRトレーニングでは,MLLMが生成する視覚アノテーションと応答との整合性を評価し,これらの整合性判定に基づいて視覚知覚報酬を割り当てる。 複数のマルチモーダル推論ベンチマークに対する大規模な実験は、ペルセプション-R1の有効性を示し、1,442のトレーニングデータのみを用いて、ほとんどのベンチマークで最先端のパフォーマンスを達成する。

関連論文リスト

• TAMP: Token-Adaptive Layerwise Pruning in Multimodal Large Language Models [23.916205754112774]
  MLLM(Multimodal Large Language Models)は多様なマルチモーダルデータやタスクを理解する上で,優れた汎用性を示している。 本稿では,MLLMに適した簡易かつ効果的な刈取フレームワークであるTAMPを提案する。 我々は、視覚言語タスク用に設計されたLLaVA-NeXTと、音声、視覚、言語モーダルを処理可能なVideoLLaMA2の2つの最先端MLLMに対して、本手法の有効性を検証する。
  論文  参考訳（メタデータ） (2025-04-14T05:44:38Z)
• OThink-MR1: Stimulating multimodal generalized reasoning capabilities via dynamic reinforcement learning [29.053899071144976]
  マルチモーダルタスク間の深い理解と推論機能を備えた高度なMLLMであるOThink-MR1を提案する。 具体的には,動的Kulback-Leibler戦略を用いたグループ相対政策最適化を提案する。 GRPO-DはSFTよりも5.72%以上、GRPOより13.59%以上向上した。
  論文  参考訳（メタデータ） (2025-03-20T12:22:18Z)
• VisFactor: Benchmarking Fundamental Visual Cognition in Multimodal Large Language Models [62.667142971664575]
  因子関連認知テスト(FRCT)から得られた新しいベンチマークであるVisFactorを紹介する。 VisFactorは視覚関連FRCTサブテストのデジタル化を行い、基本的な視覚認知タスク間でMLLMを体系的に評価する。 GPT-4o, Gemini-Pro, Qwen-VLなどの最先端MLLMの総合評価を行った。
  論文  参考訳（メタデータ） (2025-02-23T04:21:32Z)
• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• Understanding the Role of LLMs in Multimodal Evaluation Benchmarks [77.59035801244278]
  本稿では,MLLM評価におけるLarge Language Model (LLM)バックボーンの役割について検討する。 本研究は4つのMLLMベンチマークと8つの最先端MLLMベンチマークを含む。 鍵となる発見は、いくつかのベンチマークでは視覚的な入力がなくても高いパフォーマンスを実現しており、最大50%のエラーレートは、LLMバックボーンにおける不十分な世界的知識に起因していることを示している。
  論文  参考訳（メタデータ） (2024-10-16T07:49:13Z)
• NoteLLM-2: Multimodal Large Representation Models for Recommendation [71.87790090964734]
  大規模言語モデル(LLM)は、テキスト理解や埋め込みタスクにおいて、例外的な習熟度を示している。 マルチモーダル表現のポテンシャル、特にアイテムツーイテム(I2I)レコメンデーションについては、未解明のままである。 本稿では,既存のLLMと視覚エンコーダの統合をカスタマイズし,効率的なマルチモーダル表現を実現するエンド・ツー・エンドのファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2024-05-27T03:24:01Z)
• On the Performance of Multimodal Language Models [4.677125897916577]
  本研究は、異なるマルチモーダル命令チューニングアプローチの比較分析を行う。 大規模言語モデルにマルチモーダル機能を組み込む際に,アーキテクチャ選択を導く上で重要な洞察を明らかにする。
  論文  参考訳（メタデータ） (2023-10-04T23:33:36Z)
• A Survey on Multimodal Large Language Models [71.63375558033364]
  GPT-4Vで表されるマルチモーダル大言語モデル(MLLM)は、新たな研究ホットスポットとなっている。 本稿では,MLLMの最近の進歩を追跡・要約することを目的とする。
  論文  参考訳（メタデータ） (2023-06-23T15:21:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。