論文の概要: Unsupervised Post-Training for Multi-Modal LLM Reasoning via GRPO

• arxiv url: http://arxiv.org/abs/2505.22453v1
• Date: Wed, 28 May 2025 15:11:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.681965
• Title: Unsupervised Post-Training for Multi-Modal LLM Reasoning via GRPO
• Title（参考訳）: GRPOによるマルチモードLDM推論のための教師なし後訓練
• Authors: Lai Wei, Yuting Li, Chen Wang, Yue Wang, Linghe Kong, Weiran Huang, Lichao Sun,
• Abstract要約: MLLMの教師なし後学習のための簡易かつ効果的なフレームワークであるMM-UPTを提案する。 MM-UPTはGRPO上に構築され、従来の報酬信号を複数のサンプル応答に対する多数決に基づく自己回帰機構に置き換える。 実験により,MM-UPTはQwen2.5-VL-7Bの推論能力を大幅に向上することが示された。
• 参考スコア（独自算出の注目度）: 25.288796606275973
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Improving Multi-modal Large Language Models (MLLMs) in the post-training stage typically relies on supervised fine-tuning (SFT) or reinforcement learning (RL). However, these supervised methods require expensive and manually annotated multi-modal data--an ultimately unsustainable resource. While recent efforts have explored unsupervised post-training, their methods are complex and difficult to iterate. In this work, we are the first to investigate the use of GRPO, a stable and scalable online RL algorithm, for enabling continual self-improvement without any external supervision. We propose MM-UPT, a simple yet effective framework for unsupervised post-training of MLLMs. MM-UPT builds upon GRPO, replacing traditional reward signals with a self-rewarding mechanism based on majority voting over multiple sampled responses. Our experiments demonstrate that MM-UPT significantly improves the reasoning ability of Qwen2.5-VL-7B (e.g., 66.3 %$\rightarrow$72.9 % on MathVista, 62.9 %$\rightarrow$68.7 % on We-Math), using standard dataset without ground truth labels. MM-UPT also outperforms prior unsupervised baselines and even approaches the results of supervised GRPO. Furthermore, we show that incorporating synthetic questions, generated solely by MLLM itself, can boost performance as well, highlighting a promising approach for scalable self-improvement. Overall, MM-UPT offers a new paradigm for continual, autonomous enhancement of MLLMs in the absence of external supervision. Our code is available at https://github.com/waltonfuture/MM-UPT.
• Abstract（参考訳）: ポストトレーニング段階におけるMLLM(Multi-modal Large Language Model)の改善は、典型的には教師付き微調整(SFT)や強化学習(RL)に依存している。 しかし、これらの教師付き手法は高価で手動で注釈付けされたマルチモーダルデータを必要とする。 最近の研究では教師なしのポストトレーニングが検討されているが、それらの手法は複雑で反復が難しい。 本研究では,安定かつスケーラブルなオンラインRLアルゴリズムであるGRPOを用いて,外部監視のない継続的自己改善を実現する。 MLLMの教師なし後学習のための簡易かつ効果的なフレームワークであるMM-UPTを提案する。 MM-UPTはGRPO上に構築され、従来の報酬信号を複数のサンプル応答に対する多数決に基づく自己回帰機構に置き換える。 実験の結果, MM-UPT はQwen2.5-VL-7B (e g , 66.3 %$\rightarrow$72.9 %, 62.9 %$\rightarrow$68.7 %) の推論能力を大幅に向上することが示された。 MM-UPTは、教師なしベースラインよりも優れており、教師なしGRPOの結果にもアプローチしている。 さらに,MLLM自体によってのみ生成される合成質問を組み込むことで,性能の向上が図られ,スケーラブルな自己改善のための有望なアプローチが浮かび上がっていることを示す。 総じて、MM-UPTは外部の監督がない場合にMLLMを継続的に自律的に拡張するための新しいパラダイムを提供する。 私たちのコードはhttps://github.com/waltonfuture/MM-UPT.comで利用可能です。

関連論文リスト

• Agentic Reinforced Policy Optimization [66.96989268893932]
  検証可能な報酬付き大規模強化学習(RLVR)は,大規模言語モデル(LLM)を単一ターン推論タスクに活用する効果を実証している。 現在のRLアルゴリズムは、モデル固有のロングホライゾン推論能力と、マルチターンツールインタラクションにおけるその習熟性のバランスが不十分である。 エージェント強化ポリシー最適化(ARPO: Agentic Reinforced Policy Optimization)は,マルチターンLDMエージェントを学習するためのエージェントRLアルゴリズムである。
  論文  参考訳（メタデータ） (2025-07-26T07:53:11Z)
• Small LLMs Do Not Learn a Generalizable Theory of Mind via Reinforcement Learning [1.6114012813668932]
  小言語モデル(LLM)は、精神の理論(ToM)能力の開発に苦慮している。 長いRLトレーニングは、トレーニングデータセットの統計パターンをハッキングするモデルにつながる。 これは学習された振る舞いが、真の抽象的なToM能力の獲得ではなく、狭いオーバーフィッティングの形式であることを示唆している。
  論文  参考訳（メタデータ） (2025-07-21T16:47:59Z)
• High-Resolution Visual Reasoning via Multi-Turn Grounding-Based Reinforcement Learning [43.8114307203968]
  最先端の大規模マルチモーダルモデル (LMM) は高解像度画像処理において課題に直面している。 本稿では,多ターン接地型政策最適化(MGPO)を提案する。 MGPOは、LMMが自動的にサブイメージをトリミングすることで、鍵となる視覚領域に反復的に焦点を合わせることを可能にする。
  論文  参考訳（メタデータ） (2025-07-08T12:05:05Z)
• How to Train Your LLM Web Agent: A Statistical Diagnosis [102.04125085041473]
  LLMウェブエージェントのポストトレーニングにおける計算割当に関する統計学的基礎研究について述べる。 提案手法では,Llama 3.1 8Bの学生を対象に,教師付き微調整(SFT)とオンライン強化学習を用いて,Llama 3.3 70Bの教師を模倣する2段階のパイプラインを用いた。 以上の結果から,SFTとオンラインRLの組み合わせは,WorkArenaとMiniWob++のいずれにおいても,単独でのアプローチよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2025-07-05T17:12:33Z)
• Heterogeneous Group-Based Reinforcement Learning for LLM-based Multi-Agent Systems [25.882461853973897]
  本稿では、相対報酬の利点を推定して政策更新を導くマルチエージェント不均一グループ政策最適化(MHGPO)を提案する。 MHGPOは、批判的ネットワークの必要性を排除し、安定性を向上し、計算オーバーヘッドを減らす。 また,効率性と有効性を両立させる3つのグループロールアウトサンプリング戦略も導入する。
  論文  参考訳（メタデータ） (2025-06-03T10:17:19Z)
• Will Pre-Training Ever End? A First Step Toward Next-Generation Foundation MLLMs via Self-Improving Systematic Cognition [89.50068130832635]
  自己改善認知 (SIcog) は、マルチモーダル知識によって次世代のMLLMを構築するための自己学習フレームワークである。 ステップバイステップの視覚的理解のためのChain-of-Descriptionを提案し、詳細なマルチモーダル推論をサポートするために構造化されたChain-of-Thought(CoT)推論を統合する。 実験は、マルチモーダル認知を増強したMLLMの開発におけるSIcogの有効性を示す。
  論文  参考訳（メタデータ） (2025-03-16T00:25:13Z)
• MM-Eureka: Exploring the Frontiers of Multimodal Reasoning with Rule-based Reinforcement Learning [55.82649731348012]
  MMK12データセットとMM-EUREKAを7B,32Bパラメータで導入する。 前者は、人間の検証された答えと解法を含む多様な知識領域を特徴とする高品質なマルチモーダル数学推論データセットである。 後者は,オンラインフィルタリングを利用したルールベース強化学習と,トレーニング安定性を高めるための2段階トレーニング戦略を用いたマルチモーダルモデルである。
  論文  参考訳（メタデータ） (2025-03-10T14:23:12Z)
• Large Language Model-Enhanced Multi-Armed Bandits [43.34246396804588]
  大規模言語モデル(LLM)は、マルチアーム・バンディット(MAB)のようなシーケンシャルな意思決定タスクを解決するために採用されている。 古典的MABとLLMの強みを組み合わせた代替手法を提案する。 実世界のテキストデータセットを用いて設計したMABタスクと実験の両方を用いて経験的評価を行う。
  論文  参考訳（メタデータ） (2025-02-03T07:19:05Z)
• URSA: Understanding and Verifying Chain-of-thought Reasoning in Multimodal Mathematics [23.80647785460245]
  Process Reward Models (PRM) は、大規模言語モデルの数学的推論能力を高めることを約束している。 マルチモーダル数学的推論におけるPRMの可能性を解き明かすための第一歩を踏み出す。 URSAは3段階のUnfolding Multimodal Process-Supervision Aided Trainingフレームワークである。
  論文  参考訳（メタデータ） (2025-01-08T18:49:41Z)
• 7B Fully Open Source Moxin-LLM -- From Pretraining to GRPO-based Reinforcement Learning Enhancement [42.10844666788254]
  Moxin 7Bは、オープンサイエンス、オープンソース、オープンデータ、オープンアクセスの原則に準拠した、完全にオープンソースのLarge Language Models (LLM) である。 トレーニング済みのコードと設定、トレーニングと微調整のデータセット、中間および最終チェックポイントをリリースします。 実験により, ゼロショット評価, 少数ショット評価, CoT評価など, 各種評価において, 優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2024-12-08T02:01:46Z)
• MALT: Improving Reasoning with Multi-Agent LLM Training [66.9481561915524]
  MALT(Multi-Agent LLM Training)は、推論プロセスを生成、検証、改善ステップに分割する、新しいポストトレーニング戦略である。 MATH、GSM8K、CSQAでは、MALTは、それぞれ15.66%、7.42%、9.40%の相対的な改善で同じベースラインLLMを上回っている。
  論文  参考訳（メタデータ） (2024-12-02T19:30:36Z)
• Language Models are Hidden Reasoners: Unlocking Latent Reasoning Capabilities via Self-Rewarding [74.31981011985681]
  大きな言語モデル(LLM)は印象的な機能を示しているが、それでも複数のステップを必要とする複雑な推論タスクに苦戦している。 LaTRO(LaTent Reasoning Optimization)は、潜在分布からのサンプリングとして推論を定式化するためのフレームワークである。 複数のモデルアーキテクチャを用いて、GSM8KおよびARC-Challengeデータセットの実験を通してLaTROを検証する。
  論文  参考訳（メタデータ） (2024-11-06T22:02:30Z)
• Mono-InternVL: Pushing the Boundaries of Monolithic Multimodal Large Language Models with Endogenous Visual Pre-training [48.455597568212944]
  マルチモーダル・ミックス・オブ・エキスパート構造を用いて視覚専門家の集合をシームレスに統合するモノリシックMLLMであるMono-InternVLを提案する。 特に、EViPは、ノイズの多いデータから高品質なデータへの視覚的知識を完全に活用することを目的とした、視覚専門家のための進歩的な学習プロセスとして設計されている。
  論文  参考訳（メタデータ） (2024-10-10T17:59:22Z)
• Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
  本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。 このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
  論文  参考訳（メタデータ） (2024-01-02T18:53:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。