論文の概要: MM-Eureka: Exploring Visual Aha Moment with Rule-based Large-scale Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2503.07365v1
• Date: Mon, 10 Mar 2025 14:23:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:47:42.002836
• Title: MM-Eureka: Exploring Visual Aha Moment with Rule-based Large-scale Reinforcement Learning
• Title（参考訳）: MM-Eureka:ルールに基づく大規模強化学習による視覚運動の探索
• Authors: Fanqing Meng, Lingxiao Du, Zongkai Liu, Zhixiang Zhou, Quanfeng Lu, Daocheng Fu, Botian Shi, Wenhai Wang, Junjun He, Kaipeng Zhang, Ping Luo, Yu Qiao, Qiaosheng Zhang, Wenqi Shao,
• Abstract要約: 本稿では,大規模ルールベース強化学習(RL)をマルチモーダル推論に拡張したマルチモーダル推論モデルMM-Eurekaを提案する。 本研究は,マルチモーダル空間におけるDeepSeek-R1のようなテキストベースのRLシステムのキー特性を再現する。 命令調整モデルと事前学習モデルの両方が、教師付き微調整なしでルールベースRLにより強力なマルチモーダル推論能力を実現できることを示す。
• 参考スコア（独自算出の注目度）: 56.97799347091435
• License:
• Abstract: We present MM-Eureka, a multimodal reasoning model that successfully extends large-scale rule-based reinforcement learning (RL) to multimodal reasoning. While rule-based RL has shown remarkable success in improving LLMs' reasoning abilities in text domains, its application to multimodal settings has remained challenging. Our work reproduces key characteristics of text-based RL systems like DeepSeek-R1 in the multimodal space, including steady increases in accuracy reward and response length, and the emergence of reflection behaviors. We demonstrate that both instruction-tuned and pre-trained models can develop strong multimodal reasoning capabilities through rule-based RL without supervised fine-tuning, showing superior data efficiency compared to alternative approaches. We open-source our complete pipeline to foster further research in this area. We release all our codes, models, data, etc. at https://github.com/ModalMinds/MM-EUREKA
• Abstract（参考訳）: 本稿では,大規模ルールベース強化学習(RL)をマルチモーダル推論に拡張したマルチモーダル推論モデルMM-Eurekaを提案する。 ルールベースのRLは、テキストドメインにおけるLLMの推論能力の改善に顕著な成功を収めているが、マルチモーダル設定への応用は依然として困難である。 本研究は,マルチモーダル空間におけるDeepSeek-R1のようなテキストベースのRLシステムのキー特性を再現する。 命令調整モデルと事前学習モデルの両方が、教師付き微調整なしでルールベースRLを介して強力なマルチモーダル推論能力を開発できることを示し、代替手法と比較して優れたデータ効率を示す。 私たちは、この分野のさらなる研究を促進するために、完全なパイプラインをオープンソースにしています。 コード、モデル、データなどはすべてhttps://github.com/ModalMinds/MM-EUREKAでリリースしています。

関連論文リスト

• On the Emergence of Thinking in LLMs I: Searching for the Right Intuition [34.32871896067864]
  自己学習による強化学習(RLSP)というポストトレーニングフレームワークを提案する。 RLSPは、推論プロセスの人間または合成的なデモンストレーションによる微調整、多種多様な効率的な推論行動を促進するための探索報酬信号の使用、報酬ハッキングを予防しながら正当性を確保するための結果検証器によるRLトレーニングの3段階を含む。 数学領域における実証的研究は、RLSPが推論を改善することを示している。
  論文  参考訳（メタデータ） (2025-02-10T18:52:04Z)
• Satori: Reinforcement Learning with Chain-of-Action-Thought Enhances LLM Reasoning via Autoregressive Search [57.28671084993782]
  大規模言語モデル(LLM)は、様々な領域にまたがる顕著な推論能力を示している。 近年の研究では、テスト時間計算の増加はLLMの推論能力を高めることが示されている。 そこで我々は,1)COAT推論形式を内部化するための小規模な形式調整段階,2)強化学習を活用した大規模自己改善段階を提案する。
  論文  参考訳（メタデータ） (2025-02-04T17:26:58Z)
• SFT Memorizes, RL Generalizes: A Comparative Study of Foundation Model Post-training [127.47044960572659]
  ファウンデーションモデルでは、教師付き微調整(SFT)と強化学習(RL)がポストトレーニング技術として広く使われている。 本稿では,一般化と記憶におけるSFTとRLの違いについて検討する。 RLは、特に結果に基づく報酬で訓練された場合、ルールベースのテキストと視覚的バリエーションの両方で一般化されることを示す。
  論文  参考訳（メタデータ） (2025-01-28T18:59:44Z)
• Insight-V: Exploring Long-Chain Visual Reasoning with Multimodal Large Language Models [64.1799100754406]
  大きな言語モデル(LLM)は、さらなる推論によって拡張された能力と信頼性を示す。 LLM推論の改善へのさまざまな取り組みにもかかわらず、高品質な長鎖推論データと最適化されたトレーニングパイプラインは、まだビジョン言語タスクでは不十分である。 本稿では,1)複雑なマルチモーダルタスクに対する長大かつ堅牢な推論データを生成するための初期の取り組みであるInsight-Vと,2)MLLMの推論能力を高めるための効果的なトレーニングパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-11-21T18:59:55Z)
• LARM: Large Auto-Regressive Model for Long-Horizon Embodied Intelligence [68.27280750612204]
  最近のエンボディエージェントは、主に強化学習(RL)または大規模言語モデル(LLM)に基づいて構築されている。 本研究では, 提案したレフェリーRLを, 開発した大規模自己回帰モデル(LARM)上で実施することにより, 欠点を回避しつつ, それらの利点を組み合わせる。 具体的には、LARMは軽量なLLM(5Bパラメータよりも小さい)上に構築され、テキストではなく次のアクションを直接出力する。
  論文  参考訳（メタデータ） (2024-05-27T17:59:32Z)
• TeaMs-RL: Teaching LLMs to Generate Better Instruction Datasets via Reinforcement Learning [7.9961739811640244]
  大きな言語モデル(LLM)は、人間のアノテーションに大きく依存することによる課題に直面することが多い。 この作業では、強化学習(RL:Reinforcement Learning)へと方向転換します。 我々はRLを用いて、微調整だけで十分である基礎的な命令データセットを直接生成する。
  論文  参考訳（メタデータ） (2024-03-13T16:57:57Z)
• Teaching Large Language Models to Reason with Reinforcement Learning [38.17625148525193]
  人間のフィードバックからの強化学習(textbfRLHF)は、LLM出力と人間の嗜好を整合させる主要なアプローチとして現れている。 RLHFの成功に触発され,フィードバックから学習する複数のアルゴリズムの性能について検討した。
  論文  参考訳（メタデータ） (2024-03-07T16:36:29Z)
• Text Generation with Efficient (Soft) Q-Learning [91.47743595382758]
  強化学習(RL)は、任意のタスクメトリクスを報酬としてプラグインすることで、より柔軟なソリューションを提供する。 ソフトQ-ラーニングの観点からテキスト生成のための新しいRL式を導入する。 雑音/負の例から学習し、敵攻撃、即時生成など、幅広いタスクにアプローチを適用する。
  論文  参考訳（メタデータ） (2021-06-14T18:48:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。