論文の概要: OThink-MR1: Stimulating multimodal generalized reasoning capabilities through dynamic reinforcement learning

• arxiv url: http://arxiv.org/abs/2503.16081v1
• Date: Thu, 20 Mar 2025 12:22:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 16:34:38.226566
• Title: OThink-MR1: Stimulating multimodal generalized reasoning capabilities through dynamic reinforcement learning
• Title（参考訳）: OThink-MR1:動的強化学習によるマルチモーダル一般化推論能力の活性化
• Authors: Zhiyuan Liu, Yuting Zhang, Feng Liu, Changwang Zhang, Ying Sun, Jun Wang,
• Abstract要約: 我々は,強化学習をマルチモーダル言語モデルに拡張するフレームワークであるOThink-MR1を紹介する。 マルチタスク評価において,RL性能を大幅に向上させる動的Kulback-Leibler戦略を設計する。 また、RLが卓越したクロスタスクの一般化能力を示しており、1つのマルチモーダルタスク上でRLで後トレーニングされたモデルが、他のタスクに効果的に転送可能であることを示す。
• 参考スコア（独自算出の注目度）: 29.053899071144976
• License:
• Abstract: Multimodal Language Models have gained significant traction for their ability to process diverse input data types and generate coherent, contextually relevant outputs across various applications. While supervised fine-tuning (SFT) has been the predominant approach to enhance MLLM capabilities in task-specific optimization, it often falls short in fostering crucial generalized reasoning abilities. Despite the potential of reinforcement learning (RL) to address these limitations, it faces two issues: (1) its generalized capabilities in multimodal tasks remain underexplored. (2) its training constraints such as constant Kullback-Leibler or clamp strategy easily lead to suboptimal bottleneck. To adress these issues, we introduce OThink-MR1, a framework that extends RL to MLLMs, enabling them to achieve deeper understanding and reasoning across multimodal tasks. We design a dynamic Kullback-Leibler strategy that significantly enhances RL performance, surpassing SFT in same-task evaluations. Also, we are the first to reveal that RL exhibits remarkable cross-task generalization capabilities, which shows that models post-trained with RL on one multimodal task can be effectively transfered to another tasks. Finally, extensive experiments demonstrate the great reasoning ability of our proposed OThink-MR1.
• Abstract（参考訳）: マルチモーダル言語モデルは、多様な入力データ型を処理し、様々なアプリケーションにまたがってコヒーレントでコンテキスト的に関連する出力を生成する能力によって、大きな牽引力を得てきた。 教師付き微調整(SFT)は、タスク固有の最適化においてMLLM能力を向上するための主要なアプローチであるが、しばしば重要な一般化推論能力の育成に不足する。 これらの制約に対処する強化学習(RL)の可能性にもかかわらず、(1)マルチモーダルタスクにおける一般化能力は未解明のままである。 2) 一定のKullback-Leiblerやクランプ戦略のようなトレーニング制約は、容易に最適以下のボトルネックにつながる。 これらの問題に対処するため,MLLMにRLを拡張するフレームワークであるOThink-MR1を導入し,マルチモーダルタスク間の深い理解と推論を実現する。 マルチタスク評価において,RL性能を大幅に向上させる動的Kulback-Leibler戦略を設計する。 また、RLが卓越したクロスタスクの一般化能力を示しており、1つのマルチモーダルタスク上でRLで後トレーニングされたモデルが、他のタスクに効果的に転送可能であることを示す。 最後に,提案したOThink-MR1の大きな推論能力を示す実験を行った。

関連論文リスト

• OmniRL: In-Context Reinforcement Learning by Large-Scale Meta-Training in Randomized Worlds [35.652208216209985]
  我々は、数十万の多様なタスクをメタトレーニングした、高度に一般化可能なコンテキスト内強化学習モデルであるOmniRLを紹介した。 インコンテキスト学習(ICL)だけでは、勾配に基づく微調整を一切行わず、目に見えない体育館のタスクにうまく対応できることを初めて実証した。
  論文  参考訳（メタデータ） (2025-02-05T03:59:13Z)
• Satori: Reinforcement Learning with Chain-of-Action-Thought Enhances LLM Reasoning via Autoregressive Search [57.28671084993782]
  大規模言語モデル(LLM)は、様々な領域にまたがる顕著な推論能力を示している。 近年の研究では、テスト時間計算の増加はLLMの推論能力を高めることが示されている。 そこで我々は,1)COAT推論形式を内部化するための小規模な形式調整段階,2)強化学習を活用した大規模自己改善段階を提案する。
  論文  参考訳（メタデータ） (2025-02-04T17:26:58Z)
• Progressive Multimodal Reasoning via Active Retrieval [64.74746997923967]
  多段階多モーダル推論タスクは、大規模言語モデル(MLLM)に重大な課題をもたらす 本稿では,MLLMの推論能力の向上を目的とした汎用フレームワークAR-MCTSを提案する。 我々は,AR-MCTSがサンプリングの多様性と精度を最適化し,信頼性の高いマルチモーダル推論を実現することを示す。
  論文  参考訳（メタデータ） (2024-12-19T13:25:39Z)
• Insight-V: Exploring Long-Chain Visual Reasoning with Multimodal Large Language Models [64.1799100754406]
  大きな言語モデル(LLM)は、さらなる推論によって拡張された能力と信頼性を示す。 LLM推論の改善へのさまざまな取り組みにもかかわらず、高品質な長鎖推論データと最適化されたトレーニングパイプラインは、まだビジョン言語タスクでは不十分である。 本稿では,1)複雑なマルチモーダルタスクに対する長大かつ堅牢な推論データを生成するための初期の取り組みであるInsight-Vと,2)MLLMの推論能力を高めるための効果的なトレーニングパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-11-21T18:59:55Z)
• Intuition-aware Mixture-of-Rank-1-Experts for Parameter Efficient Finetuning [50.73666458313015]
  大規模言語モデル(LLM)はマルチメディアアプリケーションで複数のタスクを実行する上で大きな可能性を証明している。 MoEは、効率的なタスクデカップリングのためのスパースアーキテクチャによる有望なソリューションとして登場した。 Intuition-MoR1Eは14のパブリックデータセットで優れた効率と2.15%の全体的な精度向上を実現している。
  論文  参考訳（メタデータ） (2024-04-13T12:14:58Z)
• Sample Efficient Myopic Exploration Through Multitask Reinforcement Learning with Diverse Tasks [53.44714413181162]
  本稿では, エージェントが十分に多様なタスクセットで訓練された場合, 筋電図探索設計による一般的なポリシー共有アルゴリズムは, サンプル効率がよいことを示す。 我々の知る限りでは、これはMTRLの「探索的利益」の初めての理論的実証である。
  論文  参考訳（メタデータ） (2024-03-03T22:57:44Z)
• Multimodal Instruction Tuning with Conditional Mixture of LoRA [51.58020580970644]
  本稿では,Low-Rank Adaption (LoRA) とマルチモーダル命令チューニングを統合した新しい手法を提案する。 各入力インスタンスのユニークな要求に合わせた低ランク適応行列を動的に構築することで、LoRAを革新する。 様々なマルチモーダル評価データセットの実験結果から、MixLoRAは従来のLoRAを同等以上のランクで上回るだけでなく、性能も向上していることが示された。
  論文  参考訳（メタデータ） (2024-02-24T20:15:31Z)
• M2CURL: Sample-Efficient Multimodal Reinforcement Learning via Self-Supervised Representation Learning for Robotic Manipulation [0.7564784873669823]
  マルチモーダルコントラスト非教師強化学習(M2CURL)を提案する。 提案手法は,効率的な表現を学習し,RLアルゴリズムの高速収束に寄与する,新しいマルチモーダル自己教師学習技術を用いている。 Tactile Gym 2シミュレータ上でのM2CURLの評価を行い、異なる操作タスクにおける学習効率を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2024-01-30T14:09:35Z)
• Effective Multimodal Reinforcement Learning with Modality Alignment and Importance Enhancement [41.657470314421204]
  異質性や異なるモダリティのダイナミックな重要性のため、強化学習を通じてエージェントを訓練することは困難である。 本稿では,その類似性と重要度に応じて,多モーダルアライメントと重要度向上を実現する,新しいマルチモーダルRL手法を提案する。 我々は,複数のマルチモーダルRLドメインに対するアプローチを検証し,学習速度と政策品質の点で最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-18T12:35:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。