論文の概要: OpenVLThinker: An Early Exploration to Complex Vision-Language Reasoning via Iterative Self-Improvement

• arxiv url: http://arxiv.org/abs/2503.17352v1
• Date: Fri, 21 Mar 2025 17:52:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-24 14:58:27.987687
• Title: OpenVLThinker: An Early Exploration to Complex Vision-Language Reasoning via Iterative Self-Improvement
• Title（参考訳）: OpenVLThinker: 反復的自己改善による複雑なビジョンランゲージ推論の早期探索
• Authors: Yihe Deng, Hritik Bansal, Fan Yin, Nanyun Peng, Wei Wang, Kai-Wei Chang,
• Abstract要約: 本研究では,類似の推論機能を大規模視覚言語モデル(LVLM)にうまく組み込むことができるか検討する。 本稿では,教師付き微調整(SFT)と強化学習(RL)を反復的に活用し,モデル一般化をさらに改善する手法を検討する。 OpenVLThinkerは、MathVista、MathVerse、MathVisionといった挑戦的なベンチマークで一貫して改善された推論性能を示すLVLMである。
• 参考スコア（独自算出の注目度）: 91.88062410741833
• License:
• Abstract: Recent advancements demonstrated by DeepSeek-R1 have shown that complex reasoning abilities in large language models (LLMs), including sophisticated behaviors such as self-verification and self-correction, can be achieved by RL with verifiable rewards and significantly improves model performance on challenging tasks such as AIME. Motivated by these findings, our study investigates whether similar reasoning capabilities can be successfully integrated into large vision-language models (LVLMs) and assesses their impact on challenging multimodal reasoning tasks. We consider an approach that iteratively leverages supervised fine-tuning (SFT) on lightweight training data and Reinforcement Learning (RL) to further improve model generalization. Initially, reasoning capabilities were distilled from pure-text R1 models by generating reasoning steps using high-quality captions of the images sourced from diverse visual datasets. Subsequently, iterative RL training further enhance reasoning skills, with each iteration's RL-improved model generating refined SFT datasets for the next round. This iterative process yielded OpenVLThinker, a LVLM exhibiting consistently improved reasoning performance on challenging benchmarks such as MathVista, MathVerse, and MathVision, demonstrating the potential of our strategy for robust vision-language reasoning. The code, model and data are held at https://github.com/yihedeng9/OpenVLThinker.
• Abstract（参考訳）: 近年のDeepSeek-R1による実証では、自己検証や自己補正などの高度な振る舞いを含む、大規模言語モデル(LLM)の複雑な推論能力は、検証可能な報酬でRLによって達成され、AIMEのような課題におけるモデル性能が大幅に向上することが示されている。 本研究は,このような推論能力が大規模視覚言語モデル (LVLM) にうまく組み込めるかどうかを考察し,その課題に対する影響を評価する。 本稿では,教師付き微調整(SFT)と強化学習(RL)を反復的に活用し,モデル一般化をさらに改善する手法を検討する。 当初は、さまざまなビジュアルデータセットから得られた画像の高品質なキャプションを使用して、推論ステップを生成することによって、純粋テキストR1モデルから推論能力を抽出した。 その後、反復RLトレーニングは推論スキルをさらに強化し、各イテレーションのRL改善モデルは次のラウンドで洗練されたSFTデータセットを生成する。 この反復的なプロセスによってOpenVLThinkerは、MathVista、MathVerse、MathVisionといった挑戦的なベンチマークで一貫して改善された推論性能を示し、堅牢な視覚言語推論のための戦略の可能性を示した。 コード、モデル、データはhttps://github.com/yihedeng9/OpenVLThinkerで保持される。

関連論文リスト

• Vintix: Action Model via In-Context Reinforcement Learning [72.65703565352769]
  In-context reinforcement learning を通じて振る舞いを学習できる固定されたクロスドメインモデルを導入することで ICRL のスケールアップに向けた第一歩を提示する。 ICRLを促進するために設計されたフレームワークであるアルゴリズム蒸留は、多目的な作用モデルを構築するために、専門家蒸留に代わる魅力的な、競争力のある代替手段を提供することを示した。
  論文  参考訳（メタデータ） (2025-01-31T18:57:08Z)
• BRiTE: Bootstrapping Reinforced Thinking Process to Enhance Language Model Reasoning [78.63421517563056]
  大規模言語モデル(LLM)は複雑な推論タスクにおいて顕著な機能を示した。 本稿では,新しいグラフィカルモデルを用いてLLM推論を定式化する統一確率的フレームワークを提案する。 本稿では,Bootstrapping Reinforced Thinking Process (BRiTE)アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2025-01-31T02:39:07Z)
• SRA-MCTS: Self-driven Reasoning Augmentation with Monte Carlo Tree Search for Code Generation [14.786100203787194]
  大規模な言語モデルは、単純なコード生成タスクでは例外的なパフォーマンスを示しますが、複雑な問題に対処する上での課題に直面します。 本稿では,高品質な中間推論経路を自律的に生成するモデルであるSRA-MCTSを提案する。 我々の手法は、追加の監督を必要とせず、モデル自体を通して完全に機能する。
  論文  参考訳（メタデータ） (2024-11-17T12:31:04Z)
• Vision-Language Models Can Self-Improve Reasoning via Reflection [20.196406628954303]
  CoT(Chain-of-Thought)は,大規模言語モデル(LLM)の推論能力の向上を実証した。 本稿では,自己学習フレームワークR3Vを提案する。このフレームワークは,CoTレーショナル上でのリフレクションにより,モデルの視覚言語推論を反復的に強化する。 提案手法は, 生成した解に対する自己回帰をサポートし, テスト時間計算による性能向上を図っている。
  論文  参考訳（メタデータ） (2024-10-30T14:45:00Z)
• Reflexive Guidance: Improving OoDD in Vision-Language Models via Self-Guided Image-Adaptive Concept Generation [4.506099292980221]
  各種プロプライエタリおよびオープンソースLVLMのOoDD機能の評価と解析を行った。 本稿では,LVLMのOoDD機能向上を目的とした自己誘導型プロンプト手法であるReflexive Guidance(ReGuide)を提案する。 実験結果から,我々のReGuideは画像分類とOoDDタスクの両方において,現在のLVLMの性能を向上させることが示された。
  論文  参考訳（メタデータ） (2024-10-19T04:46:51Z)
• On the Modeling Capabilities of Large Language Models for Sequential Decision Making [52.128546842746246]
  大規模な事前訓練されたモデルでは、推論や計画タスクのパフォーマンスがますます向上している。 我々は、直接的または間接的に、意思決定ポリシーを作成する能力を評価する。 未知の力学を持つ環境において、合成データを用いた微調整LDMが報酬モデリング能力を大幅に向上させる方法について検討する。
  論文  参考訳（メタデータ） (2024-10-08T03:12:57Z)
• Calibrated Self-Rewarding Vision Language Models [27.686545023186852]
  LVLM(Large Vision-Language Models)は、訓練済みの大規模言語モデル(LLM)と視覚モデルを統合することで、指導チューニングを通じて大幅に進歩した。 LVLMは、しばしば幻覚現象を示し、生成されたテキスト応答は言語的に妥当に見えるが、入力画像に矛盾する。 本稿では,候補応答を反復的に生成し,各応答に対する報酬を評価し,微調整のための選好データをキュレートすることで,モデルの自己改善を可能にするCalibrated Self-Rewarding(CSR)アプローチを提案する。
  論文  参考訳（メタデータ） (2024-05-23T14:30:33Z)
• RL-VLM-F: Reinforcement Learning from Vision Language Foundation Model Feedback [24.759613248409167]
  リワードエンジニアリングは、強化学習研究における長年の課題である。 エージェントが新しいタスクを学習するための報酬関数を自動生成するRL-VLM-Fを提案する。 我々は、RL-VLM-Fが、様々な領域にまたがる効果的な報酬とポリシーを効果的に生成できることを実証した。
  論文  参考訳（メタデータ） (2024-02-06T04:06:06Z)
• Measuring and Improving Chain-of-Thought Reasoning in Vision-Language Models [61.28463542324576]
  視覚言語モデル(VLM)は近年,人間のような出力を生成できる視覚アシスタントとして,強力な有効性を示している。 我々は、既存の最先端のVLMを評価し、最高の性能モデルでさえ、強力な視覚的推論能力と一貫性を示すことができないことを発見した。 本稿では,VLMの推論性能と一貫性の向上を目的とした2段階トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-08T17:49:44Z)
• INFOrmation Prioritization through EmPOWERment in Visual Model-Based RL [90.06845886194235]
  モデルベース強化学習(RL)のための修正目的を提案する。 相互情報に基づく状態空間モデルに,変分エンパワーメントにインスパイアされた用語を統合する。 本研究は,視覚に基づくロボット制御作業における自然な映像背景を用いたアプローチの評価である。
  論文  参考訳（メタデータ） (2022-04-18T23:09:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。