論文の概要: Enhancing Vision-Language Model Training with Reinforcement Learning in Synthetic Worlds for Real-World Success

• arxiv url: http://arxiv.org/abs/2508.04280v1
• Date: Wed, 06 Aug 2025 10:08:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-07 20:09:22.672321
• Title: Enhancing Vision-Language Model Training with Reinforcement Learning in Synthetic Worlds for Real-World Success
• Title（参考訳）: 実世界成功のための強化学習によるビジョンランゲージモデルトレーニングの強化
• Authors: George Bredis, Stanislav Dereka, Viacheslav Sinii, Ruslan Rakhimov, Daniil Gavrilov,
• Abstract要約: 本稿では,軽量強化学習アルゴリズムであるVision-Language Decoupled Actor-Critic (VLDAC)を紹介する。 VLDACは環境レベルのみに価値を学習しながら、PPO更新を動作に適用する。 一度に1つの安価なシミュレータで1つのVLMをVLDACでトレーニングすると、広く一般化するポリシーが生成される。
• 参考スコア（独自算出の注目度）: 5.617637951327993
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Interactive multimodal agents must convert raw visual observations into coherent sequences of language-conditioned actions -- a capability that current vision-language models (VLMs) still lack. Earlier reinforcement-learning (RL) efforts could, in principle, endow VLMs with such skills, but they have seldom tested whether the learned behaviours generalize beyond their training simulators, and they depend either on brittle hyperparameter tuning or on dense-reward environments with low state variability. We introduce Vision-Language Decoupled Actor-Critic (VL-DAC), a lightweight, hyperparameter-free RL algorithm. VL-DAC applies PPO updates to action tokens while learning value only at the environment-step level: an arrangement, to our knowledge, not previously explored for large VLMs or LLMs. This simple decoupling removes unstable weighting terms and yields faster, more reliable convergence. Training a single VLM with VL-DAC in one inexpensive simulator at a time (MiniWorld, Gym-Cards, ALFWorld, or WebShop) already produces policies that generalize widely: +50\% relative on BALROG (game-centric agentic control), +5\% relative on the hardest part of VSI-Bench (spatial planning), and +2\% on VisualWebBench (web navigation), all without degrading general image understanding accuracy. These results provide the first evidence that a simple RL algorithm can train VLMs entirely in cheap synthetic worlds while delivering measurable gains on real-image agentic, spatial-reasoning, and web-navigation benchmarks.
• Abstract（参考訳）: インタラクティブなマルチモーダルエージェントは、生の視覚観察を言語条件付きアクションの一貫性のあるシーケンスに変換する必要がある。 初期の強化学習(RL)の取り組みは、原則として、VLMにそのようなスキルを与えることができるが、学習行動がトレーニングシミュレータを超えて一般化するかどうかを検査することはめったにない。 本稿では,超パラメータフリーなRLアルゴリズムであるVision-Language Decoupled Actor-Critic (VL-DAC)を紹介する。 VL-DACは、アクショントークンにPPO更新を適用し、環境ステップレベルでのみ値を学ぶ。 この単純な疎結合は不安定な重み付け項を除去し、より速くより信頼性の高い収束をもたらす。 一度に1つの安価なシミュレータでVL-DACをトレーニングする(MiniWorld、Gym-Cards、ALFWorld、WebShop)。すでに、BALROG(ゲーム中心のエージェント制御)に+50\%、VSI-Bench(空間計画)の最も難しい部分に+5\%、VisualWebBench(Webナビゲーション)に+2\%という、一般的な画像理解の精度を低下させることなく、広く一般化するポリシーが作成されている。 これらの結果は、シンプルなRLアルゴリズムが、実画像エージェント、空間推論、Webナビゲーションベンチマークで測定可能なゲインを提供しながら、安価な合成世界でVLMを完全に訓練できることを示す最初の証拠となる。

関連論文リスト

• SmolVLA: A Vision-Language-Action Model for Affordable and Efficient Robotics [37.82471658370026]
  視覚言語モデル(VLM)は、豊富な視覚的および言語的知識を符号化した大規模マルチモーダルデータセットで事前訓練された。 SmolVLAは、トレーニングと推論の両方のコストを大幅に削減する、小さく、効率的で、コミュニティ主導のVLAである。
  論文  参考訳（メタデータ） (2025-06-02T16:30:19Z)
• ViaRL: Adaptive Temporal Grounding via Visual Iterated Amplification Reinforcement Learning [68.76048244253582]
  ビデオ理解におけるフレーム選択の最適化にルールベース強化学習(RL)を利用する最初のフレームワークであるViaRLを紹介する。 ViaRLは、下流モデルの応答精度を報奨信号として利用し、試行錯誤によってフレームセレクタを訓練する。 ViaRLは、多様なビデオ理解タスクに対して、時間的基盤性能と堅牢な一般化を一貫して提供します。
  論文  参考訳（メタデータ） (2025-05-21T12:29:40Z)
• VLM-RL: A Unified Vision Language Models and Reinforcement Learning Framework for Safe Autonomous Driving [1.3107174618549584]
  自動運転政策を学習するための強化学習(RL)に基づく手法は、自動運転コミュニティにおいて注目を集めている。 従来のRLアプローチは手作業による報酬に依存しており、それは広範囲の人的努力を必要とし、しばしば一般化性に欠ける。 我々は、事前訓練された視覚言語モデル(VLM)とRLを統合して報酬信号を生成する統合フレームワークである textbfVLM-RL を提案する。
  論文  参考訳（メタデータ） (2024-12-20T04:08:11Z)
• Vision Language Models are In-Context Value Learners [89.29486557646624]
  本稿では、視覚言語モデル(VLM)に埋め込まれた世界的知識を活用してタスクの進捗を予測する普遍的価値関数推定器である生成価値学習(GVL)を提案する。 ロボットやタスク固有のトレーニングがなければ、GVLは300以上の異なる現実世界のタスクに対して、ゼロショットと数ショットの効果的な値をインコンテキストで予測することができる。
  論文  参考訳（メタデータ） (2024-11-07T09:17:50Z)
• Mono-InternVL: Pushing the Boundaries of Monolithic Multimodal Large Language Models with Endogenous Visual Pre-training [48.455597568212944]
  マルチモーダル・ミックス・オブ・エキスパート構造を用いて視覚専門家の集合をシームレスに統合するモノリシックMLLMであるMono-InternVLを提案する。 特に、EViPは、ノイズの多いデータから高品質なデータへの視覚的知識を完全に活用することを目的とした、視覚専門家のための進歩的な学習プロセスとして設計されている。
  論文  参考訳（メタデータ） (2024-10-10T17:59:22Z)
• How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
  強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。 大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。 我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-25T20:07:13Z)
• Test-Time Adaptation with CLIP Reward for Zero-Shot Generalization in Vision-Language Models [76.410400238974]
  モデル出力を補正し、モデルが盲目的に自信を持たないようにするためのフィードバック付きTTAを提案する。 CLIPモデルは、TTA中に報酬モデルとして採用され、VLMにフィードバックを提供する。 提案したCLIPフィードバック(RLCF)フレームワークによるテキスト強化学習は非常に柔軟で普遍的である。
  論文  参考訳（メタデータ） (2023-05-29T11:03:59Z)
• Cheap and Quick: Efficient Vision-Language Instruction Tuning for Large Language Models [77.2078051555533]
  大規模言語モデル(LLM)の有効なVL適応のための,新規で安価なソリューションを提案する。 画像エンコーダとLLMを接続するために大きなニューラルネットワークを使用する代わりに、MMAは軽量モジュール、すなわちアダプタを採用する。 MMAはまた、LLMがシングルモードとマルチモードの命令を自動シフトするのを助けるルーティングアルゴリズムも備えている。
  論文  参考訳（メタデータ） (2023-05-24T11:06:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。