論文の概要: Recurrent Reasoning with Vision-Language Models for Estimating Long-Horizon Embodied Task Progress

• arxiv url: http://arxiv.org/abs/2603.17312v1
• Date: Wed, 18 Mar 2026 03:13:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-19 18:32:57.494298
• Title: Recurrent Reasoning with Vision-Language Models for Estimating Long-Horizon Embodied Task Progress
• Title（参考訳）: 長軸エンボディータスクの進行度推定のためのビジョンランゲージモデルによる繰り返し推論
• Abstract要約: Recurrent Reasoning Vision-Language Model(textR2$VLM)を提案する。 本モデルでは,局所的なビデオスニペットを反復的に処理し,グローバルなコンテキストを維持するリカレント推論フレームワークを特徴とする。 ALFREDとEgo4Dから生成された大規模で自動生成されたデータセットに対して、textR2$VLMをトレーニングします。
• 参考スコア（独自算出の注目度）: 32.47071055191472
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Accurately estimating task progress is critical for embodied agents to plan and execute long-horizon, multi-step tasks. Despite promising advances, existing Vision-Language Models (VLMs) based methods primarily leverage their video understanding capabilities, while neglecting their complex reasoning potential. Furthermore, processing long video trajectories with VLMs is computationally prohibitive for real-world deployment. To address these challenges, we propose the Recurrent Reasoning Vision-Language Model ($\text{R}^2$VLM). Our model features a recurrent reasoning framework that processes local video snippets iteratively, maintaining a global context through an evolving Chain of Thought (CoT). This CoT explicitly records task decomposition, key steps, and their completion status, enabling the model to reason about complex temporal dependencies. This design avoids the high cost of processing long videos while preserving essential reasoning capabilities. We train $\text{R}^2$VLM on large-scale, automatically generated datasets from ALFRED and Ego4D. Extensive experiments on progress estimation and downstream applications, including progress-enhanced policy learning, reward modeling for reinforcement learning, and proactive assistance, demonstrate that $\text{R}^2$VLM achieves strong performance and generalization, achieving a new state-of-the-art in long-horizon task progress estimation. The models and benchmarks are publicly available at \href{https://huggingface.co/collections/zhangyuelin/r2vlm}{huggingface}.
• Abstract（参考訳）: タスク進捗を正確に見積もることは、エンボディエージェントが長期のマルチステップタスクを計画し実行するために重要である。 有望な進歩にもかかわらず、既存のビジョン・ランゲージ・モデル(VLM)ベースの手法は主にビデオ理解能力を活用し、複雑な推論の可能性を無視している。 さらに、VLMによる長いビデオトラジェクトリの処理は、現実のデプロイメントでは計算が禁じられている。 これらの課題に対処するために、Recurrent Reasoning Vision-Language Model(\text{R}^2$VLM)を提案する。 我々のモデルは、ローカルビデオスニペットを反復的に処理し、進化するChain of Thought (CoT)を通してグローバルなコンテキストを維持する、反復的推論フレームワークを特徴としている。 このCoTは、タスクの分解、キーステップ、およびその完了ステータスを明示的に記録し、複雑な時間的依存関係をモデルが推論できるようにする。 この設計は、重要な推論能力を保ちながら、長いビデオを処理するコストが高いことを回避している。 ALFREDとEgo4Dから生成された大規模で自動生成されたデータセットに対して、$\text{R}^2$VLMをトレーニングします。 プログレッシブ・エンハンス・ポリシー・ラーニング、強化学習のための報酬モデリング、プロアクティブ・アシストなど、進捗予測や下流の応用に関する広範な実験により、$\text{R}^2$VLMが高い性能と一般化を達成し、長期タスク・プログレッシブ・プログレッシブ・プログレッシブ・プログレッシブ・アセスメント・アセスメント・アセスメントにおける新たな最先端の達成を実証した。 モデルとベンチマークは \href{https://huggingface.co/collections/zhangyuelin/r2vlm}{huggingface} で公開されている。

関連論文リスト

• Explicit Language Memory for Long-Horizon Planning in Vision-Language-Action Models [4.644589778994777]
  視覚言語アクション(VLA)モデルは、視覚知覚、言語理解、ロボット制御を接続するための統一的なパラダイムを提供する。 本稿では,言語メモリモジュールを明示した階層型長水平VLAアーキテクチャを提案する。 提案手法を複数のシミュレーション環境で評価し,実際のロボットプラットフォーム上でシミュレート・トゥ・リアルな実験を行う。
  論文  参考訳（メタデータ） (2026-08-05T12:32:15Z)
• ProgressVLA: Progress-Guided Diffusion Policy for Vision-Language Robotic Manipulation [57.07494675832939]
  ロボット操作のための既存の視覚言語アクション(VLA)モデルは、進歩意識を欠いている。 本研究では,textbf vla という新しいモデルを提案し,タスク進捗の推定と統合について検討する。 CALVINとLIBEROベンチマークの実験は、実世界のロボットの展開とともに、成功率の大幅な改善を一貫して示している。
  論文  参考訳（メタデータ） (2026-03-29T12:38:11Z)
• Insight-V++: Towards Advanced Long-Chain Visual Reasoning with Multimodal Large Language Models [65.4947731385794]
  基礎画像中心モデルであるInsight-Vから進化した統合多エージェント視覚推論フレームワークを提案する。 空間的時間的推論を強化し、評価ロバスト性を向上させる2つの新しいアルゴリズムST-GRPOとJ-GRPOを導入する。 LLaVA-NeXTやQwen2.5-VLといったベースモデルの実験は、挑戦的な画像とビデオの推論ベンチマーク間で大きなパフォーマンス向上を示している。
  論文  参考訳（メタデータ） (2026-03-18T15:28:07Z)
• Non-Markovian Long-Horizon Robot Manipulation via Keyframe Chaining [56.62125584296097]
  Keyframe-Chaining VLAは、キー履歴フレームを抽出し、長い水平依存関係をモデル化するフレームワークである。 本研究では,現在の実行フェーズに対する時間的関連性に基づいて,動的に履歴フレームを検索する進捗対応機構を設計する。 タスク成功率を測定するために,ManiSkillシミュレータ上に構築された4つの非マルコフ操作タスクスイートを紹介する。
  論文  参考訳（メタデータ） (2026-03-02T05:26:29Z)
• TOPReward: Token Probabilities as Hidden Zero-Shot Rewards for Robotics [46.912038830356714]
  本稿では,ロボット作業の進捗を推定する時間的価値関数TOPRewardを紹介する。 130以上の異なる実世界のタスクに対するゼロショット評価では、TOPRewardはQwen3-VL上で0.947の平均値順序相関(VOC)を達成する。 我々は,TOPRewardがダウンストリームアプリケーションのための汎用ツールであることを示す。
  論文  参考訳（メタデータ） (2026-02-22T19:25:48Z)
• Vgent: Graph-based Retrieval-Reasoning-Augmented Generation For Long Video Understanding [56.45689495743107]
  Vgentは、長いビデオ理解のためにLVLMを強化するグラフベースの検索推論拡張生成フレームワークである。 我々は,3つの長ビデオ理解ベンチマークを用いて,様々なオープンソースLVLMを用いてフレームワークの評価を行った。
  論文  参考訳（メタデータ） (2025-10-15T19:14:58Z)
• Continual Learning for VLMs: A Survey and Taxonomy Beyond Forgetting [70.83781268763215]
  視覚言語モデル(VLM)は、大規模事前学習を活用することで、多様なマルチモーダルタスクにおいて優れたパフォーマンスを実現している。 VLMは、クロスモーダル機能ドリフト、共有アーキテクチャによるパラメータ干渉、ゼロショット機能侵食など、ユニークな課題に直面している。 本調査は、生涯の視覚言語システムを開発する研究者にとって、包括的かつ診断的な基準となることを目的としている。
  論文  参考訳（メタデータ） (2025-08-06T09:03:10Z)
• Embodied Long Horizon Manipulation with Closed-loop Code Generation and Incremental Few-shot Adaptation [12.077740860502878]
  身体的ロングホライゾン操作では、ロボットシステムが視覚や自然言語などのマルチモーダル入力を処理し、それらを実行可能なアクションに変換する必要がある。 近年,大規模言語モデル (LLM) を自然言語を用いてタスクをサブタスクに分解し,事前訓練した低レベルコントローラを誘導する高レベルプランナとしての利用が検討されている。 我々のフレームワークは,LoHoRavens,CALVIN,Franka Kitchen,および乱雑な現実世界設定をまたいだ,30以上の多様かつ不明瞭なロングホライゾンタスクに対して,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-03-27T20:32:58Z)
• OpenVLThinker: Complex Vision-Language Reasoning via Iterative SFT-RL Cycles [91.88062410741833]
  我々はOpenVLThinkerを紹介した。OpenVLThinkerはオープンソースの大規模視覚言語モデル(LVLM)の1つである。 OpenVLThinker-7Bは、数学的および一般的な推論を必要とする6つのベンチマークで一貫して性能を向上することを示す。
  論文  参考訳（メタデータ） (2025-03-21T17:52:43Z)
• Enhanced Continual Learning of Vision-Language Models with Model Fusion [16.764069327701186]
  VLM(Vision-Language Models)は、人工知能のブレークスルーである。 VLMは、複数の下流タスクで連続的に微調整されたときに、破滅的な忘れをしがちである。 本稿では,連続的な学習にモデル融合を導入することで,新しいアプローチであるConDUを提案する。
  論文  参考訳（メタデータ） (2025-03-12T15:48:13Z)
• Vision Language Models are In-Context Value Learners [89.29486557646624]
  本稿では、視覚言語モデル(VLM)に埋め込まれた世界的知識を活用してタスクの進捗を予測する普遍的価値関数推定器である生成価値学習(GVL)を提案する。 ロボットやタスク固有のトレーニングがなければ、GVLは300以上の異なる現実世界のタスクに対して、ゼロショットと数ショットの効果的な値をインコンテキストで予測することができる。
  論文  参考訳（メタデータ） (2024-11-07T09:17:50Z)
• COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
  反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。 我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。 当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
  論文  参考訳（メタデータ） (2024-10-12T23:56:19Z)
• LLM-State: Open World State Representation for Long-horizon Task Planning with Large Language Model [25.29170146456063]
  本研究では,Large Language Model (LLM) を用いたオープンワールド家庭環境における長期タスクプランニングの問題に対処する。 既存の作業は、キーオブジェクトと属性を明示的に追跡することができない。 オブジェクト属性の連続的な拡張と更新を提供するオープンステート表現を提案する。
  論文  参考訳（メタデータ） (2023-11-29T07:23:22Z)
• Learning Long-term Visual Dynamics with Region Proposal Interaction Networks [75.06423516419862]
  オブジェクト間およびオブジェクト環境間の相互作用を長距離にわたってキャプチャするオブジェクト表現を構築します。 単純だが効果的なオブジェクト表現のおかげで、我々の手法は先行手法よりも大幅に優れている。
  論文  参考訳（メタデータ） (2020-08-05T17:48:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。