論文の概要: Embodied-Reasoner: Synergizing Visual Search, Reasoning, and Action for Embodied Interactive Tasks

• arxiv url: http://arxiv.org/abs/2503.21696v1
• Date: Thu, 27 Mar 2025 17:00:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-28 12:54:34.677339
• Title: Embodied-Reasoner: Synergizing Visual Search, Reasoning, and Action for Embodied Interactive Tasks
• Title（参考訳）: Embodied-Reasoner: 視覚検索, 推論, 行動の同期化
• Authors: Wenqi Zhang, Mengna Wang, Gangao Liu, Xu Huixin, Yiwei Jiang, Yongliang Shen, Guiyang Hou, Zhe Zheng, Hang Zhang, Xin Li, Weiming Lu, Peng Li, Yueting Zhuang,
• Abstract要約: Embodied Reasonerは、o1スタイルの推論をインタラクティブなエボダイド検索タスクに拡張するモデルである。 我々は、64kの対話画像と90kの多様な思考プロセスを含む9.3kのコヒーレントな観測・推察軌道を合成する。 モデルの性能を段階的に向上する3段階のトレーニングパイプラインを開発している。
• 参考スコア（独自算出の注目度）: 42.022527376404476
• License:
• Abstract: Recent advances in deep thinking models have demonstrated remarkable reasoning capabilities on mathematical and coding tasks. However, their effectiveness in embodied domains which require continuous interaction with environments through image action interleaved trajectories remains largely -unexplored. We present Embodied Reasoner, a model that extends o1 style reasoning to interactive embodied search tasks. Unlike mathematical reasoning that relies primarily on logical deduction, embodied scenarios demand spatial understanding, temporal reasoning, and ongoing self-reflection based on interaction history. To address these challenges, we synthesize 9.3k coherent Observation-Thought-Action trajectories containing 64k interactive images and 90k diverse thinking processes (analysis, spatial reasoning, reflection, planning, and verification). We develop a three-stage training pipeline that progressively enhances the model's capabilities through imitation learning, self-exploration via rejection sampling, and self-correction through reflection tuning. The evaluation shows that our model significantly outperforms those advanced visual reasoning models, e.g., it exceeds OpenAI o1, o3-mini, and Claude-3.7 by +9\%, 24\%, and +13\%. Analysis reveals our model exhibits fewer repeated searches and logical inconsistencies, with particular advantages in complex long-horizon tasks. Real-world environments also show our superiority while exhibiting fewer repeated searches and logical inconsistency cases.
• Abstract（参考訳）: 近年の深層思考モデルの進歩は、数学やコーディングのタスクにおいて顕著な推論能力を示している。 しかし、イメージアクションインターリーブされた軌跡を通した環境との連続的な相互作用を必要とするエンボディドドメインにおけるそれらの効果は、ほとんど未解明のままである。 本稿では,embodied Reasonerについて紹介する。embodied Reasonerは,o1スタイル推論をインタラクティブな組込み検索タスクに拡張するモデルである。 主に論理的推論に依存する数学的推論とは異なり、具体的シナリオは空間的理解、時間的推論、相互作用履歴に基づく継続的な自己回帰を必要とする。 これらの課題に対処するために、64kの対話的画像と90kの多様な思考プロセス(分析、空間的推論、反射、計画、検証)を含む9.3kのコヒーレントな観察・判断軌道を合成する。 我々は、模倣学習、拒絶サンプリングによる自己探索、リフレクションチューニングによる自己補正を通じて、モデルの能力を段階的に向上する3段階トレーニングパイプラインを開発する。 このモデルでは,OpenAI o1, o3-mini, Claude-3.7 を+9\%, 24\%, +13\% で上回っている。 分析の結果,検索回数や論理的不整合は少なく,複雑な長期タスクでは特に有利であることが判明した。 実世界の環境も、検索の繰り返しや論理的不整合のケースを減らしながら、私たちの優位性を示している。

関連論文リスト

• DRIVINGVQA: Analyzing Visual Chain-of-Thought Reasoning of Vision Language Models in Real-World Scenarios with Driving Theory Tests [69.00444996464662]
  本稿では、複雑な実世界のシナリオにおける視覚的連鎖推論を評価するために、駆動理論テストから得られた新しいベンチマークであるDrivingVQAを提案する。 実験の結果,オープンソースおよびプロプライエタリなLVLMは,ゼロショット設定下での視覚的連鎖推論に苦慮していることがわかった。 視覚的推論を改善するために関連エンティティを活用するトレーニング戦略について検討する。
  論文  参考訳（メタデータ） (2025-01-08T18:31:16Z)
• Dual Thinking and Logical Processing -- Are Multi-modal Large Language Models Closing the Gap with Human Vision ? [5.076961098583674]
  我々は、人間の視覚における二重思考の枠組みの証拠を提供するために、新しい敵対的データセットを導入する。 私たちの精神物理学的な研究は、急速に続く複数の推論の存在を示しています。 エラーの解析は、視覚処理の早期停止は、関連する情報が欠落する可能性があることを示している。
  論文  参考訳（メタデータ） (2024-06-11T05:50:34Z)
• Solving the Clustering Reasoning Problems by Modeling a Deep-Learning-Based Probabilistic Model [1.7955614278088239]
  我々は,Bongard-Logoで高い推論精度を実現する深層学習に基づく確率モデルであるPMoCを紹介する。 また,複雑な視覚的抽象的推論タスクのためのPose-Transformerを設計した。
  論文  参考訳（メタデータ） (2024-03-05T18:08:29Z)
• Sim-to-Real Causal Transfer: A Metric Learning Approach to Causally-Aware Interaction Representations [62.48505112245388]
  エージェント相互作用の現代的表現の因果認識を詳細に検討する。 近年の表現は、非因果剤の摂動に対して部分的に耐性があることが示されている。 因果アノテーションを用いた潜在表現を正規化するための計量学習手法を提案する。
  論文  参考訳（メタデータ） (2023-12-07T18:57:03Z)
• Visual Chain of Thought: Bridging Logical Gaps with Multimodal Infillings [61.04460792203266]
  本稿では, 逐次データ内の論理的ギャップを埋めるために, 視覚言語による接地を促進させる, チェーン・オブ・シントを利用する新しい手法であるVCoTを紹介する。 本手法は,下流タスクの論理的ギャップを低減するために,一貫した情報と新しい情報を加える合成マルチモーダル埋め込みを生成するために視覚誘導を用いる。
  論文  参考訳（メタデータ） (2023-05-03T17:58:29Z)
• Causal Triplet: An Open Challenge for Intervention-centric Causal Representation Learning [98.78136504619539]
  Causal Tripletは、視覚的に複雑なシーンを特徴とする因果表現学習ベンチマークである。 この結果から,不整合表現やオブジェクト中心表現の知識によって構築されたモデルが,分散表現よりもはるかに優れていることを示す。
  論文  参考訳（メタデータ） (2023-01-12T17:43:38Z)
• Causal Navigation by Continuous-time Neural Networks [108.84958284162857]
  本研究では,連続時間ニューラルネットワークを用いた因果表現学習のための理論的,実験的枠組みを提案する。 本手法は,ドローンの視覚制御学習の文脈において,一連の複雑なタスクにおいて評価する。
  論文  参考訳（メタデータ） (2021-06-15T17:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。