論文の概要: TrySee: Modular Perception-Enhanced VLM Grounding for Closed-Loop Robot Task Planning in Specialized Domains

• arxiv url: http://arxiv.org/abs/2610.35687v1
• Date: Mon, 26 Oct 2026 16:20:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:14.068811
• Title: TrySee: Modular Perception-Enhanced VLM Grounding for Closed-Loop Robot Task Planning in Specialized Domains
• Title（参考訳）: TrySee: 特定領域におけるロボットタスク計画のためのモジュール知覚強化VLMグラウンド
• Abstract要約: TrySeeは、汎用的なVLM推論とドメイン固有の認識、確立されたロボティクスコンポーネントを統合するクローズドループロボットタスク計画パイプラインである。 システムはVLMの微調整もエンドツーエンドのデモも必要とせず、代替可能な知覚モジュールやモーションプランニングを通じて適応する。 この手法は、現実世界のロボット分解タスクを含む5つの異なる領域にわたる計画タスクで評価される。
• 参考スコア（独自算出の注目度）: 4.137761255401348
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision Language Models (VLMs) have shown impressive capabilities in high-level reasoning and task planning for robots. However, specialized domains remain a challenge for VLMs' image interpretation and grounding abilities. We introduce TrySee, a modular closed-loop robot task planning pipeline integrating general-purpose VLM reasoning with domain-specific perception and established robotics components. The system consists of an inherently reactive cyclic planning pipeline, augmented with domain-specific modular vision preprocessing, to provide online grounding. Finally, a dynamic preprocessing selection mechanism contributes to the scalability of the pipeline. The system requires neither VLM fine-tuning nor end-to-end demonstrations and adapts through replaceable perception modules and motion planning. The approach is evaluated on planning tasks across 5 widely different domains, including a real-world robot disassembly task. The field tests in a brownfield environment demonstrate the approach's practicality in integrating VLM planning into specialized robotic systems with limited domain-specific training data.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、ロボットの高度な推論とタスク計画において印象的な能力を示している。 しかしながら、特殊ドメインはVLMのイメージ解釈と接地能力の課題であり続けている。 本稿では,汎用VLM推論とドメイン固有認識を統合したモジュール型クローズドループロボットタスク計画パイプラインTrySeeを紹介する。 このシステムは本質的にリアクティブな循環計画パイプラインで構成され、ドメイン固有のモジュール型視覚前処理を付加し、オンライングラウンドを提供する。 最後に、動的前処理の選択メカニズムがパイプラインのスケーラビリティに寄与する。 このシステムは、VLMの微調整もエンドツーエンドのデモも必要とせず、代替可能な知覚モジュールやモーションプランニングを通じて適応する。 この手法は、現実世界のロボット分解タスクを含む5つの異なる領域にわたる計画タスクで評価される。 ブラウンフィールド環境でのフィールドテストは、限られたドメイン固有のトレーニングデータを持つ特殊なロボットシステムにVLM計画を統合するためのアプローチの実践性を実証する。

関連論文リスト

• RoboReason: Boosting Robotics-Relevant VLM Reasoning Through Scalable Data Generation [53.70197039070229]
  仮想ロボットに装着されたステレオカメラと手首カメラの画像を用いた空間的および時間的順序付けタスクは、視覚的推論能力を評価するのに適している。 VLM推論能力は,タスクの言語記述に基づくシャッフルフレームの順序付け,カメラからの距離に基づいて物体を奥行きに並べる,画素座標における物体を左右に並べる,という3つの質問に対して評価する。
  論文  参考訳（メタデータ） (2026-10-24T16:29:54Z)
• Show-Harness: Just a VLM Agent Can Play Robots [53.80887083886227]
  身体的視覚言語モデル(VLM)は世界に関する幅広い知性を示すが、この知性をロボット制御に翻訳することは依然として困難である。 本稿では,動作意図をリンクするコンパクトなセマンティックインターフェースを通じて,VLMがロボットを「プレイ」することを可能にする,身体的ハーネスであるShow-Harnessを紹介する。 GUMIはGUIベースのデモコレクションに同じセマンティックアクション空間を拡張し、人間やエージェントが特殊な遠隔操作ハードウェアを使わずにエボディメントをまたいでロボットを「プレイ」することができる。
  論文  参考訳（メタデータ） (2026-09-09T17:53:38Z)
• RoboAgent: Chaining Basic Capabilities for Embodied Task Planning [46.248451288196435]
  本稿では,エージェントが環境から視覚的観察を取得し,与えられたタスクを達成するためのアトミックアクションを実行する,具体的タスク計画に焦点を当てる。 本稿では,機能駆動型計画パイプラインであるRoboAgentを提案する。 我々は,(1)専門家プランによる行動クローニング,(2)モデルで収集した軌跡を用いたDAggerトレーニング,(3)専門家ポリシーによる強化学習からなる多段階的パラダイムを用いている。
  論文  参考訳（メタデータ） (2026-04-09T04:01:27Z)
• Deploying Foundation Model-Enabled Air and Ground Robots in the Field: Challenges and Opportunities [65.98704516122228]
  基礎モデル(FM)をロボット工学に統合することで、ロボットは自然言語を理解し、環境のセマンティクスを推論できるようになった。 本稿では,FM対応ロボットを現場に展開する上で,大規模で非構造的な環境下でのロボットの運用に必要なミッションについて述べる。 数kmのミッションを持つ非構造環境下での大規模LLM対応ロボット計画の実証実験を行った。
  論文  参考訳（メタデータ） (2025-05-14T15:28:43Z)
• LLaRA: Supercharging Robot Learning Data for Vision-Language Policy [56.505551117094534]
  我々はLLaRA: Large Language and Robotics Assistantを紹介した。 まず、既存の行動クローニングデータセットからロボットのための会話スタイルの指導データを生成する自動パイプラインを提案する。 このようなデータセットを限定的に微調整したVLMは、ロボット制御において有意義な行動決定を導出できることを示す。
  論文  参考訳（メタデータ） (2024-06-28T17:59:12Z)
• MOKA: Open-World Robotic Manipulation through Mark-Based Visual Prompting [97.52388851329667]
  我々は,自由形式の言語命令で指定されたロボット操作タスクを解決するために,マーキングオープンワールドキーポイントアフォード(Moka)を導入する。 我々のアプローチの中心は、VLMの観測画像と物理世界におけるロボットの行動に関する予測を橋渡しする、コンパクトな点ベースの可測性表現である。 ツールの使用,変形可能な身体操作,オブジェクト再構成など,さまざまなテーブルトップ操作タスクにおけるMokaの性能評価と解析を行った。
  論文  参考訳（メタデータ） (2024-03-05T18:08:45Z)
• PIVOT: Iterative Visual Prompting Elicits Actionable Knowledge for VLMs [140.14239499047977]
  視覚言語モデル(VLM)は、論理的推論から視覚的理解に至るまで、様々なタスクにわたって印象的な能力を示している。 PIVOT(Prompting with Iterative Visual Optimization)と呼ばれる新しい視覚的プロンプト手法を提案する。 私たちのアプローチは、ロボットのトレーニングデータやさまざまな環境でのナビゲーション、その他の能力なしに、ロボットシステムのゼロショット制御を可能にします。
  論文  参考訳（メタデータ） (2024-02-12T18:33:47Z)
• Look Before You Leap: Unveiling the Power of GPT-4V in Robotic Vision-Language Planning [32.045840007623276]
  本稿では,ロボットビジョン・ランゲージ計画(ViLa)について紹介する。 ViLaは、知覚データを推論と計画プロセスに直接統合する。 実ロボットとシミュレーション環境の両方で実施した評価は,既存のLCMプランナよりもViLaの方が優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-29T17:46:25Z)
• Chat with the Environment: Interactive Multimodal Perception Using Large Language Models [19.623070762485494]
  大型言語モデル(LLM)は、数発のロボット計画において顕著な推論能力を示している。 本研究は,LLMがマルチモーダル環境下での対話型ロボットの動作を制御し,高レベルな計画と推論能力を提供することを示す。
  論文  参考訳（メタデータ） (2023-03-14T23:01:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。