論文の概要: Embodied RAG++: Retrieval-Augmented Generation From What Exists to What Works in Embodied Scenes
- arxiv url: http://arxiv.org/abs/2611.07517v1
- Date: Thu, 05 Nov 2026 06:26:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.567798
- Title: Embodied RAG++: Retrieval-Augmented Generation From What Exists to What Works in Embodied Scenes
- Title(参考訳): エンボディードRAG++: 既存のものから、エンボディードシーンで動くものへの検索強化ジェネレーション
- Abstract要約: 本稿では,動的なハイブリッドシーングラフと実製品マニュアルを結びつけるE2W-Benchを提案する。
Embodied RAG++も提案する。これは空間的に接地された検索フレームワークで、候補オブジェクトにリンクしたマニュアルに検索をスコープする。
- 参考スコア(独自算出の注目度): 8.736111854372492
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: To serve a request in a human environment, a robot system must find an object that satisfies a functional requirement and a robot that can feasibly reach it. Scene graphs record which objects exist and where, but they often omit capabilities documented only in product manuals. Retrieval-augmented generation methods can read such manuals, yet they rarely reason jointly over object capabilities, physical instances, robot states, and dynamic connectivity. We introduce E2W-Bench, the Exists-to-Works Benchmark, which links dynamic hybrid scene graphs with real product manuals to evaluate capability-grounded robot--object assignment under availability, mobility, vertical-reach, and connector constraints. We also present Embodied RAG++, a spatially grounded retrieval framework that scopes retrieval to the manuals linked to candidate objects, caches extracted capabilities per product model, and resolves robot--object feasibility through deterministic spatial reasoning. On E2W-Bench, Embodied RAG++ reaches a pair accuracy of 0.90 with Qwen2.5-32B and 1.00 with Llama3.3-70B, compared with at most 0.30 and 0.55 for the baselines, while requiring the shortest preprocessing time among the retrieval-based methods and tying for the lowest total token count.
- Abstract(参考訳): 人間の環境で要求を満たすためには、ロボットシステムは機能要件を満たすオブジェクトと、それに到達することができるロボットを見つける必要がある。
シーングラフは、どのオブジェクトが存在し、どこにあるかを記録するが、製品マニュアルでのみ文書化された機能を省略することが多い。
Retrieval-augmented generation methodはそのようなマニュアルを読むことができるが、オブジェクト機能、物理インスタンス、ロボット状態、動的接続性について共同で推論することは滅多にない。
E2W-Bench, Exist-to-Works Benchmarkを導入し、動的ハイブリッドシーングラフと実際の製品マニュアルを結びつけて、可用性、モビリティ、垂直リーチ、コネクタ制約下でのオブジェクト割り当ての評価を行う。
Embodied RAG++は,対象物に関連付けられたマニュアルに検索をスコープし,製品モデル毎に抽出した機能をキャッシュし,決定論的空間推論によるロボットオブジェクトの実現可能性を解決するための,空間的基盤付き検索フレームワークである。
E2W-Benchでは、Embodied RAG++がQwen2.5-32Bで0.90、Llama3.3-70Bで1.00に達する。
関連論文リスト
- VABAR: A Variational Automation Benchmark for Agentic Robotics [56.692120593279014]
これらの設定と固定された自動化を区別するために、この変分自動化(VA)と呼ぶ。
本稿では,エージェントロボットに対するアクセシビリティ,再現性,多様性,関連性などを含む汎用的なエージェントロボットベンチマーク設計基準を提案する。
本稿では,エージェントロボティクスのための変分自動化ベンチマーク(VABAR)を紹介する。
論文 参考訳(メタデータ) (2026-11-04T18:38:01Z) - AutoRSR: Automated Real-to-Sim-to-Real Data Generation for Scalable Robot Learning [47.99079199683363]
Real-to-sim-to-realフレームワークは、スキャンした実世界のワークスペースを再利用可能なエンボディド・シミュレーションアセットとスケーラブルな操作データに変換する。
3つの実世界の操作タスクにおいて、1タスクごとに1Kで訓練されたポリシーは、73.3--86.7%の実世界の成功率を達成する。
その結果, 実世界の観測は, 人的労力を大幅に削減した, 定量的に一致し, 実行可能で, スケーラブルなシミュレーションデータに変換できることがわかった。
論文 参考訳(メタデータ) (2026-10-14T15:19:00Z) - FolDeX: A Physical-World Benchmark for Long-Horizon Robotic Manipulation of Deformable Objects [48.07983664416247]
FolDeXは実ロボットのデータで作られた物理世界のベンチマークだ。
FolDeXは、不均一な物理的体験を効率的に再利用する方法を研究している。
論文 参考訳(メタデータ) (2026-09-09T14:33:44Z) - Retrieval-Augmented Robots via Retrieve-Reason-Act [5.93914911947526]
我々は、ロボットが受動的執行者からアクティブな情報検索ユーザーへと進化する必要があると主張している。
以前のデモが存在しない厳密なゼロショット設定では、ロボットは重要な情報ギャップに直面している。
このパラダイムをRetrieval-Augmented Robotics (RAR) と定義し,ロボットに情報探索機能を持たせる。
論文 参考訳(メタデータ) (2026-03-03T07:32:15Z) - RoboRefer: Towards Spatial Referring with Reasoning in Vision-Language Models for Robotics [67.11221574129937]
空間参照は、3D物理世界と相互作用するエンボディロボットの基本的な能力である。
本稿では,まず空間的理解を正確に行うことのできる3次元VLMであるRoboReferを提案する。
RoboReferは、強化微調整による一般化された多段階空間推論を推進している。
論文 参考訳(メタデータ) (2025-06-04T17:59:27Z) - HabitatDyn Dataset: Dynamic Object Detection to Kinematics Estimation [16.36110033895749]
本稿では,合成RGBビデオ,セマンティックラベル,深度情報,および運動情報を含むデータセットHabitatDynを提案する。
HabitatDynは移動カメラを搭載した移動ロボットの視点で作られ、6種類の移動物体をさまざまな速度で撮影する30のシーンを含んでいる。
論文 参考訳(メタデータ) (2023-04-21T09:57:35Z) - Learn Fast, Segment Well: Fast Object Segmentation Learning on the iCub
Robot [20.813028212068424]
我々は、新しいオブジェクトや異なるドメインの存在下で、オブジェクトセグメンテーションモデルに適応できる様々な技術について研究する。
データをストリーム化するロボットアプリケーションのための高速なインスタンスセグメンテーション学習のためのパイプラインを提案する。
提案したパイプラインを2つのデータセットでベンチマークし、実際のロボットであるiCubヒューマノイドにデプロイする。
論文 参考訳(メタデータ) (2022-06-27T17:14:04Z) - MetaGraspNet: A Large-Scale Benchmark Dataset for Vision-driven Robotic
Grasping via Physics-based Metaverse Synthesis [78.26022688167133]
本稿では,物理に基づくメタバース合成による視覚駆動型ロボットグルーピングのための大規模ベンチマークデータセットを提案する。
提案するデータセットには,10万の画像と25種類のオブジェクトが含まれている。
また,オブジェクト検出とセグメンテーション性能を評価するためのデータセットとともに,新しいレイアウト重み付け性能指標を提案する。
論文 参考訳(メタデータ) (2021-12-29T17:23:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。