論文の概要: Agentic RAG-VLM: Affordance-Aware Retrieval-Augmented Generation with Self-Reflective Planning for Robotic Grasping
- arxiv url: http://arxiv.org/abs/2606.31200v1
- Date: Tue, 30 Jun 2026 06:30:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-01 18:27:19.103434
- Title: Agentic RAG-VLM: Affordance-Aware Retrieval-Augmented Generation with Self-Reflective Planning for Robotic Grasping
- Title（参考訳）: エージェントRAG-VLM:ロボットグラスピングのための自己反射型計画付きアフォーマンス対応検索生成
- Abstract要約: 本稿では,VLMをベースとした意味理解と,物理的に基盤とした把握実行をブリッジする統合フレームワークであるAgentic RAG-VLMを提案する。
RAG-VLMは、検索拡張生成(RAG)と視覚言語モデル(VLM)とエージェント的自己反射計画を統合している。
RAG-VLMは全体の78.3%を達成し、VLMのみのベースラインよりも53.3ポイントの絶対的なゲインを得た。
- 参考スコア（独自算出の注目度）: 19.599594594020235
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generalizable robotic grasping in cluttered environments is essential for deploying manipulators in unstructured human spaces, yet existing VLM-based methods rely on visual similarity for object matching, neglecting physical affordances such as handle graspability and material fragility, and operate open-loop without spatial reasoning or failure recovery, limiting their effectiveness when objects are densely packed or physically diverse. We present Agentic RAG-VLM, a unified framework that bridges VLM-based semantic understanding and physically grounded grasp execution by integrating retrieval-augmented generation (RAG) with vision-language models (VLMs) and agentic self-reflective planning. Agentic RAG-VLM introduces three tightly coupled components: (1) a Hierarchical Affordance-Aware RAG (HAA-RAG) that encodes four-dimensional affordance descriptors, including type, material, fragility, and graspable region, and retrieves strategies by functional affordance compatibility rather than visual appearance; (2) a Scene Graph Constraint Reasoner that constructs spatial relationship graphs from VLM perception and translates proximity, occlusion, and support constraints into concrete grasp parameter adjustments; and (3) an Agentic Self-Reflective Pipeline with a 14-type failure taxonomy and three-level adaptive retry for closed-loop grasp refinement. Evaluated on a 12-task benchmark spanning single-grasp, interactive, and long-horizon scenarios with 360 trials per configuration, Agentic RAG-VLM achieves 78.3 percent overall success, a 53.3 percentage-point absolute gain over VLM-only baselines, demonstrating that affordance-aware retrieval, scene graph reasoning, and agentic recovery are jointly essential for robust manipulation.
- Abstract（参考訳）: しかし、既存のVLMベースの手法は、オブジェクトマッチングの視覚的類似性に依存し、把握性や材料脆弱性などの物理的余裕を無視し、空間的推論や障害回復を伴わずにオープンループを運用し、オブジェクトが密に充填されたり、物理的に多様である場合にその有効性を制限している。
本稿では,視覚言語モデル(VLM)とエージェント的自己表現計画(Agentic Self-reflective Planning)を統合し,VLMに基づく意味理解と身体的理解をブリッジする統合フレームワークであるAgentic RAG-VLMを提案する。
A Hierarchical Affordance-Aware RAG (HAA-RAG) which encodes four-dimensional affordance Descriptors, including type, material, fragility, and graspable region, and retrieves strategy by functional affordance compatibility than visual appearance, 2) Scene Graph Constraint Reasoner that constructs space relationship graphs from VLM perception and converts translation, occlusion, and support constraintss into concrete grasp parameters adjusts, 3) Agentic Self-Reflective Pipeline with a 14-type failure taxonomy and three-level Adaptive Retry for closed-loop refinement。
シングルグラフ、インタラクティブ、ロングホライゾンのシナリオにまたがる12タスクのベンチマークで評価され、1構成あたり360回の試行で評価され、エージェントRAG-VLMは78.3%の成功、VLMのみのベースラインよりも53.3ポイントの絶対的なゲインを達成した。
関連論文リスト
- Steering Vision-Language Models with Joint Sparse Autoencoders [2.367986397868328]
連成スパースオートエンコーダ(JSAE)を導入し、シーケンスプールされた視覚と言語アクティベーションを、共用、解釈可能な画像/カプセルレベルの特徴に分解する。
JSAEを視覚言語モデル(VLM)に適用すると、制御可能なクロスモーダルステアリングの方向として使うのが難しい表現が得られる。
論文 参考訳（メタデータ） (2026-06-24T10:11:04Z) - SpatialClaw: Rethinking Action Interface for Agentic Spatial Reasoning [99.49739831030388]
このインタフェースの設計は,オープンエンド空間推論のためのエージェントのキャパシティをいかに形作るかを検討する。
本研究では,アクションインタフェースとしてコードを採用する空間推論のためのトレーニングフリーフレームワークであるSpatialClawを提案する。
論文 参考訳（メタデータ） (2026-06-11T17:59:36Z) - AffordanceVLA: A Vision-Language-Action Model Empowering Action Generation through Affordance-Aware Understanding [55.535374902204296]
AffordanceVLAは、タスク指向の中間表現として構造化された価格予測を導入する統一フレームワークである。
AffordanceVLAは様々な操作シナリオで高いパフォーマンスを実現していることを示す。
論文 参考訳（メタデータ） (2026-06-04T13:28:51Z) - Goal2Skill: Long-Horizon Manipulation with Adaptive Planning and Reflection [15.30405243180468]
長い水平な操作タスクには、永続的なメモリ、適応的なタスクの分解、実行障害からの明示的な回復が必要である。
本フレームワークは,低レベルモータ実行から高レベルセマンティック推論を明示的に分離する。
VLMベースのエージェントモジュールとして実装された高レベルプランナは、構造化されたタスクメモリを維持している。
低レベルエグゼキュータは、VLAベースのビジュモータコントローラとしてインスタンス化され、各サブタスクを実行する。
論文 参考訳（メタデータ） (2026-04-15T14:53:09Z) - OMG-Agent: Toward Robust Missing Modality Generation with Decoupled Coarse-to-Fine Agentic Workflows [9.617220633655716]
textbfunderlineOmni-textbfunderlineModality textbfunderlineGeneration Agent (textbfOMG-Agent)について述べる。
論文 参考訳（メタデータ） (2026-02-04T02:25:40Z) - Steering to Say No: Configurable Refusal via Activation Steering in Vision Language Models [26.60985401108749]
我々はtextbfCR-VLM における textbfConfigurable textbfRefusal を開発する。
CR-VLMは,(1)教師の力を借りてリファクトベクターを抽出してリファクト信号を増幅し,(2)スコープ内クエリの受け入れを保ち,過剰リファクトを緩和するゲーティング機構を導入する,(3)視覚表現とリファクト要求を整列するデファクト視覚拡張モジュールを設計する,という3つの統合コンポーネントから構成される。
論文 参考訳（メタデータ） (2026-01-31T10:54:33Z) - SSVP: Synergistic Semantic-Visual Prompting for Industrial Zero-Shot Anomaly Detection [55.54007781679915]
本稿では,多種多様な視覚的エンコーディングを効率よく融合させ,モデルの微粒化知覚を高めるSynergistic Semantic-Visual Prompting (SSVP)を提案する。
SSVPは、MVTec-AD上で93.0%のImage-AUROCと92.2%のPixel-AUROCで最先端のパフォーマンスを達成し、既存のゼロショットアプローチを著しく上回っている。
論文 参考訳（メタデータ） (2026-01-14T04:42:19Z) - CSMCIR: CoT-Enhanced Symmetric Alignment with Memory Bank for Composed Image Retrieval [54.15776146365823]
Composed Image Retrieval (CIR)では、ユーザーは参照画像と操作テキストの両方を使用してターゲットイメージを検索できる。
CSMCIRは3つの相乗的コンポーネントを通して効率的なクエリターゲットアライメントを実現する統一表現フレームワークである。
論文 参考訳（メタデータ） (2026-01-07T09:21:38Z) - SemanticVLA: Semantic-Aligned Sparsification and Enhancement for Efficient Robotic Manipulation [65.6201974979119]
本稿では,効率的なロボットマニピュレーションのためのセマンティックスペーシフィケーション・エンハンスメントを実現する新しいVLAフレームワークSemanticVLAを提案する。
SemanticVLAはOpenVLA on LIBEROベンチマークを21.1%上回り、トレーニングコストと推論遅延を3.0倍と2.7倍に削減した。
論文 参考訳（メタデータ） (2025-11-13T17:24:37Z) - ReAgent-V: A Reward-Driven Multi-Agent Framework for Video Understanding [71.654781631463]
ReAgent-Vは、新しいエージェントビデオ理解フレームワークである。
推論中に効率の良いフレーム選択とリアルタイムの報酬生成を統合する。
12のデータセットに対する大規模な実験は、一般化と推論において大きな成果を上げている。
論文 参考訳（メタデータ） (2025-06-02T04:23:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。