論文の概要: LIFD: Anchored Diffusion for 3D-Aware Scene Memory in Robotic Manipulation
- arxiv url: http://arxiv.org/abs/2609.19796v1
- Date: Thu, 17 Sep 2026 07:07:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:54.132038
- Title: LIFD: Anchored Diffusion for 3D-Aware Scene Memory in Robotic Manipulation
- Title(参考訳): LIFD:ロボットマニピュレーションにおける3次元記憶のためのアンコール拡散
- Abstract要約: LIFD(Look, Imagine, Focus, and Do)は、永続的で3D対応のシーンメモリのためのフレームワークである。
マルチビューアグリーメントからシーントーケン表現を学び、単一のRGBビューとリカレントメモリからそれを完了する。
LIBEROが91.6%、MetaWorldが79.8%、LIBEROが3.1ポイント向上した。
- 参考スコア(独自算出の注目度): 26.73606026427262
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Robotic manipulation under partial observability requires spatial information that extends beyond the current view. Geometry-aware RGB features describe visible structure, but previously observed regions may disappear as the robot or scene moves. Maintaining a useful scene representation therefore requires retaining observation history while inferring missing content without losing its connection to visible evidence. We introduce LIFD (Look, Imagine, Focus, and Do), a framework for persistent, 3D-aware scene memory. LIFD learns a scene-token representation from multi-view agreement and completes it from a single RGB view and recurrent memory. A rectified-flow model generates the tokens while Anchor-Guided Cross-Attention conditions completion on current geometric features. Compact slot features connect this representation to a manipulation policy. Multi-view and geometric supervision are used during representation learning; deployment requires one RGB camera, proprioception, and a task instruction. LIFD (Staged) reaches 91.6% average success on LIBERO and 79.8% on MetaWorld, improving LIBERO average success by 3.1 percentage points over Joint training. On four UR5e task families with ten demonstrations per family, it achieves 56.0% mean success, compared with 40.5% for OpenVLA-7B.
- Abstract(参考訳): 部分観測可能性の下でのロボット操作は、現在の視点を超えて広がる空間情報を必要とする。
幾何学的RGBの特徴は可視構造を記述しているが、ロボットやシーンが動くと、それまで観察されていた領域は消滅する可能性がある。
したがって、有用なシーン表現を維持するには、観察履歴を保持する必要があるが、見やすい証拠とのつながりを失わずに、欠落したコンテンツを推測する必要がある。
我々は、永続的で3D対応のシーンメモリのためのフレームワークLIFD(Look, Imagine, Focus, and Do)を紹介する。
LIFDはマルチビューアグリーメントからシーントーケン表現を学び、単一のRGBビューとリカレントメモリからそれを完了する。
整流流モデルがトークンを生成し、アンカーガイド型クロスアテンション条件が現在の幾何学的特徴を補完する。
コンパクトスロット機能は、この表現を操作ポリシーに接続する。
マルチビューと幾何的監視は表現学習で使用され、配置には1台のRGBカメラ、プロプレセプション、タスク命令が必要である。
LIFD(Staged)は、LIBEROで91.6%、MetaWorldで79.8%、LIBEROで3.1ポイント向上した。
4つのUR5eタスクファミリーで1家族当たり10回のデモを行い、平均して56.0%の成功を達成し、OpenVLA-7Bでは40.5%である。
関連論文リスト
- Lucida: Parse, Generate, and Place for Composable Real-to-Sim Scene Modeling [11.305288161442995]
構成可能なシーンモデリングは、実際の屋内シーンを、観察されたように配置された完全な編集可能なオブジェクトアセットとして復元することを目的としている。
Luciaはビデオをシーングラフに解析し、ノードはインスタンスごとのマルチビューのエビデンスを持っている。
Luciaは、マルチターンGUIインタラクションとして配置するVLMポリシーであるGizmoActで資産を配置する。
論文 参考訳(メタデータ) (2026-08-31T14:03:20Z) - Multi-View Unified Camera Fields: Geometry-Shaped Action-Facing Representations for RGB-Only Multi-Camera VLA Policies [12.27577524307746]
Multi-View Unified Camera Fields (MVUCF) は、ビューをまたいだ共有アクション対応潜在フィールドを形成するトレーニング専用フレームワークである。
ジオメトリインジェクション、奥行き、カメラキャリブレーション、補助ヘッドが取り除かれた後、配置は、追加の推論FLOPを持たない元のRGBのみのグラフを使用する。
論文 参考訳(メタデータ) (2026-08-03T07:36:09Z) - SSI-Policy: Learning Structured Scene Interfaces for Vision-Language Robotic Manipulation [14.951719484171063]
SSI-Policyは統一されたRGBのみの中間表現で、単分子深度特徴、言語基底のオブジェクトレイアウト、命令条件の2Dモーショントラジェクトリを共同でエンコードする。
SSI-Policyは、タスク毎に10のデモしか行わないLIBEROベンチマークにおいて、最強の事前メソッドよりも15%近く改善されている。
さらに,空間的推論,クロス・エボディメント・トランスファー,コンタクトリッチな操作にまたがる13の現実世界タスクについて検証を行った。
論文 参考訳(メタデータ) (2026-06-25T09:38:05Z) - Sparse2Act: Learning Action-Aligned Sparse 3D Representations for Cross-Domain Robot Manipulation [52.00134393320209]
Sparse2Actは、スパースポイントクラウドエンコーダの事前学習のための観測・動作アライメントフレームワークである。
マスク付きスパース3Dトークンは、観察と組み合わせたワークスペース運動の周囲のシーン特徴を整理するために訓練される。
LIBERO-10ベンチマークでは,500ステップの微調整を行い,平均86.9%の成功を達成した。
論文 参考訳(メタデータ) (2026-06-10T23:56:01Z) - REACT3D: Recovering Articulations for Interactive Physical 3D Scenes [96.27769519526426]
REACT3Dは静的な3Dシーンを一貫した幾何学を持つシミュレーション可能なインタラクティブなレプリカに変換するフレームワークである。
室内の様々な場面における検出・分離・調音計測における最先端性能について検討した。
論文 参考訳(メタデータ) (2025-10-13T12:37:59Z) - CAP-Net: A Unified Network for 6D Pose and Size Estimation of Categorical Articulated Parts from a Single RGB-D Image [86.75098349480014]
本稿では,ロボット操作作業における調音物体のカテゴリーレベルのポーズ推定に取り組む。
そこで本研究では,Categorical Articulated Partsの6次元ポーズとサイズを推定するためのシングルステージネットワークCAP-Netを提案する。
我々は,RGB画像と実センサからシミュレーションした深度雑音を特徴とするRGB-D調音データセットであるRGBD-Artデータセットを紹介した。
論文 参考訳(メタデータ) (2025-04-15T14:30:26Z) - CrossOver: 3D Scene Cross-Modal Alignment [78.3057713547313]
CrossOverは、クロスモーダルな3Dシーン理解のための新しいフレームワークである。
モダリティを整列させることにより、シーンの統一的でモダリティに依存しない埋め込み空間を学ぶ。
堅牢なシーン検索とオブジェクトのローカライゼーションをサポートする。
論文 参考訳(メタデータ) (2025-02-20T20:05:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。