論文の概要: MOSAIC: Modular Obstacle and Spatial-Aware Framework for Manipulation In Cluttered Scenes
- arxiv url: http://arxiv.org/abs/2611.15937v1
- Date: Wed, 11 Nov 2026 19:32:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.2625
- Title: MOSAIC: Modular Obstacle and Spatial-Aware Framework for Manipulation In Cluttered Scenes
- Title(参考訳): MOSAIC: 乱れた場面での操作のためのモジュール型障害物と空間認識フレームワーク
- Abstract要約: VLA(Vision-Language-Action)モデルは、ロボット操作において強力な性能を示している。
VLAモデルは主に2次元の視覚観察と言語指示に依存しており、シーン幾何学と障害物の関係は暗黙的に推測される。
本稿では,オブジェクトレベルのシーン理解とアクション生成を改善するために,事前訓練されたVLAポリシと統合可能なモジュール型空間認識および障害物認識フレームワークを提案する。
- 参考スコア(独自算出の注目度): 13.233780216346537
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-Language-Action (VLA) models have demonstrated strong performance in robotic manipulation, yet most rely primarily on 2D visual observations and language instructions, leaving scene geometry and obstacle relationships to be inferred implicitly. This limitation is particularly problematic in cluttered environments, where small spatial errors can lead to unintended contacts or collisions. We propose MOSAIC, a modular spatial- and obstacle-aware framework that can be integrated with pretrained VLA policies to improve object-level scene understanding and action generation. Our method augments the VLA backbone with an auxiliary semantic grounding task that predicts role-specific masks for the target object, destination region, and surrounding obstacles. We further combine the target and destination masks with depth estimated from 3D scene reconstruction to construct role-specific geometric tokens that are injected directly into the action expert. In addition, we propose obstacle-aware attention supervision that emphasizes obstacles near the robot body during task execution. The resulting attention features are subsequently injected into later action-expert layers to further guide action generation. Together, these components provide explicit semantic, geometric, and obstacle-aware cues while preserving the underlying pretrained VLA architecture. We evaluate our framework on pretrained VLA model using the RoboPRO benchmark, including visual perturbation tests, and further validate it on real-world manipulation tasks. MOSAIC improves the success rate by 5.1% in cluttered scenes, and by 9.7% under visual perturbations, with gains of up to 25.0% in the most challenging environment. We will release our code and dataset upon acceptance at the following Github page: https://mmahdavian.github.io/MOSAIC/
- Abstract(参考訳): VLA(Vision-Language-Action)モデルはロボット操作において強力な性能を示しているが、ほとんどの場合2次元の視覚観察と言語指示に依存しており、シーン幾何学と障害物の関係は暗黙的に推測される。
この制限は、小さな空間誤差が意図しない接触や衝突につながるような乱雑な環境において特に問題となる。
我々は、オブジェクトレベルのシーン理解とアクション生成を改善するために、事前訓練されたVLAポリシーと統合できるモジュール型空間認識および障害物認識フレームワークMOSAICを提案する。
本手法は,目的物,目的地領域,周辺障害物に対する役割特異的マスクを予測する補助的セマンティックグラウンドティングタスクにより,VLAバックボーンを増強する。
さらに、ターゲットマスクと目的地マスクを3次元シーン再構成から推定した深さと組み合わせて、アクションエキスパートに直接注入される役割特異的な幾何学的トークンを構築する。
また,タスク実行時のロボット体近傍の障害物に着目した障害物認識型注意監視を提案する。
結果として得られた注意機能は、アクション生成をさらにガイドするために後続のアクションエキスパート層に注入される。
これらのコンポーネントは、基礎となる事前訓練されたVLAアーキテクチャを保持しながら、明示的な意味論的、幾何学的、および障害物対応のキューを提供する。
視覚摂動テストを含むRoboPROベンチマークを用いて,事前学習VLAモデルの枠組みを評価し,実世界の操作タスクでさらに検証する。
MOSAICは、散らばったシーンで5.1%、視覚的摂動で9.7%、最も困難な環境では25.0%の上昇率で成功率を向上させる。
コードとデータセットは次のGithubページで公開します。
関連論文リスト
- AffordanceVLA: A Vision-Language-Action Model Empowering Action Generation through Affordance-Aware Understanding [55.535374902204296]
AffordanceVLAは、タスク指向の中間表現として構造化された価格予測を導入する統一フレームワークである。
AffordanceVLAは様々な操作シナリオで高いパフォーマンスを実現していることを示す。
論文 参考訳(メタデータ) (2026-06-04T13:28:51Z) - SceneTeract: Agentic Functional Affordances and VLM Grounding in 3D Scenes [49.117927512531715]
我々はエージェント固有の制約の下で3Dシーン機能を検証するフレームワークであるSceneTeractを紹介する。
SceneTeractは複雑なアクティビティをアトミックアクションのシーケンスに分解し、アクセシビリティ要求に対して各ステップを検証する。
具体化された3Dシーン理解における知覚と身体的現実を橋渡しするSceneTeract検証スイートとデータをリリースする。
論文 参考訳(メタデータ) (2026-03-31T14:31:18Z) - Clutter-Resistant Vision-Language-Action Models through Object-Centric and Geometry Grounding [14.290592746124835]
本稿では,行動推論から知覚的グラウンドを遠ざける枠組みであるOBEYED-VLAを提案する。
OBEYED-VLAは、タスク条件付き、オブジェクト中心、幾何学的認識の観察に入力を基礎付ける知覚モジュールを備えたビジョン・ランゲージ・アクションモデルを強化する。
現実世界のUR10eテーブルトップ設定では、OBEYED-VLAは強力なVLAベースラインよりもロバスト性を大幅に向上する。
論文 参考訳(メタデータ) (2025-12-27T08:31:25Z) - PosA-VLA: Enhancing Action Generation via Pose-Conditioned Anchor Attention [92.85371254435074]
PosA-VLAフレームワークは、ポーズ条件付き監視を通じて視覚的注意を保ち、タスク関連領域に対するモデルの認識を一貫して導く。
本手法は,多様なロボット操作ベンチマークにおいて,正確かつ時間効率のよい動作を実施できることを示す。
論文 参考訳(メタデータ) (2025-12-03T12:14:29Z) - Improving Robotic Manipulation Robustness via NICE Scene Surgery [22.613189865166557]
我々は、コンテキスト拡張(NICE)のための、効果的でスケーラブルなフレームワーク、博物論的インペインティング(Naturistic Inpainting)を提案する。
NICEは3つの編集操作、オブジェクトのリプレース、リプライ、非ターゲットオブジェクトの削除を行う。
従来のアプローチとは異なり、NICEは追加のロボットデータ収集、シミュレータアクセス、カスタムモデルトレーニングを必要としないため、既存のロボットデータセットに容易に適用できる。
論文 参考訳(メタデータ) (2025-11-27T22:02:02Z) - YOLOv8-SMOT: An Efficient and Robust Framework for Real-Time Small Object Tracking via Slice-Assisted Training and Adaptive Association [5.07987775511372]
本稿では,MVA 2025 "Finding Birds" Small Multi-Object Tracking Challenge (SMOT4SB)におけるチャンピオンシップ獲得ソリューションについて述べる。
トラッキング・バイ・検出のパラダイムを採用し、検出レベルとアソシエーションレベルの両方で目標とするイノベーションを実現している。
本手法はSMOT4SB公開テストセット上での最先端性能を実現し,SO-HOTAスコアの textbf55.205 に達する。
論文 参考訳(メタデータ) (2025-07-16T09:51:19Z) - EmbRACE-3K: Embodied Reasoning and Action in Complex Environments [48.32142591866083]
EmRACE-3KはUnreal EngineとUnrealCV-Zooフレームワークを使って構築された3000以上の言語誘導タスクのデータセットである。
探索,動的空間意味推論,多段階ゴール実行の3つの重要な次元にわたって,VLMの具体的推論能力を評価するためのベンチマークを構築した。
ゼロショット設定では、すべてのモデルが20%未満の成功率を達成した。
論文 参考訳(メタデータ) (2025-07-14T17:59:46Z) - Object-Centric Latent Action Learning [70.3173534658611]
本稿では,画素ではなくオブジェクトを対象とする,オブジェクト中心の潜在動作学習フレームワークを提案する。
我々は、自己教師対象中心の事前学習を利用して、行動関連や注意をそらすダイナミクスを歪めている。
その結果, 物体中心の事前学習は, トラクタの負の効果を50%軽減することがわかった。
論文 参考訳(メタデータ) (2025-02-13T11:27:05Z) - Localizing Active Objects from Egocentric Vision with Symbolic World
Knowledge [62.981429762309226]
タスクの指示をエゴセントリックな視点から積極的に下す能力は、AIエージェントがタスクを達成したり、人間をバーチャルに支援する上で不可欠である。
本稿では,現在進行中のオブジェクトの役割を学習し,指示から正確に抽出することで,アクティブなオブジェクトをローカライズするフレーズグラウンドモデルの性能を向上させることを提案する。
Ego4DおよびEpic-Kitchensデータセットに関するフレームワークの評価を行った。
論文 参考訳(メタデータ) (2023-10-23T16:14:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。