Fugu-MT 論文翻訳(概要): RoboMP-DINOv2: Prompts, Not Filters for Robust Robot Manipulation

論文の概要: RoboMP-DINOv2: Prompts, Not Filters for Robust Robot Manipulation

arxiv url: http://arxiv.org/abs/2609.25506v1
Date: Tue, 22 Sep 2026 00:04:58 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-23 18:04:04.155099
Title: RoboMP-DINOv2: Prompts, Not Filters for Robust Robot Manipulation
Title（参考訳）: RoboMP-DINOv2:ロボット操作のためのフィルタではなくプロンプト
Abstract要約: 汎用視覚エンコーダは視覚運動制御に向いていない。本稿では,マスクを空間的プロンプトとして扱うフルシーン視覚エンコーダであるRoboMP-DINOv2を提案する。
参考スコア（独自算出の注目度）: 6.1667758308047
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Robot manipulation policies must generalize across visual shifts while preserving scene context relevant to action. General-purpose vision encoders are not tailored to visuomotor control, while object-centric approaches often use segmentation masks as hard filters that discard potentially useful context. We propose RoboMP-DINOv2 (Robotics Mask-Prompted DINOv2), a full-scene vision encoder that treats masks as spatial prompts rather than visibility filters. It extracts dense DINOv2 features from the full observation, injects learned region-specific embeddings at masked locations, and jointly contextualizes prompted and unprompted tokens for action prediction. We further introduce masked-region color randomization (MCR) to improve appearance robustness, yielding RoboMP-DINOv2-MCR. Across seven simulated manipulation settings, RoboMP-DINOv2 achieves 60.7% success under spatial shifts and 59.7% under scene clutter, compared with 50.7% and 41.0% for a DINOv2-based Diffusion Policy. Under unseen object colors, RoboMP-DINOv2-MCR achieves 72.5% success versus 35.1% for the strongest color-randomized baseline. Additional experiments and representation analyses show improved robustness while preserving behaviorally relevant scene information. Code is available at https://github.com/han20192019/RoboMP_DINOv2.
Abstract（参考訳）: ロボット操作ポリシーは、アクションに関連するシーンコンテキストを保持しながら、視覚的なシフトをまたいで一般化する必要がある。汎用視覚エンコーダは視覚運動制御に向いていないが、オブジェクト中心のアプローチでは、潜在的に有用なコンテキストを捨てるハードフィルタとしてセグメンテーションマスクを使用することが多い。本稿では,マスクを可視性フィルタではなく空間的プロンプトとして扱うフルシーン視覚エンコーダであるRoboMP-DINOv2を提案する。完全な観察から密度の高いDINOv2の特徴を抽出し、学習した領域固有の埋め込みをマスクされた場所で注入し、アクション予測のためにトリガーされたトークンとプロンプトのないトークンを共同でコンテキスト化する。さらに、マスク領域色ランダム化(MCR)を導入し、外観の堅牢性を向上し、RoboMP-DINOv2-MCRを得る。 7つのシミュレートされた操作設定の中で、RoboMP-DINOv2は空間シフトで60.7%、シーンクラッタで59.7%、DINOv2ベースの拡散ポリシーで50.7%と41.0%を達成している。目に見えない物体の色の下では、RoboMP-DINOv2-MCRは72.5%が成功し、最強の色のランダム化ベースラインでは35.1%が成功している。追加の実験と表現分析は、行動に関連のあるシーン情報を保存しながら、ロバスト性を改善したことを示している。コードはhttps://github.com/han20192019/RoboMP_DINOv2.comから入手できる。

関連論文リスト

Transferring the Intelligence of VLMs to Robotic Control [49.39888205530348]
人間は物理的世界とデジタル世界の両方にシームレスに適応でき、人間の知性自体がこのギャップを越えて移動する可能性があることを示唆している。本稿では,ロボット制御をエージェントVLMに公開するヒューマン直感インタフェースであるRoboDawnを用いて,この問題を考察する。 RoboTwin 2.0 C2RとRoboDojoの実験では、RoboDawnはタスク固有のロボットトレーニングなしで高いパフォーマンスを実現している。
論文参考訳（メタデータ） (2026-09-19T11:34:13Z)
Patch Policy: Efficient Embodied Control via Dense Visual Representations [52.199962246592285]
我々は,フルVLMの計算オーバーヘッドを伴わずに,事前訓練済みの高密度パッチトークンを直接消費するパッチポリシーを開発した。提案手法は,最先端のグローバルプール表現を用いた政策よりも40%の相対的な改善を実現している。微調整されたOpenVLA-OFTを18%上回り、パラメータの約0.7%を使用する。
論文参考訳（メタデータ） (2026-07-20T17:59:41Z)
MaskWAM: Unifying Mask Prompting and Prediction for World-Action Models [41.48585089405156]
World Action Models (WAMs) はビデオ予測によるロボット制御に有望なパラダイムを提供する。現在のWAMは、基本的な空間的ボトルネックに悩まされている。オブジェクト中心のワールドアクションモデルであるMaskWAMを紹介する。
論文参考訳（メタデータ） (2026-06-11T16:02:42Z)
Choose What to Observe: Task-Aware Semantic-Geometric Representations for Visuomotor Policy [66.60668908340429]
Visuomotor のポリシーは、生の RGB 観測において、過度な視覚的要因に適合するデモから学ぶ。視覚的入力を共有表現に正準化するタスク対応観察インタフェースを提案する。我々は,RoboMimic (Lift), ManiSkill YCB grasping under clutter, 4つのRLBench task under control appearance shifts, and two real-world Franka taskについて検討した。
論文参考訳（メタデータ） (2026-03-09T01:21:26Z)
Language-Conditioned Representations and Mixture-of-Experts Policy for Robust Multi-Task Robotic Manipulation [1.731102560795011]
LMoE-DP(Language-Conditioned Visual Representation)モジュールとLanguage- Conditioned Mixture-of-Experts Density Policy(LMoE-DP)を組み合わせたフレームワークを提案する。実ロボットのベンチマークでは、LCVRはAction Chunking with Transformers (ACT) と Diffusion Policy (DP) の成功率をそれぞれ33.75%、25%向上させた。セマンティックグラウンドと専門家の専門化を組み合わせることで、堅牢で効率的なマルチタスク操作が可能になることを示す。
論文参考訳（メタデータ） (2025-10-28T04:27:03Z)
Robo2VLM: Visual Question Answering from Large-Scale In-the-Wild Robot Manipulation Datasets [15.349107660229356]
VLM(Vision-Language Models)は,インターネット規模の画像テキストコーパスを通じて,実世界の知識と一般的な推論能力を取得する。本稿では,VLMのためのVQA(Visual Question Answering)データセット生成フレームワークであるRobo2VLMを紹介する。実物176kのロボット軌道から463の異なるシーンと3,396のロボット操作タスクをカバーし、684,710の質問を回答した。
論文参考訳（メタデータ） (2025-05-21T13:42:52Z)
SparseGrasp: Robotic Grasping via 3D Semantic Gaussian Splatting from Sparse Multi-View RGB Images [125.66499135980344]
オープンボキャブラリ型ロボットグリップシステムであるSparseGraspを提案する。 SparseGraspはスパースビューのRGBイメージで効率的に動作し、シーン更新を高速に処理する。 SparseGraspは, 高速化と適応性の両方の観点から, 最先端の手法よりも優れていることを示す。
論文参考訳（メタデータ） (2024-12-03T03:56:01Z)
ColorMAE: Exploring data-independent masking strategies in Masked AutoEncoders [53.3185750528969]
Masked AutoEncoders (MAE)は、堅牢な自己管理フレームワークとして登場した。データに依存しないColorMAEという手法を導入し、ランダムノイズをフィルタすることで異なる二元マスクパターンを生成する。ランダムマスキングと比較して,下流タスクにおける戦略の優位性を示す。
論文参考訳（メタデータ） (2024-07-17T22:04:00Z)
It Takes Two: Masked Appearance-Motion Modeling for Self-supervised Video Transformer Pre-training [76.69480467101143]
自己監督型ビデオトランスフォーマーの事前トレーニングは、最近マスク・アンド・予測パイプラインの恩恵を受けている。本稿では,映像中の動きの手がかりを余分な予測対象として明示的に調査し,マスケッド・出現運動モデリングフレームワークを提案する。一般的なビデオ表現を学習し、Kinects-400で82.3%、Something V2で71.3%、UCF101で91.5%、HMDB51で62.5%を達成する。
論文参考訳（メタデータ） (2022-10-11T08:05:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。