論文の概要: MV-Actor: Aligning Multi-View Semantics and Spatial Awareness for Bimanual Manipulation
- arxiv url: http://arxiv.org/abs/2606.10899v1
- Date: Tue, 09 Jun 2026 14:09:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-11 16:42:38.044269
- Title: MV-Actor: Aligning Multi-View Semantics and Spatial Awareness for Bimanual Manipulation
- Title（参考訳）: MV-Actor:バイマニピュレーションのための多視点セマンティクスと空間認識の調整
- Abstract要約: 既存のマルチビューポリシーは、個々のビューを独立にエンコードするか、あるいはヒューズビューを浅く特徴付ける。
両面操作のための統合意味空間表現を構築する多視点認識フレームワークである textbfMV-Actor を提案する。
PerAct2バイマニュアルベンチマークで実施されたシミュレーション実験では、MV-Actorは最先端の平均成功率87.8%を達成した。
- 参考スコア（独自算出の注目度）: 19.04734960629755
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Robotic manipulation has been widely applied in industrial scenarios. Compared with single-arm manipulation, bimanual manipulation is equipped with multiple cameras to capture information from different viewpoints. However, existing multi-view policies encode each view independently or fuse view features shallowly, resulting in limited sharing semantic perception and unreliable spatial awareness. In this paper, we propose \textbf{MV-Actor}, a multi-view perception framework that builds a unified semantic-spatial representation for bimanual manipulation. First, MV-Actor performs Multi-view Semantic Interaction to share semantic perception across views. Then it uses Semantic-Spatial Token Interaction to ground visual semantics with feed-forward reconstruction model features and acquire reliable spatial awareness. Finally, a Guided Metric Depth Repair module refines degraded sensor depth to provide more reliable metric anchors under consumer-grade depth noise. In simulation experiments conducted on the PerAct2 bimanual benchmark, MV-Actor achieves a state-of-the-art average success rate of 87.8\%. In real-world evaluations with more frequent viewpoint changes and unstable consumer-grade depth, MV-Actor outperforms both RGB and RGB-D baselines, further demonstrating the benefit of sharing semantic perception and reliable spatial awareness for bimanual manipulation.
- Abstract（参考訳）: ロボット操作は産業シナリオに広く応用されている。
シングルアーム操作と比較して、バイマニュアル操作は異なる視点から情報を取得するために複数のカメラを備えている。
しかし、既存のマルチビューポリシーは、個々のビューを独立にエンコードするか、あるいはヒューズビューの機能を浅くし、共有の意味認識の制限と信頼性の低い空間認識をもたらす。
本稿では,多視点認識フレームワークである \textbf{MV-Actor} を提案する。
まず、MV-アクターが多視点セマンティックインタラクションを行い、ビュー間のセマンティック認識を共有する。
次に、セマンティック・スペーシャル・トークンインタラクションを用いて、フィードフォワード再構成モデルの特徴と視覚的セマンティクスを基盤とし、信頼性の高い空間認識を得る。
最後に、ガイド付きメートル深度補修モジュールは、劣化したセンサーの深さを洗練し、コンシューマグレードの深さ雑音下でより信頼性の高い計量アンカーを提供する。
PerAct2バイマニュアルベンチマークで実施されたシミュレーション実験では、MV-Actorは最先端の平均成功率87.8\%を達成した。
より頻繁な視点変化と不安定な消費者グレードの深さを持つ実世界の評価では、MV-ActorはRGBとRGB-Dのベースラインを上回り、意味認識と信頼性のある空間認識の両面的な操作の利点を示す。
関連論文リスト
- Multi-View Unified Camera Fields: Geometry-Shaped Action-Facing Representations for RGB-Only Multi-Camera VLA Policies [12.27577524307746]
Multi-View Unified Camera Fields (MVUCF) は、ビューをまたいだ共有アクション対応潜在フィールドを形成するトレーニング専用フレームワークである。
ジオメトリインジェクション、奥行き、カメラキャリブレーション、補助ヘッドが取り除かれた後、配置は、追加の推論FLOPを持たない元のRGBのみのグラフを使用する。
論文 参考訳（メタデータ） (2026-08-03T07:36:09Z) - Learning Action Manifold with Multi-view Latent Priors for Robotic Manipulation [67.16145181790522]
本稿では,視覚・言語・行動モデル(VLA)における空間認識と操作の課題に取り組む。
幾何学的ガイダンスに基づいて多視点特徴を整列する幾何誘導型ゲート変換器(G3T)を提案する。
動作学習効率を向上させるために,有効な動作多様体上での動作を直接予測するアクション・マニフォールド・ラーニング(AML)を導入する。
論文 参考訳（メタデータ） (2026-05-12T09:21:29Z) - Concept-to-Pixel: Prompt-Free Universal Medical Image Segmentation [2.5026850988034797]
Concept-to-Pixel (C2P) は、新しいプロンプトフリーのユニバーサルセグメンテーションフレームワークである。
C2Pは解剖学的知識を幾何学的表現とセマンティック表現の2つの構成要素に分ける。
論文 参考訳（メタデータ） (2026-03-18T14:13:22Z) - Unifying Heterogeneous Multi-Modal Remote Sensing Detection Via Language-Pivoted Pretraining [59.2578488860426]
不均一なマルチモーダルリモートセンシングオブジェクト検出は、多様なセンサからオブジェクトを正確に検出することを目的としている。
既存のアプローチでは、下流の微調整中にモーダリティアライメントとタスク固有の最適化が絡み合う遅延アライメントパラダイムが採用されている。
本稿では,下流のタスク学習からモダリティアライメントを明確に分離する,統一型言語パイロット事前学習フレームワークであるBabelRSを提案する。
論文 参考訳（メタデータ） (2026-03-02T11:38:12Z) - PEAfowl: Perception-Enhanced Multi-View Vision-Language-Action for Bimanual Manipulation [43.24861724098714]
PEAfowlは、双方向操作のためのマルチビューVLAポリシーである。
PEAfowlは、トークンごとの深さ分布を予測し、微分可能な3Dリフトを実行し、ローカルなクロスビューの隣人を集約する。
そこで本研究では,グローバルコンディショニングをPerceiverスタイルのテキスト認識読み出しに置き換えることを提案する。
論文 参考訳（メタデータ） (2026-01-25T15:29:32Z) - SemanticVLA: Semantic-Aligned Sparsification and Enhancement for Efficient Robotic Manipulation [65.6201974979119]
本稿では,効率的なロボットマニピュレーションのためのセマンティックスペーシフィケーション・エンハンスメントを実現する新しいVLAフレームワークSemanticVLAを提案する。
SemanticVLAはOpenVLA on LIBEROベンチマークを21.1%上回り、トレーニングコストと推論遅延を3.0倍と2.7倍に削減した。
論文 参考訳（メタデータ） (2025-11-13T17:24:37Z) - Beyond Artificial Misalignment: Detecting and Grounding Semantic-Coordinated Multimodal Manipulations [56.816929931908824]
マルチモーダルデータにおける意味的協調操作の検出の先駆者となった。
本稿では,RamDG(Retrieval-Augmented Manipulation Detection and Grounding)フレームワークを提案する。
我々のフレームワークは既存の手法よりも優れており、SAMMの精度は最先端の手法に比べて2.06%高い。
論文 参考訳（メタデータ） (2025-09-16T04:18:48Z) - GAPartManip: A Large-scale Part-centric Dataset for Material-Agnostic Articulated Object Manipulation [11.880519765681408]
本稿では,音声操作のための大規模部分中心データセットを提案する。
写真リアリスティックな素材のランダム化と、パート指向でシーンレベルのアクション可能なインタラクションポーズの詳細なアノテーションが特徴である。
一般化可能なオブジェクト操作のための,優れた,堅牢な性能を実現する,新しいモジュラーフレームワークを提案する。
論文 参考訳（メタデータ） (2024-11-27T12:11:23Z) - DVANet: Disentangling View and Action Features for Multi-View Action
Recognition [56.283944756315066]
本稿では,学習した行動表現を映像中の視覚関連情報から切り離すための多視点行動認識手法を提案する。
本モデルとトレーニング方法は,4つの多視点行動認識データセットにおいて,他のユニモーダルモデルよりも有意に優れている。
論文 参考訳（メタデータ） (2023-12-10T01:19:48Z) - Joint Depth Prediction and Semantic Segmentation with Multi-View SAM [59.99496827912684]
我々は,Segment Anything Model(SAM)のリッチなセマンティック特徴を利用した深度予測のためのマルチビューステレオ(MVS)手法を提案する。
この拡張深度予測は、Transformerベースのセマンティックセグメンテーションデコーダのプロンプトとして役立ちます。
論文 参考訳（メタデータ） (2023-10-31T20:15:40Z) - ALSO: Automotive Lidar Self-supervision by Occupancy estimation [70.70557577874155]
本稿では,ポイントクラウド上で動作している深層知覚モデルのバックボーンを事前学習するための自己教師型手法を提案する。
中心となる考え方は、3Dポイントがサンプリングされる表面の再構成であるプリテキストタスクでモデルをトレーニングすることである。
直感的には、もしネットワークがわずかな入力ポイントのみを考慮し、シーン表面を再構築できるなら、おそらく意味情報の断片をキャプチャする。
論文 参考訳（メタデータ） (2022-12-12T13:10:19Z) - Instance Segmentation with Cross-Modal Consistency [13.524441194366544]
本稿では,複数センサモードの測定を協調的に活用するインスタンスセグメンテーションへの新しいアプローチを提案する。
本手法は, センサ・モダリティと時間領域の両面において, 現場の点に対してコントラスト学習を適用した。
この定式化は、視点の変化に不変な埋め込みを学ぶことをモデルに促すことを実証する。
論文 参考訳（メタデータ） (2022-10-14T21:17:19Z) - SurroundDepth: Entangling Surrounding Views for Self-Supervised
Multi-Camera Depth Estimation [101.55622133406446]
本研究では,複数の周囲からの情報を組み込んだSurroundDepth法を提案し,カメラ間の深度マップの予測を行う。
具体的には、周囲のすべてのビューを処理し、複数のビューから情報を効果的に融合するクロスビュー変換器を提案する。
実験において,本手法は,挑戦的なマルチカメラ深度推定データセット上での最先端性能を実現する。
論文 参考訳（メタデータ） (2022-04-07T17:58:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。