論文の概要: Cortical Policy: A Dual-Stream View Transformer for Robotic Manipulation

• arxiv url: http://arxiv.org/abs/2603.21051v1
• Date: Sun, 22 Mar 2026 04:18:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.210297
• Title: Cortical Policy: A Dual-Stream View Transformer for Robotic Manipulation
• Title（参考訳）: 皮質政策:ロボットマニピュレーションのためのデュアルストリームビュー変換器
• Authors: Xuening Zhang, Qi Lv, Xiang Deng, Miao Zhang, Xingbo Liu, Liqiang Nie,
• Abstract要約: ロボット操作のための新しいデュアルストリームビュー変換器であるCortical Policyを提案する。 われわれのフレームワークは、ロボット操作の新しい視点を提供し、視覚に基づくロボット制御の幅広い応用の可能性を秘めている。
• 参考スコア（独自算出の注目度）: 57.28703268044067
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: View transformers process multi-view observations to predict actions and have shown impressive performance in robotic manipulation. Existing methods typically extract static visual representations in a view-specific manner, leading to inadequate 3D spatial reasoning ability and a lack of dynamic adaptation. Taking inspiration from how the human brain integrates static and dynamic views to address these challenges, we propose Cortical Policy, a novel dual-stream view transformer for robotic manipulation that jointly reasons from static-view and dynamic-view streams. The static-view stream enhances spatial understanding by aligning features of geometrically consistent keypoints extracted from a pretrained 3D foundation model. The dynamic-view stream achieves adaptive adjustment through position-aware pretraining of an egocentric gaze estimation model, computationally replicating the human cortical dorsal pathway. Subsequently, the complementary view representations of both streams are integrated to determine the final actions, enabling the model to handle spatially-complex and dynamically-changing tasks under language conditions. Empirical evaluations on RLBench, the challenging COLOSSEUM benchmark, and real-world tasks demonstrate that Cortical Policy outperforms state-of-the-art baselines substantially, validating the superiority of dual-stream design for visuomotor control. Our cortex-inspired framework offers a fresh perspective for robotic manipulation and holds potential for broader application in vision-based robot control.
• Abstract（参考訳）: ビュートランスは、動作を予測するために多視点観察を処理し、ロボット操作において印象的なパフォーマンスを示した。 既存の手法は通常、ビュー固有の方法で静的な視覚表現を抽出し、不適切な3次元空間推論能力と動的適応の欠如をもたらす。 これらの課題に対処するために、人間の脳が静的および動的ビューを統合する方法からインスピレーションを得て、静的ビューと動的ビューストリームから共用する、ロボット操作のための新しいデュアルストリームビュートランスフォーマであるCortical Policyを提案する。 静的ビューストリームは、事前訓練された3次元基礎モデルから抽出した幾何的に整合したキーポイントの特徴を整列させることにより、空間的理解を高める。 ダイナミックビューストリームは、人間の皮質背側経路を計算的に複製し、自我中心の視線推定モデルの位置認識事前学習により適応調整を行う。 その後、両ストリームの補完的なビュー表現を統合して最終動作を決定することにより、言語条件下での空間的複雑で動的に変化するタスクをモデルが処理できるようにする。 RLBench、挑戦的なCOLOSSEUMベンチマーク、および実世界のタスクに関する実証的な評価は、Cortical Policyが最先端のベースラインを大幅に上回ることを示した。 我々の大脳皮質に触発されたフレームワークは、ロボット操作の新しい視点を提供し、視覚に基づくロボット制御の幅広い応用の可能性を秘めている。

関連論文リスト

• Shape-Interpretable Visual Self-Modeling Enables Geometry-Aware Continuum Robot Control [10.253290204273094]
  連続ロボットは高い柔軟性と冗長性を持ち、複雑な環境での安全な相互作用に適している。 既存の視覚に基づく制御アプローチは、しばしばエンドツーエンドの学習に依存し、ロボット幾何学を明確に認識せずに形状制御を達成する。 本稿では,幾何認識制御が可能な連続ロボットのための形状解釈可能な視覚自己モデリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-02T11:20:28Z)
• Causal World Modeling for Robot Control [56.31803788587547]
  ビデオワールドモデルは、アクションと視覚力学の因果関係を理解することによって、近い将来に想像できる能力を提供する。 本稿では,フレーム予測とポリシ実行を同時に学習する自動回帰拡散フレームワークLingBot-VAを紹介する。 シミュレーションベンチマークと実世界のシナリオの両方でモデルを評価したところ、長距離操作、ポストトレーニングにおけるデータ効率、新しい構成への強力な一般化性などに大きな可能性を示唆している。
  論文  参考訳（メタデータ） (2026-01-29T17:07:43Z)
• mimic-video: Video-Action Models for Generalizable Robot Control Beyond VLAs [5.109732854501585]
  そこで我々は,事前学習したインターネットスケールのビデオモデルと,その潜在表現に条件付けされたフローマッチングに基づくアクションデコーダを組み合わせた,新しいビデオ・アクション・モデル(VAM)を提案する。 提案手法は,シミュレーションおよび実世界のロボット操作タスクにおける最先端性能を実現し,サンプル効率を10倍,収束速度を2倍向上させる。
  論文  参考訳（メタデータ） (2025-12-17T18:47:31Z)
• DynaRend: Learning 3D Dynamics via Masked Future Rendering for Robotic Manipulation [52.136378691610524]
  本稿では、3次元認識と動的インフォームド三面体特徴を学習する表現学習フレームワークDynaRendを紹介する。 マルチビューRGB-Dビデオデータに基づく事前トレーニングにより、DynaRendは空間幾何学、将来のダイナミクス、タスク意味を統合された三面体表現で共同でキャプチャする。 我々は、RLBenchとColosseumという2つの挑戦的なベンチマークでDynaRendを評価し、政策成功率、環境摂動の一般化、様々な操作タスクにおける実世界の適用性などを大幅に改善した。
  論文  参考訳（メタデータ） (2025-10-28T10:17:11Z)
• Dita: Scaling Diffusion Transformer for Generalist Vision-Language-Action Policy [73.75271615101754]
  本稿では,Transformerアーキテクチャを活用した拡張性のあるフレームワークであるDitaについて紹介する。 Ditaはコンテキスト内コンディショニング(context conditioning)を採用しており、歴史的観察から生の視覚トークンと識別されたアクションをきめ細やかなアライメントを可能にする。 Ditaは、さまざまなカメラパースペクティブ、観察シーン、タスク、アクションスペースの横断的なデータセットを効果的に統合する。
  論文  参考訳（メタデータ） (2025-03-25T15:19:56Z)
• Diffusion Transformer Policy [48.50988753948537]
  本稿では,拡散変圧器ポリシー(Diffusion Transformer Policy)と呼ばれる多モード拡散変圧器を提案し,連続的なエンドエフェクタ動作をモデル化する。 トランスのスケーリング機能を活用することで、提案手法は、多種多様なロボットデータセットにわたる継続的エンドエフェクタアクションを効果的にモデル化することができる。
  論文  参考訳（メタデータ） (2024-10-21T12:43:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。