論文の概要: RTPolicy: Real-Time (32.9 Hz) Multi-View Visuomotor Policy for Robotic Manipulation on Edge Devices
- arxiv url: http://arxiv.org/abs/2610.41625v1
- Date: Fri, 30 Oct 2026 12:01:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 22:05:31.695762
- Title: RTPolicy: Real-Time (32.9 Hz) Multi-View Visuomotor Policy for Robotic Manipulation on Edge Devices
- Title（参考訳）: RTPolicy: エッジデバイス上でのロボット操作のためのリアルタイム(32.9Hz)マルチビューバイスモータポリシー
- Abstract要約: RTPolicyは、高い推論効率で正確な操作を実現するマルチビュービジュモータポリシーである。
その中核となる設計は、ビュー認識機能融合と視覚圧縮を組み合わせることで、カメラビューをまたいだ補完情報をコンパクトなトークン表現に集約する。
大規模な実験により、この設計は視覚表現と行動生成の計算コストを低減させることを示した。
- 参考スコア（独自算出の注目度）: 10.019073244722184
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Low inference latency is critical for closed-loop robotic manipulation, especially under asynchronous inference, where action chunks must be updated promptly to correct accumulated deviations. However, existing visuomotor policies rely on computationally expensive visual backbones, resulting in high inference latency and deployment overhead. In this paper, we propose RTPolicy, a multi-view visuomotor policy that attains accurate manipulation with high inference efficiency. Its core design combines view-aware feature fusion with visual compression to aggregate complementary information across camera views into a compact token representation. The representation conditions a flow-matching action generator with the robot state and flow time, reducing the cost of action generation. Extensive experiments demonstrate that this design reduces the computational cost of visual representation and action generation while preserving visual information required for manipulation. On the RoboTwin~2.0 single-task clean evaluation across 50 tasks, RTPolicy attains a mean success rate of 52.26\%, outperforming the strongest leaderboard baseline $π_0$ (46.4\%). We further evaluate RTPolicy under asynchronous streaming inference on a real bimanual platform, where RTPolicy attains a mean success rate of 72.0\% and sustains real-time inference at 30.35 ms (32.9 Hz) on the RDK S600 and 149.72 ms (6.7 Hz) on the RDK S100, both in INT16. Project Page: https://d-robotics-ai-lab.github.io/RTPolicy.project.
- Abstract（参考訳）: 低推論レイテンシはクローズドループロボット操作において重要であり、特に非同期推論では、蓄積したずれを修正するためにアクションチャンクを即座に更新する必要がある。
しかし、既存のvisuomotorポリシーは計算に高価なビジュアルバックボーンに依存しており、高い推論遅延とデプロイメントオーバーヘッドをもたらす。
本稿では,高推論効率で正確な操作が可能なマルチビュービジュモータポリシであるRTPolicyを提案する。
その中核となる設計は、ビュー認識機能融合と視覚圧縮を組み合わせることで、カメラビューをまたいだ補完情報をコンパクトなトークン表現に集約する。
この表現は、フローマッチングアクションジェネレータにロボットの状態とフロー時間とを条件とし、アクションジェネレータのコストを低減させる。
大規模な実験により、この設計は視覚表現と行動生成の計算コストを低減し、操作に必要な視覚情報を保存することを示した。
RTPolicyは、50タスクにわたるRoboTwin~2.0シングルタスクのクリーンな評価において、52.26\%の平均的な成功率を獲得し、最強のリーダーボードベースラインである$π_0$(46.4\%)を上回った。
RTPolicyはRDK S600では30.35 ms (32.9 Hz) 、RDK S100では149.72 ms (6.7 Hz) で、いずれもINT16では6.7 Hzである。
Project Page: https://d-robotics-ai-lab.github.io/RTPolicy.project
関連論文リスト
- RealtimeWAM: How Fast Can I Run My World Action Model? [18.4760626624844]
World Action Models (WAM)は、視覚力学モデリングとアクション生成を組み合わせるが、高い推論遅延はロボットの応答性を制限する。
最近の取り組みは、FastWAMのように、テスト時に露骨な将来ビデオ生成を削除することで推論を加速する。
低遅延推論のための適応計算と並列実行を協調するフレームワークであるRealtimeWAMを提案する。
論文 参考訳（メタデータ） (2026-10-07T13:44:34Z) - RoboIRS: Inference-Time Internal Representation Steering for Generalist Robot Policies [20.29823172229124]
RoboIRSは視覚言語モデル(VLA)と世界行動モデル(WAM)のための推論時内部表現ステアリング手法である
0.5ドルというフリーズされた15のシミュレーションタスクでは、RoboIRSは平均成功率を44.4%から66.2%に改善した。
さらに、同じ0.5ドルのポリシーを用いて、実ロボット操作に関するRoboIRSを検証するとともに、世界行動モデルコスモスポリシーの適用性を実証する。
論文 参考訳（メタデータ） (2026-10-03T17:50:39Z) - Shared Execution-Clock Drifting Policy for Dynamic Precision Manipulation [2.44955840609554]
実行リズムは、ロボットが期限前に一連の調整を完了しなければならない場合に重要である。
本稿では、実行リズムを1ステップのアクション生成の明示的な部分とする共有実行クロックドリフト(SECD)を提案する。
NVIDIA Thor を用いた 4 つの実ロボットタスクを対象としたSECD の評価を行った。
論文 参考訳（メタデータ） (2026-09-20T02:42:31Z) - Video-DeepResearch: Towards the Next-Generation Multimodal Deepresearch Agent [81.19460113054048]
Video-DRは、ステージワイドツールアンロックを備えた分離された知覚時間パイプラインを備えている。
当社のフレームワークでは,教師付き微調整とグループ相対ポリシー最適化という2段階のトレーニングレシピを採用しています。
実験の結果,ビデオ検索DeepB-A3Bでは64.0%の精度で新たな最先端技術が確立された。
論文 参考訳（メタデータ） (2026-08-04T17:45:16Z) - LocalNav: Distilling Frontier VLMs and Embodied RL for On-Device Object Goal Navigation [53.88286427894783]
視覚言語モデル(VLM)は、ロボット分野において、言語コンテキストによる環境認識を可能にする強力なツールとして登場した。
しかし、彼らの計算フットプリントは、通常、それらをクラウド実行に制限し、リソースに制約のあるロボットへのローカルなデプロイによる低レイテンシの推論を妨げる。
本稿では,大規模フロンティアモデルからの複雑な空間意味推論を,組み込みGPUデバイス上でエッジ実行を行うための軽量な4BパラメータローカルVLMに転送する蒸留戦略を提案する。
論文 参考訳（メタデータ） (2026-06-26T09:11:59Z) - SeedPolicy: Horizon Scaling via Self-Evolving Diffusion Policy for Robot Manipulation [50.002839579188624]
イミテーションラーニング(IL)は、ロボットが専門家によるデモンストレーションから操作スキルを習得することを可能にする。
本稿では,時間進化型潜伏状態を保持する時間モジュールSEGAを提案する。
SEGAをDPに統合することで、時間的モデリングボトルネックを解決する自己進化拡散ポリシー(SeedPolicy)が得られる。
論文 参考訳（メタデータ） (2026-03-05T12:42:53Z) - One-Step Diffusion Policy: Fast Visuomotor Policies via Diffusion Distillation [80.71541671907426]
OneStep Diffusion Policy (OneDP)は、事前訓練された拡散政策から知識を単一ステップのアクションジェネレータに蒸留する新しいアプローチである。
OneDPはロボット制御タスクの応答時間を著しく短縮する。
論文 参考訳（メタデータ） (2024-10-28T17:54:31Z) - RTFormer: Efficient Design for Real-Time Semantic Segmentation with
Transformer [63.25665813125223]
本稿では,リアルタイムセマンティックセグメンテーションのための効率的なデュアルレゾリューション変換器RTFormerを提案する。
CNNベースのモデルよりもパフォーマンスと効率のトレードオフが優れている。
主要なベンチマーク実験では,提案したRTFormerの有効性を示す。
論文 参考訳（メタデータ） (2022-10-13T16:03:53Z) - It Takes Two: Masked Appearance-Motion Modeling for Self-supervised
Video Transformer Pre-training [76.69480467101143]
自己監督型ビデオトランスフォーマーの事前トレーニングは、最近マスク・アンド・予測パイプラインの恩恵を受けている。
本稿では,映像中の動きの手がかりを余分な予測対象として明示的に調査し,マスケッド・出現運動モデリングフレームワークを提案する。
一般的なビデオ表現を学習し、Kinects-400で82.3%、Something V2で71.3%、UCF101で91.5%、HMDB51で62.5%を達成する。
論文 参考訳（メタデータ） (2022-10-11T08:05:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。