論文の概要: Towards Human-Like Manipulation through RL-Augmented Teleoperation and Mixture-of-Dexterous-Experts VLA

• arxiv url: http://arxiv.org/abs/2603.08122v1
• Date: Mon, 09 Mar 2026 09:02:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 08:17:42.092524
• Title: Towards Human-Like Manipulation through RL-Augmented Teleoperation and Mixture-of-Dexterous-Experts VLA
• Title（参考訳）: RL-Augmented TeleoperationとMixture-of-Dexterous-Experts VLAによる人型マニピュレーションに向けて
• Authors: Tutian Tang, Xingyu Ji, Wanli Xing, Ce Hao, Wenqiang Xu, Lin Shao, Cewu Lu, Qiaojun Yu, Jiangmiao Pang, Kaifeng Zhang,
• Abstract要約: 本稿では,遠隔操作データ収集を簡易化する共有自律型アシスタントIMCopilotを紹介する。 我々は、不均一な力と触覚モーダルを予め訓練されたVLAバックボーンにシームレスに統合するアーキテクチャであるMoDE-VLAを提案する。 我々は,複雑度を増大させる4つの課題に対するアプローチの有効性を検証し,厳密な接触量の多い課題におけるベースラインよりも2倍の成功率の向上を実証した。
• 参考スコア（独自算出の注目度）: 62.16042475700567
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While Vision-Language-Action (VLA) models have demonstrated remarkable success in robotic manipulation, their application has largely been confined to low-degree-of-freedom end-effectors performing simple, vision-guided pick-and-place tasks. Extending these models to human-like, bimanual dexterous manipulation-specifically contact-rich in-hand operations-introduces critical challenges in high-fidelity data acquisition, multi-skill learning, and multimodal sensory fusion. In this paper, we propose an integrated framework to address these bottlenecks, built upon two components. First, we introduce IMCopilot (In-hand Manipulation Copilot), a suite of reinforcement learning-trained atomic skills that plays a dual role: it acts as a shared-autonomy assistant to simplify teleoperation data collection, and it serves as a callable low-level execution primitive for the VLA. Second, we present MoDE-VLA (Mixture-of-Dexterous-Experts VLA), an architecture that seamlessly integrates heterogeneous force and tactile modalities into a pretrained VLA backbone. By utilizing a residual injection mechanism, MoDE-VLA enables contact-aware refinement without degrading the model's pretrained knowledge. We validate our approach on four tasks of escalating complexity, demonstrating doubled success rate improvement over the baseline in dexterous contact-rich tasks.
• Abstract（参考訳）: VLA(Vision-Language-Action)モデルは、ロボット操作において顕著な成功を収めてきたが、その応用は、単純な視覚誘導のピック・アンド・プレイスタスクを実行する低自由度エンドエフェクターに限られている。 これらのモデルを人間のような二元的操作、特に接触に富んだ手作業に拡張することは、高忠実性データ取得、マルチスキル学習、マルチモーダル感覚融合において重要な課題を提起する。 本稿では,2つのコンポーネント上に構築されたボトルネックに対処する統合フレームワークを提案する。 まず、IMCopilot(In-hand Manipulation Copilot)について紹介する。これは強化学習訓練された原子スキルのスイートで、遠隔操作データ収集を簡単にするための共有自律アシスタントとして機能し、VLAの呼び出し可能な低レベル実行プリミティブとして機能する。 第2に、不均一な力と触覚モーダルを予め訓練されたVLAバックボーンにシームレスに統合するアーキテクチャであるMoDE-VLA(Mixture-of-Dexterous-Experts VLA)を提案する。 残留注入機構を利用することで、MoDE-VLAは、事前訓練されたモデルの知識を劣化させることなく、接触認識の洗練を可能にする。 我々は,複雑度を増大させる4つの課題に対するアプローチの有効性を検証し,厳密な接触量の多い課題におけるベースラインよりも2倍の成功率の向上を実証した。

関連論文リスト

• DexHiL: A Human-in-the-Loop Framework for Vision-Language-Action Model Post-Training in Dexterous Manipulation [14.050551792714083]
  ヒューマン・イン・ザ・ループ(HiL)学習は、ロボットポリシーを洗練するための強力なメカニズムであることが証明されている。 DexHiLはDexterous VLAモデルのための最初の統合アームハンドヒューマン・イン・ザ・ループ・フレームワークである。
  論文  参考訳（メタデータ） (2026-03-10T02:55:27Z)
• End-to-End Dexterous Arm-Hand VLA Policies via Shared Autonomy: VR Teleoperation Augmented by Autonomous Hand VLA Policy for Efficient Data Collection [10.217810309422232]
  マクロモーションとマイクロモーションの制御を分割するフレームワークを提案する。 人間のオペレーターが直感的なVR遠隔操作を通してロボットの腕のポーズをガイドします。 自律的なDexGrasp-VLAポリシは、リアルタイム触覚と視覚フィードバックを使用して、きめ細かい手制御を処理する。
  論文  参考訳（メタデータ） (2025-10-31T16:12:02Z)
• ForceVLA: Enhancing VLA Models with a Force-aware MoE for Contact-rich Manipulation [62.58034332427291]
  ForceVLAは、新しいエンドツーエンド操作フレームワークである。 外部力センシングは、VLAシステム内の第一級のモダリティとして扱う。
  論文  参考訳（メタデータ） (2025-05-28T09:24:25Z)
• VTAO-BiManip: Masked Visual-Tactile-Action Pre-training with Object Understanding for Bimanual Dexterous Manipulation [8.882764358932276]
  両手の DoF の高さと協調性のため、ロボット工学における両面的な操作は依然として重要な課題である。 既存の片手操作技術は、人間のデモンストレーションを利用してRL法を誘導するが、複数のサブスキルを含む複雑な双対タスクに一般化できないことが多い。 VTAO-BiManipは,視覚触覚前訓練と物体理解を組み合わせた新しいフレームワークである。
  論文  参考訳（メタデータ） (2025-01-07T08:14:53Z)
• Multi-Stage Knowledge Integration of Vision-Language Models for Continual Learning [79.46570165281084]
  蒸留法における人間の学習過程をエミュレートするマルチステージ知識統合ネットワーク(MulKI)を提案する。 Mulkiは、イデオロギーの排除、新しいイデオロギーの追加、イデオロギーの排除、コネクティクスの作りという4つの段階を通じてこれを達成している。 提案手法は,下流タスク間の連続学習をサポートしながら,ゼロショット能力の維持における大幅な改善を示す。
  論文  参考訳（メタデータ） (2024-11-11T07:36:19Z)
• OpenVLA: An Open-Source Vision-Language-Action Model [131.74098076670103]
  我々は、970kの現実世界のロボットデモの多様なコレクションに基づいて訓練されたオープンソースのVLAであるOpenVLAを紹介した。 OpenVLAは汎用的な操作の強力な結果を示し、RT-2-X (55B) のようなクローズドモデルよりも16.5%高い絶対的なタスク成功率を示した。 モデルチェックポイント、微調整ノートブック、そしてOpen X-Embodimentデータセット上で大規模にVLAをトレーニングするためのビルトインサポートを備えたPyTorchをリリースしています。
  論文  参考訳（メタデータ） (2024-06-13T15:46:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。