論文の概要: Learning Tactile-Aware Quadrupedal Loco-Manipulation Policies
- arxiv url: http://arxiv.org/abs/2604.27224v1
- Date: Wed, 29 Apr 2026 21:46:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-01 16:31:53.8175
- Title: Learning Tactile-Aware Quadrupedal Loco-Manipulation Policies
- Title(参考訳): 触覚を意識した四足歩行ロコマニピュレーションの学習
- Authors: Pokuang Zhou, Yuhao Zhou, Quan Luu, Seungho Han, Heng Zhang, Binghao Huang, Yunzhu Li, Arash Ajoudani, Zhengtong Xu, Yu She,
- Abstract要約: 階層構造を有する触覚対応ロコ操作ポリシー学習パイプラインを提案する。
まず、実世界の人間のデモを活用して、触覚条件付きビゾタクタクタブルな高レベルポリシーを訓練する。
第2に,触覚を意識した全身制御政策を学習するために,シミュレーションにおいて大規模強化学習を行う。
- 参考スコア(独自算出の注目度): 33.25194785586049
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Quadrupedal loco-manipulation is commonly built on visual perception and proprioception. Yet reliable contact-rich manipulation remains difficult: vision and proprioception alone cannot resolve uncertain, evolving interactions with the environment. Tactile sensing offers direct contact observability, but scalable tactile-aware learning framework for quadrupedal loco-manipulation is still underexplored. In this paper, we present a tactile-aware loco-manipulation policy learning pipeline with a hierarchical structure. Our approach has two key components. First, we leverage real-world human demonstrations to train a tactile-conditioned visuotactile high-level policy. This policy predicts not only end-effector trajectories for manipulation, but also the evolving tactile interaction cues that characterize how contact should develop over time. Second, we perform large-scale reinforcement learning in simulation to learn a tactile-aware whole-body control policy that tracks diverse commanded trajectories and tactile interaction cues, and transfers zero-shot to the real world. Together, these components enable coordinated locomotion and manipulation under contact-rich scenarios. We evaluate the system on real-world contact-rich tasks, including in-hand reorientation with insertion, valve tightening, and delicate object manipulation. Compared to vision-only and visuotactile baselines, our method improves performance by 28.54% on average across these tasks.
- Abstract(参考訳): 四足歩行のロコ操作は、視覚知覚とプロプレセプションに基づいて一般的に構築される。
しかし、信頼性の高いコンタクトリッチな操作は依然として困難であり、視覚とプロプレセプションだけでは環境との不安定で進化する相互作用を解決できない。
触覚は直接の接触観測性を提供するが、四肢歩行操作のためのスケーラブルな触覚認識学習フレームワークはまだ探索されていない。
本稿では,階層構造を持つ触覚対応ロコ操作ポリシー学習パイプラインを提案する。
このアプローチには2つの重要なコンポーネントがあります。
まず、実世界の人間のデモを活用して、触覚条件付きビゾタクタクタブルな高レベルポリシーを訓練する。
このポリシーは、操作のためのエンドエフェクター軌道だけでなく、時間の経過とともに接触がどのように発達するかを特徴づける触覚相互作用の手がかりも予測する。
第2に,触覚を意識した全身制御政策を学習し,多種多様な指示的軌跡や触覚的相互作用の手がかりを追跡し,ゼロショットを実世界へ転送する大規模強化学習を行う。
これらのコンポーネントは、コンタクトリッチシナリオ下での協調的な移動と操作を可能にする。
実世界の接触に富むタスクに対して,挿入による手動再配向,弁の締め付け,微妙な物体操作を含むシステムの評価を行った。
視覚のみのベースラインやバイスオタクティルベースラインと比較して,これらのタスクの平均性能は28.54%向上した。
関連論文リスト
- OmniVTA: Visuo-Tactile World Modeling for Contact-Rich Robotic Manipulation [57.133721026727706]
textbfOmniViTacは,16ドルのタスクと100ドル以上のオブジェクトからなる21,000ドル以上のトラジェクトリからなる大規模ビズオタクティルアクションデータセットである。
我々は4つの密結合モジュールを統合する世界モデルベースのビジュオ触覚操作フレームワークである textbf OmniVTA を提案する。
論文 参考訳(メタデータ) (2026-03-19T17:52:42Z) - TouchGuide: Inference-Time Steering of Visuomotor Policies via Touch Guidance [53.35296919674763]
TouchGuideは、低次元のアクション空間内でモダリティを融合させる、クロス政治的なビズオ触覚融合パラダイムである。
TouchGuideは、事前訓練された拡散またはフローマッチングビズモータポリシーをガイドする2つの段階で動作する。
高品質で費用対効果の高いデータによるTouchGuideトレーニングを容易にするために,データ収集システムであるTacUMIを導入する。
論文 参考訳(メタデータ) (2026-01-28T04:22:47Z) - Simultaneous Tactile-Visual Perception for Learning Multimodal Robot Manipulation [21.78866976181311]
See-through-skin (STS) センサーは触覚と視覚を結合する。
既存のSTSの設計では、同時的なマルチモーダル認識が欠如し、信頼性の低い触覚追跡に悩まされている。
STSセンサであるTacThruを導入し,視覚認識と触覚信号抽出を同時に行う。
論文 参考訳(メタデータ) (2025-12-10T17:35:13Z) - Touch in the Wild: Learning Fine-Grained Manipulation with a Portable Visuo-Tactile Gripper [7.618517580705364]
触覚センサーを内蔵した携帯型軽量グリップについて述べる。
視覚信号と触覚信号を統合するクロスモーダル表現学習フレームワークを提案する。
試験管挿入や管状流体移動などの細粒度タスクに対する本手法の有効性を検証した。
論文 参考訳(メタデータ) (2025-07-20T17:53:59Z) - PolyTouch: A Robust Multi-Modal Tactile Sensor for Contact-rich Manipulation Using Tactile-Diffusion Policies [4.6090500060386805]
PolyTouchは、カメラベースの触覚センサー、音響センサー、周辺視覚センサーを単一のデザインに統合する、新しいロボットフィンガーだ。
実験では、市販の触覚センサーよりも寿命が20倍に増えており、製造が容易でスケーラブルな設計になっている。
論文 参考訳(メタデータ) (2025-04-27T19:50:31Z) - Reactive Diffusion Policy: Slow-Fast Visual-Tactile Policy Learning for Contact-Rich Manipulation [58.95799126311524]
人間は視覚と触覚を使って、外的変化に対する迅速な応答や接触力の適応制御のような非常に反応性の高い能力で、コンタクトリッチなタスクを達成できる。
既存の視覚模倣学習アプローチは、複雑な振る舞いをモデル化するためにアクションチャンキングに依存している。
本稿では,Augmented Realityを通じてリアルタイム触覚フィードバックを提供する,低コスト遠隔操作システムであるTactARを紹介する。
論文 参考訳(メタデータ) (2025-03-04T18:58:21Z) - Learning Precise, Contact-Rich Manipulation through Uncalibrated Tactile Skins [17.412763585521688]
我々は、トランスフォーマーベースのポリシーを使用して、皮膚センサーデータを視覚情報とともに追加トークンとして扱うシンプルなアプローチであるVisuo-Skin(ViSk)フレームワークを提案する。
ViSkは、視力のみと光触覚に基づくポリシーの両方で著しく優れています。
さらに、触覚と視覚のモダリティを組み合わせることで、政策性能と空間的一般化が向上し、タスク全体で平均27.5%の改善が達成される。
論文 参考訳(メタデータ) (2024-10-22T17:59:49Z) - Twisting Lids Off with Two Hands [82.21668778600414]
シミュレーションで訓練された政策を実世界へ効果的かつ効率的に移行する方法を示す。
具体的には,ボトル状物体の蓋を両手でねじる問題について考察する。
これは、バイマガル・マルチフィンガーハンドでそのような機能を実現する最初のsim-to-real RLシステムである。
論文 参考訳(メタデータ) (2024-03-04T18:59:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。