論文の概要: Reactive Diffusion Policy: Slow-Fast Visual-Tactile Policy Learning for Contact-Rich Manipulation
- arxiv url: http://arxiv.org/abs/2503.02881v3
- Date: Wed, 23 Apr 2025 10:45:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-24 20:25:50.775146
- Title: Reactive Diffusion Policy: Slow-Fast Visual-Tactile Policy Learning for Contact-Rich Manipulation
- Title（参考訳）: 反応拡散政策:コンタクトリッチ操作のための低速視覚触覚政策学習
- Authors: Han Xue, Jieji Ren, Wendi Chen, Gu Zhang, Yuan Fang, Guoying Gu, Huazhe Xu, Cewu Lu,
- Abstract要約: 人間は視覚と触覚を使って、外的変化に対する迅速な応答や接触力の適応制御のような非常に反応性の高い能力で、コンタクトリッチなタスクを達成できる。
既存の視覚模倣学習アプローチは、複雑な振る舞いをモデル化するためにアクションチャンキングに依存している。
本稿では,Augmented Realityを通じてリアルタイム触覚フィードバックを提供する,低コスト遠隔操作システムであるTactARを紹介する。
- 参考スコア（独自算出の注目度）: 58.95799126311524
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Humans can accomplish complex contact-rich tasks using vision and touch, with highly reactive capabilities such as fast response to external changes and adaptive control of contact forces; however, this remains challenging for robots. Existing visual imitation learning (IL) approaches rely on action chunking to model complex behaviors, which lacks the ability to respond instantly to real-time tactile feedback during the chunk execution. Furthermore, most teleoperation systems struggle to provide fine-grained tactile / force feedback, which limits the range of tasks that can be performed. To address these challenges, we introduce TactAR, a low-cost teleoperation system that provides real-time tactile feedback through Augmented Reality (AR), along with Reactive Diffusion Policy (RDP), a novel slow-fast visual-tactile imitation learning algorithm for learning contact-rich manipulation skills. RDP employs a two-level hierarchy: (1) a slow latent diffusion policy for predicting high-level action chunks in latent space at low frequency, (2) a fast asymmetric tokenizer for closed-loop tactile feedback control at high frequency. This design enables both complex trajectory modeling and quick reactive behavior within a unified framework. Through extensive evaluation across three challenging contact-rich tasks, RDP significantly improves performance compared to state-of-the-art visual IL baselines. Furthermore, experiments show that RDP is applicable across different tactile / force sensors. Code and videos are available on https://reactive-diffusion-policy.github.io.
- Abstract（参考訳）: 人間は、外的変化に対する迅速な応答や接触力の適応制御といった非常に反応性の高い能力で、視覚と触覚を使って複雑なコンタクトリッチなタスクを達成できるが、ロボットにとっては依然として難しい。
既存の視覚模倣学習(IL)アプローチは、複雑な振る舞いをモデル化するためにアクションチャンキングに依存しており、チャンク実行中にリアルタイムの触覚フィードバックに即座に応答する能力に欠ける。
さらに、ほとんどの遠隔操作システムは、きめ細かい触覚/力フィードバックを提供するのに苦労しており、実行可能なタスクの範囲を制限している。
これらの課題に対処するために、Augmented Reality (AR)を通じてリアルタイムな触覚フィードバックを提供する低コスト遠隔操作システムであるTactARと、コンタクトリッチな操作スキルを学ぶための新しい高速な視覚触覚模倣学習アルゴリズムであるReactive Diffusion Policy (RDP)を紹介する。
RDPは,(1)低周波の潜時空間における高次作用チャンクを予測するための遅い潜時拡散ポリシー,(2)高周波の閉ループ触覚フィードバック制御のための高速な非対称トークン化器,の2レベル階層を用いる。
この設計により、複雑な軌跡モデリングと、統一されたフレームワーク内でのクイック・リアクティブな振る舞いの両方が可能になる。
難易度の高い3つのタスクに対する広範囲な評価により、RDPは最先端の視覚的ILベースラインに比べて性能が大幅に向上する。
さらに、RDPは異なる触覚/力センサにまたがって適用可能であることを示した。
コードとビデオはhttps://reactive-diffusion-policy.github.ioで公開されている。
関連論文リスト
- PolyTouch: A Robust Multi-Modal Tactile Sensor for Contact-rich Manipulation Using Tactile-Diffusion Policies [4.6090500060386805]
PolyTouchは、カメラベースの触覚センサー、音響センサー、周辺視覚センサーを単一のデザインに統合する、新しいロボットフィンガーだ。
実験では、市販の触覚センサーよりも寿命が20倍に増えており、製造が容易でスケーラブルな設計になっている。
論文 参考訳（メタデータ） (2025-04-27T19:50:31Z) - Learning Precise, Contact-Rich Manipulation through Uncalibrated Tactile Skins [17.412763585521688]
我々は、トランスフォーマーベースのポリシーを使用して、皮膚センサーデータを視覚情報とともに追加トークンとして扱うシンプルなアプローチであるVisuo-Skin(ViSk)フレームワークを提案する。
ViSkは、視力のみと光触覚に基づくポリシーの両方で著しく優れています。
さらに、触覚と視覚のモダリティを組み合わせることで、政策性能と空間的一般化が向上し、タスク全体で平均27.5%の改善が達成される。
論文 参考訳（メタデータ） (2024-10-22T17:59:49Z) - Enabling Real-Time Conversations with Minimal Training Costs [61.80370154101649]
本稿では,2つの言語モデルに対して,最小限の訓練を要し,2つの言語能力を持つ新しい重複復号法を提案する。
実験結果から,本手法はトレーニングコストの最小化とともに,ユーザとAIのインタラクションの自然性と人間的類似性を著しく向上することが示された。
論文 参考訳（メタデータ） (2024-09-18T06:27:26Z) - Sparse Diffusion Policy: A Sparse, Reusable, and Flexible Policy for Robot Learning [61.294110816231886]
我々はスパース・リユース・フレキシブル・ポリシー、スパース・ディフュージョン・ポリシー(SDP)を導入する。
SDPは、エキスパートとスキルを選択的に活性化し、モデル全体をトレーニングすることなく、効率的でタスク固有の学習を可能にする。
デモとコードはhttps://forrest-110.io/sparse_diffusion_policy/にある。
論文 参考訳（メタデータ） (2024-07-01T17:59:56Z) - RILe: Reinforced Imitation Learning [60.63173816209543]
RILe(Reinforced Learning)は、模倣学習と逆強化学習の強みを組み合わせて、高密度報酬関数を効率的に学習するフレームワークである。
本フレームワークは, 直接模倣が複雑な動作を再現できないような高次元タスクにおいて, 高い性能のポリシーを生成する。
論文 参考訳（メタデータ） (2024-06-12T17:56:31Z) - Multimodal and Force-Matched Imitation Learning with a See-Through Visuotactile Sensor [14.492202828369127]
我々は、模倣学習(IL)の枠組みの中でマルチモーダル・ビゾタクタクタブル・センサを活用して、コンタクトリッチなタスクを実行する。
本稿では,IL改善のための補完手法として,触覚力マッチングと学習モード切替という2つのアルゴリズム的貢献を紹介する。
以上の結果から, 力の一致が平均政策成功率62.5%, ビズオタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタク
論文 参考訳（メタデータ） (2023-11-02T14:02:42Z) - REBOOT: Reuse Data for Bootstrapping Efficient Real-World Dexterous
Manipulation [61.7171775202833]
本稿では,強化学習による巧妙な操作スキルの学習を効率化するシステムを提案する。
我々のアプローチの主な考え方は、サンプル効率のRLとリプレイバッファブートストラップの最近の進歩の統合である。
本システムでは,実世界の学習サイクルを,模倣に基づくピックアップポリシを通じて学習されたリセットを組み込むことで完遂する。
論文 参考訳（メタデータ） (2023-09-06T19:05:31Z) - Learning Robotic Manipulation Skills Using an Adaptive Force-Impedance
Action Space [7.116986445066885]
強化学習は、様々な困難な意思決定タスクにおいて、有望な結果をもたらしました。
高速な人間のような適応制御手法は複雑なロボットの相互作用を最適化するが、非構造化タスクに必要なマルチモーダルフィードバックを統合することができない。
本稿では,階層的学習と適応アーキテクチャにおける学習問題を要因として,両世界を最大限に活用することを提案する。
論文 参考訳（メタデータ） (2021-10-19T12:09:02Z) - COCOI: Contact-aware Online Context Inference for Generalizable
Non-planar Pushing [87.7257446869134]
一般的なコンタクトリッチな操作問題は、ロボット工学における長年の課題である。
深層強化学習は、ロボット操作タスクの解決に大きな可能性を示している。
動的プロパティのコンテキスト埋め込みをオンラインにエンコードする深層RL法であるCOCOIを提案する。
論文 参考訳（メタデータ） (2020-11-23T08:20:21Z) - Deep Reinforcement Learning for Contact-Rich Skills Using Compliant
Movement Primitives [0.0]
産業用ロボットのさらなる統合は、柔軟性、適応性、意思決定スキルの制限によって妨げられている。
収束と一般化を容易にする異なるプルーニング手法を提案する。
提案手法は,空間,サイズ,形状,および密接に関連するシナリオに不変な挿入スキルを学習できることを実証する。
論文 参考訳（メタデータ） (2020-08-30T17:29:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。