論文の概要: VibeAct: Vibration to Actions for Contact-Rich Reactive Robot Dexterity

• arxiv url: http://arxiv.org/abs/2606.27344v1
• Date: Thu, 25 Jun 2026 17:50:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 18:46:32.392119
• Title: VibeAct: Vibration to Actions for Contact-Rich Reactive Robot Dexterity
• Title（参考訳）: VibeAct:コンタクトリッチ反応ロボットの振動と動作
• Abstract要約: VibeActは、本物の視覚的触覚とシミュレーションに基づく強化学習を橋渡しするフレームワークである。 実世界では、圧電マイクロホンを器用なロボットハンドに埋め込んで、遠隔操作でバイブロ音響データを収集する。 触覚推定器は、実際のマイクロホン波形から接触や滑りを予測し、操作ポリシーは、シミュレーションされた接触から直接計算された同じ表現のシミュレーションで訓練される。
• 参考スコア（独自算出の注目度）: 19.20612096722837
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dexterous manipulation depends on contact events that are fast, local, and often visually occluded. Piezoelectric microphones offer a compact and high-bandwidth way to sense these interactions, but the resulting vibro-acoustic signals are difficult to simulate faithfully enough for end-to-end sim-to-real policy learning on dexterous robot hands. We propose VibeAct, a framework that bridges real vibrotactile sensing and simulation-based reinforcement learning through a shared physical representation of contact and slip. In the real world, we embed piezoelectric microphones into a dexterous robot hand and collect vibro-acoustic data through teleoperation, then replay the recordings in a calibrated digital clone to automatically label per-finger contact and slip. A tactile estimator learns to predict contact and slip from real microphone waveforms, while manipulation policies are trained in simulation on the same representation computed directly from simulated contacts. This decoupling lets policies exploit rapid tactile feedback without simulating raw audio. Across five contact-rich tasks spanning regrasping, in-hand reorientation, and insertion, VibeAct consistently outperforms a proprioception-and-point-cloud baseline in simulation, with the largest gains on tasks requiring sustained reactive control, where the continuous slip-magnitude channel proves the most informative observation. The learned policies transfer to a physical dexterous hand-arm platform, improving success rates on deployed tasks. Project videos and additional details are at https://vibeact.github.io/.
• Abstract（参考訳）: 有害な操作は、速く、局所的で、しばしば視覚的に無視される接触イベントに依存する。 圧電マイクロホンは、これらの相互作用を検知するコンパクトで高帯域幅の方法を提供するが、結果として生じるビブロ音響信号は、器用なロボットハンドによるエンドツーエンドのシミュレート学習に十分忠実にシミュレートすることは困難である。 本研究では,接触・すべりの物理的表現を共有化して,実際のビブロタクティルセンシングとシミュレーションに基づく強化学習を橋渡しするフレームワークであるVibeActを提案する。 実世界では、圧電マイクロホンをデキスタスロボットの手に埋め込んで、遠隔操作でバイブロ音響データを収集し、校正されたデジタルクローンで録音を再生し、指ごとの接触と滑りを自動的にラベル付けする。 触覚推定器は、実際のマイクロホン波形から接触や滑りを予測し、操作ポリシーは、シミュレーションされた接触から直接計算された同じ表現のシミュレーションで訓練される。 この分離により、ポリシーは生のオーディオをシミュレートすることなく、迅速な触覚フィードバックを活用することができる。 VibeActは、リグラピング、手動のリオリエンテーション、挿入にまたがる5つのコンタクトリッチなタスクの中で、シミュレーションにおいて、プロレプションとポイントクラウドのベースラインを一貫して上回り、持続的なリアクティブ制御を必要とするタスクにおいて最大の利益を上げている。 学習したポリシーは、物理的に巧妙なハンドアームプラットフォームに移行し、デプロイされたタスクの成功率を改善する。 プロジェクトビデオと詳細はhttps://vibeact.github.io/.com/で公開されている。

関連論文リスト

• Pre-training Visual Dexterity in Simulation [67.17477115017896]
  シミュレーションで完全に収集されたデータを利用するデクスタラスな操作のための事前学習フレームワークを導入する。 5人のオペレーターの助けを借りて、1週間にわたって75時間のマルチタスク・デキスタラスな操作を収集し、配列モデリングの目的に基づいて因果変換器を事前訓練する。 提案手法は,シミュレーション遠隔操作が実世界における創発的操作のトレーニング前情報源として有効なことを示し,学習行動のクローン化方針をゼロから上回る結果を得た。
  論文  参考訳（メタデータ） (2026-08-16T20:21:33Z)
• ViTacWorld: Scaling Visuo-Tactile World Models for Contact-Rich Robot Manipulation [30.004466515831634]
  ViTacWorldは、スケーラブルなコンタクトリッチロボット操作のためのアクションコンディション付きビズオ触覚世界モデルである。 これは触覚信号が物理的接触に直接接しており、純粋に視覚的な観察よりもシミュレーションと現実のギャップが小さいという事実を利用する。 ロボットの視覚触覚行動軌跡生成と政策評価に世界モデルを用いた最初のフレームワークである。
  論文  参考訳（メタデータ） (2026-07-24T17:59:33Z)
• Blind Dexterous Grasping via Real2Sim2Real Tactile Policy Learning [6.509572742369941]
  触覚のみのブラインドグリップのためのフレームワークを提案する。 本研究では,実際の触覚信号を再現可能な接触校正型デジタル双極子シミュレータを構築するReal2Sim触覚校正パイプラインを提案する。 第2に,センサ・ジオメトリを組み込んだレイアウト認識型触覚エンコーダによる触覚観察の表現性を,自己教師付き事前学習により改善する。 第3に、未確認物体への一般化を改善するため、校正されたシミュレーターにおいて、オブジェクト固有の強化学習の専門家を訓練し、得られた把握軌道を触覚条件付き拡散ポリシーに集約する。
  論文  参考訳（メタデータ） (2026-06-10T07:46:38Z)
• TacCoRL: Integrating Tactile Feedback into VLA via Simulation [38.963250081631834]
  視覚言語アクション(VLA)モデルは、ロボット操作のための強力な視覚、言語、行動の優先順位を提供する。 我々は、VLAポリシーに触覚フィードバックを注入するスケーラブルなフレームワークであるTacCoRLを提案する。 我々は,接触操作のためのクローズドループトレーニング環境として,実列シミュレータを用いる。
  論文  参考訳（メタデータ） (2026-06-10T07:20:36Z)
• OmniVTA: Visuo-Tactile World Modeling for Contact-Rich Robotic Manipulation [57.133721026727706]
  textbfOmniViTacは,16ドルのタスクと100ドル以上のオブジェクトからなる21,000ドル以上のトラジェクトリからなる大規模ビズオタクティルアクションデータセットである。 我々は4つの密結合モジュールを統合する世界モデルベースのビジュオ触覚操作フレームワークである textbf OmniVTA を提案する。
  論文  参考訳（メタデータ） (2026-03-19T17:52:42Z)
• PTLD: Sim-to-real Privileged Tactile Latent Distillation for Dexterous Manipulation [43.81692375130905]
  PTLD: sim-to-real Privileged Tactile Latent Distillationを紹介した。 PTLDは触覚感覚を取り入れることで,シミュレーションで訓練されたプロテアーゼの制御ポリシーを著しく改善することができることを示す。
  論文  参考訳（メタデータ） (2026-03-04T19:17:42Z)
• Semantic-Contact Fields for Category-Level Generalizable Tactile Tool Manipulation [82.63833405368159]
  ツール操作の一般化には、セマンティックプランニングと正確な物理的制御の両方が必要である。 本研究では,密接な接触推定を伴う視覚的意味論を融合した3次元表現であるセマンティック・コンタクト・フィールド(SCFields)を提案する。 スクレイピング、クレヨン描画、剥離の実験は、堅牢なカテゴリレベルの一般化を示している。
  論文  参考訳（メタデータ） (2026-02-14T16:05:08Z)
• TouchGuide: Inference-Time Steering of Visuomotor Policies via Touch Guidance [53.35296919674763]
  TouchGuideは、低次元のアクション空間内でモダリティを融合させる、クロス政治的なビズオ触覚融合パラダイムである。 TouchGuideは、事前訓練された拡散またはフローマッチングビズモータポリシーをガイドする2つの段階で動作する。 高品質で費用対効果の高いデータによるTouchGuideトレーニングを容易にするために,データ収集システムであるTacUMIを導入する。
  論文  参考訳（メタデータ） (2026-01-28T04:22:47Z)
• Tactile Memory with Soft Robot: Robust Object Insertion via Masked Encoding and Soft Wrist [10.982180941605256]
  我々は,ソフトハンドと検索制御を統合し,安全で堅牢な操作を可能にするシステムであるTactile Memory with Soft Robot (TaSo-bot)を紹介した。 このシステムの中核はMasked Tactile Trajectory Transformer (MATtext3$) で、ロボットの動作、触覚フィードバック、力トルク測定、および受容性信号の相互作用を共同でモデル化する。 MATtext3$は、すべての条件に対するベースラインよりも高い成功率を実現し、目に見えないペグや条件に適応する顕著な能力を示している。
  論文  参考訳（メタデータ） (2026-01-27T07:04:01Z)
• Taccel: Scaling Up Vision-based Tactile Robotics via High-performance GPU Simulation [34.47272224723296]
  ロボット,触覚センサ,物体を精度と前例のない速度でモデル化するために,IPCとABDを統合した高性能なシミュレーションプラットフォームであるTaccelを提案する。 並列化が制限されたサブリアルタイム速度で動作する従来のシミュレータとは異なり、Taccelは正確な物理シミュレーションとリアルな触覚信号を提供する。 これらの能力は、触覚ロボットの研究と開発を拡大するための強力なツールとして、Taccelを位置づけている。
  論文  参考訳（メタデータ） (2025-04-17T12:57:11Z)
• Sim2Real Transfer for Audio-Visual Navigation with Frequency-Adaptive Acoustic Field Prediction [51.71299452862839]
  本稿では,音場予測 (AFP) とウェイポイントナビゲーションに切り離して, 音声視覚ナビゲーションのためのsim2real の最初の治療法を提案する。 次に、特定の周波数サブバンドのみを入力とするAFPモデルをトレーニングすることにより、実世界のデータを収集し、シミュレーションと実世界のスペクトル差を測定する。 最後に、実際のロボットプラットフォームを構築し、転送されたポリシーが、音を鳴らすオブジェクトにうまくナビゲートできることを示します。
  論文  参考訳（メタデータ） (2024-05-05T06:01:31Z)
• DeXtreme: Transfer of Agile In-hand Manipulation from Simulation to Reality [64.51295032956118]
  我々は人型ロボットの手で頑健な操作を行える政策を訓練する。 本研究は,各種ハードウェアおよびシミュレータのデクスタラス操作におけるsim-to-real転送の可能性を再確認する。
  論文  参考訳（メタデータ） (2022-10-25T01:51:36Z)
• Play it by Ear: Learning Skills amidst Occlusion through Audio-Visual Imitation Learning [62.83590925557013]
  我々は視覚と音声の入力から、部分的に観察された操作タスクのセットを学習する。 提案システムは,遠隔操作による実演とオンラインファインタニングを併用することで,これらの課題を学習する。 模擬課題の集合において、我々のシステムは音声を使うことの恩恵を受けており、オンライン介入を用いることで、オフライン模倣学習の成功率を20%向上できることがわかった。
  論文  参考訳（メタデータ） (2022-05-30T04:52:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。