論文の概要: FingerEye: Continuous and Unified Vision-Tactile Sensing for Dexterous Manipulation

• arxiv url: http://arxiv.org/abs/2604.20689v2
• Date: Thu, 23 Apr 2026 14:32:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-24 14:40:06.060627
• Title: FingerEye: Continuous and Unified Vision-Tactile Sensing for Dexterous Manipulation
• Title（参考訳）: FingerEye: ディクサラスマニピュレーションのための連続的かつ統一された視覚触覚センシング
• Authors: Zhixuan Xu, Yichen Li, Xuanye Wu, Tianyu Qiu, Lin Shao,
• Abstract要約: 有害なロボット操作は、あらゆる段階の相互作用を包括的に知覚する必要がある。 我々は,対話プロセスを通じて連続的な視覚触覚フィードバックを提供する,コンパクトで費用効率のよいセンサであるFingerEyeを紹介する。 我々は、複数のFingerEyeセンサーからの信号を融合して、限られた実世界のデータから巧妙な操作行動を学習する視覚触覚模倣学習ポリシーを開発した。
• 参考スコア（独自算出の注目度）: 8.809778152652724
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dexterous robotic manipulation requires comprehensive perception across all phases of interaction: pre-contact, contact initiation, and post-contact. Such continuous feedback allows a robot to adapt its actions throughout interaction. However, many existing tactile sensors, such as GelSight and its variants, only provide feedback after contact is established, limiting a robot's ability to precisely initiate contact. We introduce FingerEye, a compact and cost-effective sensor that provides continuous vision-tactile feedback throughout the interaction process. FingerEye integrates binocular RGB cameras to provide close-range visual perception with implicit stereo depth. Upon contact, external forces and torques deform a compliant ring structure; these deformations are captured via marker-based pose estimation and serve as a proxy for contact wrench sensing. This design enables a perception stream that smoothly transitions from pre-contact visual cues to post-contact tactile feedback. Building on this sensing capability, we develop a vision-tactile imitation learning policy that fuses signals from multiple FingerEye sensors to learn dexterous manipulation behaviors from limited real-world data. We further develop a digital twin of our sensor and robot platform to improve policy generalization. By combining real demonstrations with visually augmented simulated observations for representation learning, the learned policies become more robust to object appearance variations. Together, these design aspects enable dexterous manipulation across diverse object properties and interaction regimes, including coin standing, chip picking, letter retrieving, and syringe manipulation. The hardware design, code, appendix, and videos are available on our project website: https://nus-lins-lab.github.io/FingerEyeWeb/
• Abstract（参考訳）: 有害なロボット操作は、事前接触、接触開始、後接触など、あらゆる段階の相互作用の包括的認識を必要とする。 このような継続的なフィードバックにより、ロボットは相互作用を通してその行動に適応することができる。 しかし、GelSightなどの既存の触覚センサーの多くは、接触が確立した後にのみフィードバックを提供し、ロボットの接触を正確に開始する能力を制限する。 我々は,対話プロセスを通じて連続的な視覚触覚フィードバックを提供する,コンパクトで費用効率のよいセンサであるFingerEyeを紹介する。 FingerEyeは両眼のRGBカメラを統合し、暗黙のステレオ深度で近距離の視覚知覚を提供する。 これらの変形はマーカーベースのポーズ推定によって捉えられ、接触レンチセンシングのプロキシとして機能する。 この設計により、事前に接触した視覚的手がかりから触覚後のフィードバックへ円滑に遷移する知覚ストリームが実現される。 このセンシング機能に基づいて,複数のFingerEyeセンサからの信号を融合した視覚触覚模倣学習ポリシーを開発し,実世界の限られたデータから巧妙な操作動作を学習する。 我々はさらに、ポリシーの一般化を改善するために、センサとロボットプラットフォームのデジタルツインを開発する。 実演と視覚的に拡張された表現学習の観察を組み合わせることで、学習されたポリシーは、オブジェクトの外観の変化に対してより堅牢になる。 これらのデザインの側面は、コインスタンド、チップピック、レター検索、注射器操作など、さまざまな物体の性質や相互作用の仕組みをまたいだ巧妙な操作を可能にする。 ハードウェア設計、コード、付録、ビデオは、プロジェクトのWebサイト(https://nus-lins-lab.github.io/FingerEyeWeb/)で入手できる。

関連論文リスト

• UniForce: A Unified Latent Force Model for Robot Manipulation with Diverse Tactile Sensors [51.88112610411651]
  そこで本研究では,多様な触覚センサにまたがる共用潜在力空間を学習する,新しい統合された触覚表現学習フレームワークを提案する。 UniForceは、逆ダイナミクス(image-to-force)とフォワードダイナミクス(force-to-image)を共同モデリングすることで、クロスセンサー領域シフトを低減する 高価な外部力/トルクセンサ(F/T)への依存を避けるため,静的平衡を利用して直接センサ・オブジェクト・センサ・インタラクションを介して力対効果データを収集する。
  論文  参考訳（メタデータ） (2026-02-01T11:03:01Z)
• OPENTOUCH: Bringing Full-Hand Touch to Real-World Interaction [93.88239833545623]
  OpenTouchは、最初のインザワイルドなエゴセントリックなフルハンド触覚データセットです。 触覚信号は,理解のためのコンパクトで強力なキューを提供する。 我々は,マルチモーダルな自我中心の知覚,具体的学習,接触に富むロボット操作の促進を目指す。
  論文  参考訳（メタデータ） (2025-12-18T18:18:17Z)
• Digitizing Touch with an Artificial Multimodal Fingertip [51.7029315337739]
  人間とロボットはどちらも、周囲の環境を知覚し、相互作用するためにタッチを使うことの恩恵を受ける。 ここでは、タッチのデジタル化を改善するための概念的および技術革新について述べる。 これらの進歩は、高度なセンシング機能を備えた人工指型センサーに具現化されている。
  論文  参考訳（メタデータ） (2024-11-04T18:38:50Z)
• Robot Synesthesia: In-Hand Manipulation with Visuotactile Sensing [15.970078821894758]
  視覚的・触覚的な感覚入力を活用して手動操作を可能にするシステムを提案する。 ロボット・シンセシス(Robot Synesthesia)は、人間の触覚と視覚の合成にインスパイアされた、新しい点の雲に基づく触覚表現である。
  論文  参考訳（メタデータ） (2023-12-04T12:35:43Z)
• Multimodal and Force-Matched Imitation Learning with a See-Through Visuotactile Sensor [14.492202828369127]
  我々は、模倣学習(IL)の枠組みの中でマルチモーダル・ビゾタクタクタブル・センサを活用して、コンタクトリッチなタスクを実行する。 本稿では,IL改善のための補完手法として,触覚力マッチングと学習モード切替という2つのアルゴリズム的貢献を紹介する。 以上の結果から, 力の一致が平均政策成功率62.5%, ビズオタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタクタク
  論文  参考訳（メタデータ） (2023-11-02T14:02:42Z)
• Tactile-Filter: Interactive Tactile Perception for Part Mating [54.46221808805662]
  人間は触覚と触覚に頼っている。 視覚ベースの触覚センサーは、様々なロボット認識や制御タスクに広く利用されている。 本稿では,視覚に基づく触覚センサを用いた対話的知覚手法を提案する。
  論文  参考訳（メタデータ） (2023-03-10T16:27:37Z)
• OmniTact: A Multi-Directional High Resolution Touch Sensor [109.28703530853542]
  既存の触覚センサーは、平らで、感度が小さいか、低解像度の信号のみを提供する。 我々は,多方向高解像度触覚センサOmniTactを紹介する。 我々は,ロボット制御の課題に対して,OmniTactの能力を評価する。
  論文  参考訳（メタデータ） (2020-03-16T01:31:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。