論文の概要: Now You Feel It, Now You See Me: Digital-Twin-based Teleoperation Interface for Dexterous Manipulation
- arxiv url: http://arxiv.org/abs/2610.05081v1
- Date: Sun, 04 Oct 2026 09:28:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 23:37:31.597547
- Title: Now You Feel It, Now You See Me: Digital-Twin-based Teleoperation Interface for Dexterous Manipulation
- Title（参考訳）: デジタルツインベースの遠隔操作インタフェース「Me」が登場
- Abstract要約: 本稿では,デジタルツインベースの拡張現実(AR)遠隔操作インタフェースを提案する。
ベアハンドトラッキング、バイマニュアルロボットハンド、およびロボットとタスクオブジェクトの仮想表現を統合している。
ロボットの手メッシュの触覚測定を、ビジュオフォースのフィードバックとして表示する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Teleoperation is becoming increasingly important for collecting high-quality demonstrations to teach robots dexterous manipulation skills. For dexterous manipulation, bare-hand tracking provides a practical way to control robotic hands and demonstrate coordinated finger movements without gloves or exoskeletons. However, this type of teleoperation faces two key feedback limitations: a lack of force feedback and visual feedback of occluded region. The absence of force feedback hinders precise and safe manipulation, as operators must infer contact force visually rather than feel them directly. Occlusion by objects or other robot parts impairs the assessment of hand positions, approach distances, and pre-grasp configurations suited to the object's shape. To address these limitations, we propose a digital-twin-based augmented reality (AR) teleoperation interface that integrates bare-hand tracking, bimanual robotic hands, and virtual representations of the robot and task objects. The interface renders tactile measurements on robot hand meshes as visuo-force feedback. Furthermore, it offers a user-controlled virtual view panel or occlusion-aware transparency rendering to provide occlusion-mitigating visual feedback. We evaluated the interface through user studies involving Task 1 and Task 2, examining how force visualization and visual assistance support demonstration collection in tasks requiring careful force regulation and manipulation under occlusion.
- Abstract（参考訳）: 遠隔操作は、ロボットに巧妙な操作スキルを教えるための高品質なデモを集めるためにますます重要になっている。
器用な操作のために、素手追跡は、ロボットハンドを制御し、手袋や外骨格を使わずに協調した指の動きを実演する実用的な方法を提供する。
しかし、この種の遠隔操作には2つの重要なフィードバック制限がある。
力のフィードバックがないことは、オペレーターが直接感じるのではなく、視覚的に接触力を推測しなければならないため、正確で安全な操作を妨げる。
物体や他のロボット部品による咬合は、物体の形状に適合する手の位置、接近距離、および前頭蓋構成の評価を損なう。
これらの制約に対処するために、ロボットとタスクオブジェクトのベアハンドトラッキング、バイマニュアルロボットハンド、仮想表現を統合した、デジタルツインベースの拡張現実(AR)遠隔操作インタフェースを提案する。
インターフェースは、ロボットハンドメッシュの触覚測定を、ビジュオフォースフィードバックとして描画する。
さらに、オクルージョンを緩和する視覚フィードバックを提供するために、ユーザ制御の仮想ビューパネルやオクルージョンを意識した透過性レンダリングを提供する。
本研究では,第1タスクと第2タスクを含むユーザスタディを通じてインタフェースの評価を行った。
関連論文リスト
- Robotizing Human Videos with Physically Consistent Interactions [54.27025073220947]
ビデオ編集の手法は手でレンダリングされたロボットに取って代わるが、不正確なインタラクションの再構築は不整合の把握を生み出す。
これらの障害には、相互作用幾何学とシーン可視性という2つの相補的な物理的側面から対処する。
その結果得られたビデオは、人間のデモの相互作用構造をロボット互換の形で保存し、ロボットのデモと共同で訓練される。
論文 参考訳（メタデータ） (2026-10-05T11:08:50Z) - DITTO: Dexterous Interface for Transparent TeleOperation [7.23241288025359]
7-DOFロボットハンドと運動学的に等価な運動性外骨格を提示する。
エクソスケルトンとロボットハンド間の1対1のアクチュエータマッピングにより、ハンドヘルドデータ収集と、ジョイントレベルのフィードバックを単一のプラットフォームに統合した双方向遠隔操作が可能になる。
我々は,DITTOエキソスケルトンがオペレーターの自然なインデックス・トゥ・サンプブワークスペースにまたがることを示した。
論文 参考訳（メタデータ） (2026-09-16T01:12:52Z) - The N2D Haptic Glove: A Multi-Finger Glove for 2D Directional Force Feedback for Contact Rich Manipulation [11.79647885994712]
人間は操作中に接触を調査・規制するために指先方向の力に頼っている。
ほとんどのウェアラブルハプティックグローブは、振動や単軸力のみをレンダリングし、力の方向があいまいになる。
本稿では,多指ウェアラブルデバイスであるN2D Haptic Gloveについて述べる。
論文 参考訳（メタデータ） (2026-06-12T03:59:33Z) - FingerEye: Continuous and Unified Vision-Tactile Sensing for Dexterous Manipulation [8.809778152652724]
有害なロボット操作は、あらゆる段階の相互作用を包括的に知覚する必要がある。
我々は,対話プロセスを通じて連続的な視覚触覚フィードバックを提供する,コンパクトで費用効率のよいセンサであるFingerEyeを紹介する。
我々は、複数のFingerEyeセンサーからの信号を融合して、限られた実世界のデータから巧妙な操作行動を学習する視覚触覚模倣学習ポリシーを開発した。
論文 参考訳（メタデータ） (2026-04-22T15:37:34Z) - ActiveGlasses: Learning Manipulation with Active Vision from Ego-centric Human Demonstration [51.69384671495837]
ActiveGlassesは、エゴ中心の人間のデモからロボット操作を学習するシステムである。
スマートグラスに装着されたステレオカメラは、データ収集とポリシー推論の両方のための唯一の認識装置として機能する。
ゼロ・トランスファーを可能にするために,デモからオブジェクト・トラジェクトリを抽出し,オブジェクト中心のポイント・クラウド・ポリシーを用いて操作と頭部運動を協調的に予測する。
論文 参考訳（メタデータ） (2026-04-09T17:59:08Z) - OPENTOUCH: Bringing Full-Hand Touch to Real-World Interaction [93.88239833545623]
OpenTouchは、最初のインザワイルドなエゴセントリックなフルハンド触覚データセットです。
触覚信号は,理解のためのコンパクトで強力なキューを提供する。
我々は,マルチモーダルな自我中心の知覚,具体的学習,接触に富むロボット操作の促進を目指す。
論文 参考訳（メタデータ） (2025-12-18T18:18:17Z) - OSMO: Open-Source Tactile Glove for Human-to-Robot Skill Transfer [34.13467792368733]
我々は、人間とロボットのスキル伝達用に設計されたウェアラブルな触覚手袋であるOSMOを紹介する。
人間の実演のみに特化して訓練されたロボットポリシーは、困難なコンタクトリッチな操作タスクを実行することができることを実証する。
論文 参考訳（メタデータ） (2025-12-09T18:56:30Z) - Casper: Inferring Diverse Intents for Assistive Teleoperation with Vision Language Models [50.19518681574399]
現実の遠隔操作における中心的な課題は、ロボットがユーザー制御入力から幅広い人間の意図を推測することである。
我々は、事前学習された視覚言語モデルに埋め込まれたコモンセンス知識を活用する、支援型遠隔操作システムであるCasperを紹介する。
我々は,Casperがタスク性能を改善し,人間の認知負荷を低減し,直接遠隔操作や補助遠隔操作のベースラインよりもユーザ満足度が高いことを示す。
論文 参考訳（メタデータ） (2025-06-17T17:06:43Z) - Feel the Force: Contact-Driven Learning from Humans [52.36160086934298]
操作中のきめ細かい力の制御は、ロボット工学における中核的な課題である。
We present FeelTheForce, a robot learning system that model human tactile behavior to learn force-sensitive control。
提案手法は,5つの力覚的操作タスクで77%の成功率を達成した,スケーラブルな人間の監督において,堅牢な低レベル力制御を実現する。
論文 参考訳（メタデータ） (2025-06-02T17:57:52Z) - Physics-Based Dexterous Manipulations with Estimated Hand Poses and
Residual Reinforcement Learning [52.37106940303246]
ノイズの多い入力ポーズをターゲットの仮想ポーズにマッピングするモデルを学習する。
モデルフリーハイブリッドRL+ILアプローチを用いて残留条件下で訓練する。
筆者らは,VRにおける手動物体の相互作用と,それを用いた手動物体の動作再構成という,手動姿勢推定を用いた2つのアプリケーションで,我々のフレームワークを検証した。
論文 参考訳（メタデータ） (2020-08-07T17:34:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。