論文の概要: Immersive Social Interaction with VR and LLM-Assisted Humanoids
- arxiv url: http://arxiv.org/abs/2607.07430v1
- Date: Wed, 08 Jul 2026 14:00:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-09 22:50:30.401203
- Title: Immersive Social Interaction with VR and LLM-Assisted Humanoids
- Title（参考訳）: VRとLDM支援ヒューマノイドとの没入型ソーシャルインタラクション
- Abstract要約: 本稿では,音声制御された移動,VRによる操作,および全身ヒューマノイド制御のための双方向ソーシャルインタラクションを統合した没入型遠隔操作フレームワークを提案する。
オペレーターはApple Vision Proを使って、エゴセントリックな視覚フィードバックを受け取り、自然言語の移動コマンドを発行し、手首と指のトラッキングを通じてロボットの腕と器用な手を遠隔操作する。
我々は,操作作業や社会的相互作用作業において,器用な手を備えたUnitree H1ヒューマノイドの枠組みを評価する。
- 参考スコア（独自算出の注目度）: 8.355232835265982
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Humanoid robots can extend human presence to remote, constrained, or hazardous environments, but existing teleoperation interfaces often require physically demanding motion tracking or cognitively demanding low-level control. This paper presents an immersive teleoperation framework that integrates voice-controlled locomotion, VR-based manipulation, and bidirectional social interaction for whole-body humanoid control. Using Apple Vision Pro, the operator receives egocentric visual feedback, issues natural-language locomotion commands, and teleoperates the robot's arms and dexterous hands through wrist and finger tracking. An LLM-assisted voice-control module converts spoken instructions into high-level locomotion commands, while the manipulation module retargets human hand motions to the robot through inverse kinematics and PD control. The system also records multimodal data, including egocentric RGB observations, voice/text commands, joint states, hand motions, and eye-gaze signals, supporting future imitation learning and autonomy. We evaluate the framework on a Unitree H1 humanoid equipped with dexterous hands in manipulation and social interaction tasks. Results show that novice users can successfully operate the system after brief familiarization, achieving 80\% success in object manipulation and 70\% success in a social cube-passing task. These results demonstrate the potential of immersive, language-assisted teleoperation as an accessible interface for humanoid interaction, remote assistance, and multimodal data collection.
- Abstract（参考訳）: ヒューマノイドロボットは、人間の存在を遠隔、制約された、あるいは危険な環境にまで拡張することができるが、既存の遠隔操作インタフェースでは、身体的に要求されるモーショントラッキングや、認知的に低レベルの制御を必要とすることが多い。
本稿では,音声制御された移動,VRによる操作,および全身ヒューマノイド制御のための双方向ソーシャルインタラクションを統合した没入型遠隔操作フレームワークを提案する。
オペレーターはApple Vision Proを使って、エゴセントリックな視覚フィードバックを受け取り、自然言語の移動コマンドを発行し、手首と指のトラッキングを通じてロボットの腕と器用な手を遠隔操作する。
LLM支援音声制御モジュールは、音声指示を高レベルな移動コマンドに変換し、操作モジュールは、逆運動学とPD制御を通して人間の手の動きをロボットに再ターゲットする。
このシステムは、エゴセントリックなRGB観測、音声/テキストコマンド、関節状態、手の動き、目視信号などのマルチモーダルデータを記録し、将来の模倣学習と自律性をサポートする。
我々は,操作作業や社会的相互作用作業において,器用な手を備えたUnitree H1ヒューマノイドの枠組みを評価する。
その結果,初級者は手短に親しみ,オブジェクト操作で80%,ソーシャルな立方体通過タスクで70%の成功を収めることができた。
これらの結果は,ヒューマノイドインタラクション,遠隔支援,マルチモーダルデータ収集のためのインタフェースとして,没入型,言語支援型遠隔操作の可能性を示している。
関連論文リスト
- Teleopit: A Full-Embodiment Humanoid Teleoperation System [3.436474641224862]
我々は、体、手、信号をVRからヒューマノイド体にマッピングするフルエンボディーメント遠隔操作システムであるTeleopitを紹介した。
ヒストリーエンコーダとフェールアウェア・リウインドサンプリングは、モーションキャプチャーとライブVR参照の両方のモーショントラッカーを改善する。
ACTとGRT N1.7は、Teleopitで収集された96のデモで訓練され、それぞれ90.0%と95.0%のタスク成功率を達成した。
論文 参考訳（メタデータ） (2026-08-03T07:45:13Z) - Towards Human-level Dexterous Teleoperation [62.77371751776912]
人レベルのデキスタラス遠隔操作は、動的手動物体接触による物体の動きを正確に制御する必要がある。
我々は,操作者の意図を学習された低レベルのコンタクト実行にマッピングするハンドオブジェクト・コトラッキング・コントローラであるTeleDexterを紹介した。
我々はTeleDexterを、物体の向きを変える7つの難易度遠隔操作タスクと、両手にわたる長距離ツールを用いて評価した。
論文 参考訳（メタデータ） (2026-07-13T12:36:47Z) - ActiveGlasses: Learning Manipulation with Active Vision from Ego-centric Human Demonstration [51.69384671495837]
ActiveGlassesは、エゴ中心の人間のデモからロボット操作を学習するシステムである。
スマートグラスに装着されたステレオカメラは、データ収集とポリシー推論の両方のための唯一の認識装置として機能する。
ゼロ・トランスファーを可能にするために,デモからオブジェクト・トラジェクトリを抽出し,オブジェクト中心のポイント・クラウド・ポリシーを用いて操作と頭部運動を協調的に予測する。
論文 参考訳（メタデータ） (2026-04-09T17:59:08Z) - ZeroWBC: Learning Natural Visuomotor Humanoid Control Directly from Human Egocentric Video [52.78703020909145]
我々は、人間中心のビデオから直接、自然なヒューマノイドビジュモータ制御ポリシーを学ぶ新しいフレームワークであるZeroWBCを紹介した。
提案手法はまず視覚言語モデル(VLM)を微調整し,テキスト命令とエゴセントリックな視覚コンテキストに基づく将来の身体全体の動作を予測する。
ユニツリーG1ヒューマノイドロボットの実験では,動作の自然性と汎用性において,本手法がベースラインアプローチより優れていることが示された。
論文 参考訳（メタデータ） (2026-03-10T04:19:43Z) - Humanoid Manipulation Interface: Humanoid Whole-Body Manipulation from Robot-Free Demonstrations [25.15848825594207]
本稿ではHuMI(Humanoid Manipulation Interface)について述べる。
HuMIは、ポータブルハードウェアを使用して、リッチな全身の動きをキャプチャすることで、ロボットフリーのデータ収集を可能にする。
HuMIは遠隔操作に比べてデータ収集効率が3倍向上し、目に見えない環境では70%の成功率を達成した。
論文 参考訳（メタデータ） (2026-02-06T12:10:47Z) - TWIST2: Scalable, Portable, and Holistic Humanoid Data Collection System [79.48781507497769]
既存のヒューマノイド遠隔操作システムは、分離された制御を使用するか、高価なモーションキャプチャー装置に依存している。
本稿では,携帯型モキャップフリーなヒューマノイド遠隔操作・データ収集システムであるTWIST2を紹介する。
長軸的,移動的ヒューマノイドスキルを実証し,約100%の成功率で15分で100個のデモを収集できる。
論文 参考訳（メタデータ） (2025-11-04T18:58:35Z) - Casper: Inferring Diverse Intents for Assistive Teleoperation with Vision Language Models [50.19518681574399]
現実の遠隔操作における中心的な課題は、ロボットがユーザー制御入力から幅広い人間の意図を推測することである。
我々は、事前学習された視覚言語モデルに埋め込まれたコモンセンス知識を活用する、支援型遠隔操作システムであるCasperを紹介する。
我々は,Casperがタスク性能を改善し,人間の認知負荷を低減し,直接遠隔操作や補助遠隔操作のベースラインよりもユーザ満足度が高いことを示す。
論文 参考訳（メタデータ） (2025-06-17T17:06:43Z) - Feel the Force: Contact-Driven Learning from Humans [52.36160086934298]
操作中のきめ細かい力の制御は、ロボット工学における中核的な課題である。
We present FeelTheForce, a robot learning system that model human tactile behavior to learn force-sensitive control。
提案手法は,5つの力覚的操作タスクで77%の成功率を達成した,スケーラブルな人間の監督において,堅牢な低レベル力制御を実現する。
論文 参考訳（メタデータ） (2025-06-02T17:57:52Z) - TWIST: Teleoperated Whole-Body Imitation System [28.597388162969057]
全身動作模倣によるヒューマノイド遠隔操作システムTWISTについて述べる。
我々は,強化学習と行動クローニングを組み合わせた,頑健で適応的で応答性の高い全身制御装置を開発した。
TWISTは、現実世界のヒューマノイドロボットが、前例のない、多目的で、調整された全身運動能力を達成できるようにする。
論文 参考訳（メタデータ） (2025-05-05T17:59:03Z) - HOMIE: Humanoid Loco-Manipulation with Isomorphic Exoskeleton Cockpit [52.12750762494588]
本稿では,半自律遠隔操作システムHOMIEを紹介する。
ペダルにマッピングされた身体制御のための強化学習ポリシー、腕制御のための異形外骨格アーム、手操作のためのモーションセンシンググローブを組み合わせている。
このシステムは完全なオープンソースであり、デモとコードはhttps://homietele.org/.com/で見ることができる。
論文 参考訳（メタデータ） (2025-02-18T16:33:38Z) - Open-TeleVision: Teleoperation with Immersive Active Visual Feedback [17.505318269362512]
Open-TeleVisionは、オペレーターが立体的にロボットの周囲を積極的に知覚することを可能にする。
このシステムは操作者の腕と手の動きをロボットに反映し、没入感のある体験を作り出す。
本システムの有効性は,長期的かつ正確な4つの課題に対して,データ収集と模倣学習ポリシーの訓練によって検証する。
論文 参考訳（メタデータ） (2024-07-01T17:55:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。