論文の概要: What Novice Operators See Changes What the Policy Learns: A User Study of Keypoint Hand Visual Representation for Teleoperated Demonstration

• arxiv url: http://arxiv.org/abs/2610.27907v1
• Date: Tue, 20 Oct 2026 09:22:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.740201
• Title: What Novice Operators See Changes What the Policy Learns: A User Study of Keypoint Hand Visual Representation for Teleoperated Demonstration
• Title（参考訳）: 初心者オペレーターが学んだこと:遠隔操作デモのためのキーポイントハンド視覚表現のユーザスタディ
• Abstract要約: オペレーターは、表示されているものに対して行動するが、ロボットのレンダリングがデモにどのように影響するか、そしてそれらに基づいて訓練されたポリシーは検討されていない。 我々は,多指のロボットハンドを指先と関節の疎いキーポイントとしてレンダリングする遠隔操作インタフェースであるPointHandを用いて,この問題を研究する。
• 参考スコア（独自算出の注目度）: 22.32114800997834
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Imitation learning increasingly relies on novice operators, whose demonstrations fall short of experts' in number and inter-trial consistency. Operators act on what they are shown, yet how the rendering of the robot affects their demonstrations, and the policies trained on them, has not been examined. We study this question with PointHand, a teleoperation interface that renders a multi-fingered robot hand as sparse keypoints at its fingertips and joints, the same keypoints a policy can observe. In a simulated mug-in-box task, 18 novices and 4 experts collected 2,200 trials under three renderings: the real shape of the hand, all keypoints emphasized, or the thumb and index finger alone emphasized. The novices shown the thumb and index finger emphasized collected 441 successful demonstrations from 600 trials, against 320 for those shown the real shape. We then trained diffusion policies on these demonstrations, replacing the scene point cloud and proprioceptive state they observe with the hand keypoints and two object keypoints. Within 400 steps these demonstrations went from the weakest of the three novice conditions under the point-cloud policy (46.3%) to the strongest under the keypoint policy (57.3%), a gain of +11.0 percentage points in all five seeds. Those collected with all keypoints emphasized changed by at most +0.7 percentage points, and in no more than three seeds. The value of a demonstration therefore depends on the rendering shown during collection and on what the policy observes together. A shared representation can pay off on both sides, in the number of successful demonstrations and in the success rate of the policy trained on them. Project page: https://omron-sinicx.github.io/point-hand/
• Abstract（参考訳）: 模倣学習は初心者にますます依存しており、その実演は専門家の数や裁判間の一貫性に欠ける。 オペレーターは、表示されているものに対して行動するが、ロボットのレンダリングがデモにどのように影響するか、そしてそれらに基づいて訓練されたポリシーは検討されていない。 我々は,多指のロボットハンドを指先と関節の疎いキーポイントとしてレンダリングする遠隔操作インタフェースであるPointHandを用いて,この問題を研究する。 シミュレーションされたMug-in-boxタスクでは、18人の初心者と4人の専門家が、手の実際の形、すべてのキーポイントの強調、親指と人差し指のみの強調の3つのレンダリングの下で2,200の試行を収集した。 親指と人差し指が強調された初心者は600回の試験で441回成功し、実形は320回だった。 次に、これらのデモに対して拡散ポリシーを訓練し、シーンポイントクラウドとプロプリセプティブステートをハンドキーポイントと2つのオブジェクトキーポイントで置き換えた。 400ステップ以内に、これらのデモは、ポイントクラウドポリシー(46.3%)の下での3つの初心者条件の最も弱い状態から、キーポイントポリシー(57.3%)下での最も弱い状態に移行した。 すべてのキーポイントで収集されたデータは、最大で0.7%、種子で3つしか変化しなかった。 それゆえ、デモの価値は、コレクション中に表示されたレンダリングとポリシーが一緒に観察するものに依存します。 共有された表現は、成功事例の数や、訓練された政策の成功率において、双方に利益を与えることができる。 プロジェクトページ: https://omron-sinicx.github.io/point-hand/

関連論文リスト

• Embodied Task Agents Can Perform Fine Manipulation through Tactile In-Context Learning [47.82260577588391]
  具体的タスクエージェントは,タスク固有のモデルトレーニングを使わずに,触覚体験を用いて微調整を行うことができるかを検討する。 本研究では,触覚体験を具体的タスクエージェントに組み込むシステムであるTactile-ETAを開発した。
  論文  参考訳（メタデータ） (2026-10-20T04:27:15Z)
• UniDex-ViTac: Learning Unified Visuo-Tactile Dexterous Manipulation Policy from Human Video Data [0.45880283710344055]
  We present UniDex-ViTac, a framework that using human-video-guided Simulation to generate robot demonstrations with fingertip contact observed。 我々は1万の擬似軌道を収集し、1つのAction Chunking with Transformers (ACT)ベースのジェネラリストを訓練する。 接触拡大された構成は、ポイントクラウドのみのベースラインで55.5%に対して、シミュレーションで68.3%のマクロ平均成功を実現している。
  論文  参考訳（メタデータ） (2026-09-15T01:52:33Z)
• Learning to See While Learning to Act: Diffusion Models for Active Perception in Robot Imitation [13.13689771374717]
  本研究では,テスト時に積極的に推論された視点の列に対して,行動予測を条件付ける模倣学習手法であるSeries2Actを提案する。 このポリシーは、オフラインのデモからアクションに固定されたカメラのポーズを使って訓練され、行動の仕方を学びながら、どこを見るべきかを暗黙的に学ぶことができる。
  論文  参考訳（メタデータ） (2026-06-22T17:19:57Z)
• Dexterous Point Policy: Learning Point-based Dexterous Hand Policies from Human Demonstrations [47.549615826832856]
  Dexterous Point Policyは、人間のビデオから直接繊細な操作ポリシーを学び、ロボットのデモを必要としない。 課題関連オブジェクトと人間の手の3Dキーポイントを生ビデオから抽出し,これらのキーポイント上で自己回帰変換器を訓練する。 デクサラスポイント・ポリシーは、ピック・アンド・プレイスとツール・ユースにまたがるリアル・ロボットの一連のタスクで75.0%の成功を収め、最先端のVLAベースラインは1.0%にしか達していない。
  論文  参考訳（メタデータ） (2026-06-09T09:13:36Z)
• LMAct: A Benchmark for In-Context Imitation Learning with Long Multimodal Demonstrations [15.102187997350983]
  今日の意思決定モデルのプレッシャーテストにベンチマークを提示する。 モデルが専門家による実演の回数をその文脈で学べるかどうかを検討する。
  論文  参考訳（メタデータ） (2024-12-02T12:31:58Z)
• ViViDex: Learning Vision-based Dexterous Manipulation from Human Videos [81.99559944822752]
  我々は人間のビデオから視覚に基づくポリシー学習を改善するためにViViDexを提案する。 最初は強化学習と軌道誘導報酬を使って、各ビデオに対する州ベースのポリシーを訓練する。 次に、州ベースのポリシーから成功したエピソードをロールアウトし、特権情報を使用しずに統一された視覚ポリシーをトレーニングします。
  論文  参考訳（メタデータ） (2024-04-24T07:58:28Z)
• The Power of the Senses: Generalizable Manipulation from Vision and Touch through Masked Multimodal Learning [60.91637862768949]
  強化学習環境における視覚的・触覚的情報を融合するためのマスク付きマルチモーダル学習(M3L)を提案する。 M3Lは、マスク付きオートエンコーディングに基づいて、ポリシーと視覚触覚表現を学習する。 視覚と触覚の両方の観察を行い、3つの模擬環境におけるM3Lの評価を行った。
  論文  参考訳（メタデータ） (2023-11-02T01:33:00Z)
• Playful Interactions for Representation Learning [82.59215739257104]
  本稿では,下流タスクの視覚的表現を学習するために,遊び心のあるインタラクションを自己指導的に利用することを提案する。 19の多様な環境で2時間の遊び心のあるデータを収集し、自己予測学習を用いて視覚的表現を抽出する。 我々の表現は、標準的な行動クローニングよりも一般化され、必要なデモの半数しか必要とせず、同様の性能を達成できる。
  論文  参考訳（メタデータ） (2021-07-19T17:54:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。