論文の概要: FACT: A Multimodal Force-Action-Track Foundation Model for Human-to-Robot Dexterity

• arxiv url: http://arxiv.org/abs/2610.19155v1
• Date: Tue, 13 Oct 2026 20:21:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.799724
• Title: FACT: A Multimodal Force-Action-Track Foundation Model for Human-to-Robot Dexterity
• Title（参考訳）: FACT:人間とロボットのデキスタリティのためのマルチモーダル力-摩擦-トラック基礎モデル
• Abstract要約: 本稿では,ロボット基礎モデルであるFACTについて述べる。 ツールの使用,楽器,精密実験室の手順を含む,きめ細かい調整と力フィードバックを必要とする10のタスクでモデルを評価した。
• 参考スコア（独自算出の注目度）: 59.92965577251167
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human demonstrations offer a scalable alternative to costly robot data collection for dexterous manipulation, but most human datasets lack force measurements. Dexterous manipulation requires not only visual and proprioceptive understanding but also the ability to anticipate and regulate interaction forces. To scale force-aware human-robot co-training, we introduce EgoForce, a large-scale human tactile dataset capturing force-rich manipulation experience, and combine it with robot demonstrations for pretraining. We present FACT, a robot foundation model that cascades from prospective visual planning to force-aware refinement for dexterous manipulation. FACT comprises two jointly trained components. A Track-Guided Coarse Planner jointly predicts actions, future video, and visual tracks. Future video and visual tracks also provide a shared task representation that facilitates cross-embodiment knowledge transfer and coarse action generation. Building on this coarse plan, a Force-Action Joint Refiner jointly predicts future force and refines the coarse action, allowing anticipated force and action to shape each other during refinement. We evaluate the model on ten tasks requiring fine-grained coordination and force feedback, including tool use, musical instruments, and precision laboratory procedures. Using as few as 10 robot trajectories with 90 human trajectories for fine-tuning, FACT outperforms both baselines, with success-rate gains of up to 60 percentage points over T-Rex. Ablations show that force supervision in human pretraining data is crucial for downstream robot performance after fine-tuning, while visual track prediction and training with future-force prediction improve dexterous execution. Experiments varying the human-robot data ratio during fine-tuning further suggest that FACT learns from human demonstrations nearly as effectively as from robot demonstrations.
• Abstract（参考訳）: 人間のデモンストレーションは、高価なロボットデータ収集に代わるスケーラブルな代替手段を提供するが、ほとんどの人間のデータセットは力の測定を欠いている。 有害な操作は、視覚的および固有受容的な理解だけでなく、相互作用力を予測し制御する能力も必要である。 EgoForceは、力に富んだ操作経験を捉えた大規模な人間の触覚データセットであり、ロボットによる事前訓練のデモと組み合わせている。 本稿では,ロボット基礎モデルであるFACTについて述べる。 FACTは2つの共同訓練されたコンポーネントから構成される。 Track-Guided Coarse Plannerは、アクション、将来のビデオ、そしてビジュアルトラックを共同で予測する。 将来のビデオとビジュアルトラックは、クロス・エボディメントの知識伝達と粗いアクション生成を容易にする共有タスク表現も提供する。 この粗い計画に基づいて、フォース・アクション・ジョイント・リファイナーは、将来の力を共同で予測し、粗い動作を洗練し、予想される力と作用を洗練する。 ツールの使用,楽器,精密実験室の手順を含む,きめ細かい調整と力フィードバックを必要とする10のタスクでモデルを評価した。 10個のロボット軌道と90個の人間の軌道を使って微調整し、FACTは両方のベースラインを上回り、成功率はT-Rexよりも最大60ポイントも上昇する。 アブレーションは、人間の事前訓練データにおける力の監督が、微調整後の下流ロボットのパフォーマンスに不可欠であることを示し、一方、視覚的トラック予測と将来の力の予測によるトレーニングは、厳密な実行を改善することを示唆している。 微調整中に人間とロボットのデータ比が変化する実験は、FACTが人間のデモからロボットのデモと同じくらい効果的に学ぶことを示唆している。

関連論文リスト

• Being-M0.7: A Latent World-Action Model for Humanoid Robots [52.49928557294444]
  我々は,人間のデータから学習した視覚的動きを,事前学習,ロボットのミッドトレーニング,アクションポストトレーニングを通じてヒューマノイド制御に伝達する潜在世界行動モデルであるBeing-M0.7を提案する。 我々は、1万時間以上の生の人中心データからコーパスをキュレートし、ビデオのみ、モーションのみ、およびペア化されたビデオモーションストリームを統合して、補完的な視覚力学と全身の運動構造を学習する。 Be-M0.7はSIMPLEで比較したベースラインの中で最高成功率に達し、現実世界のUnitree G1ロコ操作タスクで最強のベースラインと一致する。
  論文  参考訳（メタデータ） (2026-10-08T05:49:24Z)
• WB-WAM: Heterogeneous Body-Hand Pre-training for Humanoid Loco-Manipulation [30.730467262133544]
  本稿では,WB-WAMについて述べる。WB-WAM,WB-WAM,WB-WAM,WB-WAM,WB-WAM,WB-WAM,WB-WAM,WB-WAM,WB-WAM,WB-WAM,WB-WAMの3つを紹介する。 共有された物理アクション空間は、異種ソースからの体、根、および異種手アノテーションを統合し、共同ビデオとアクション学習を可能にする。 我々はHumanoidArenaで81.9%の強い全身タスク性能を示し、実際の実験では5つのタスクで84.0%の成功率でWB-WAMを検証する。
  論文  参考訳（メタデータ） (2026-09-28T03:11:19Z)
• AnyWorld: Factorized Egocentric World Models for Cross-Embodiment Generalization [88.25615187835321]
  我々は,クロス・エボディメント・ワールド・モデリング・フレームワークであるAnyWorldを提案する。 私たちのモデルは、アクション、カメラ、エンボディメントへのインタラクションを分解します。 大規模なヒューマンインタラクション事前トレーニングでモデルをトレーニングする。
  論文  参考訳（メタデータ） (2026-08-29T12:55:15Z)
• Pre-training Visual Dexterity in Simulation [67.17477115017896]
  シミュレーションで完全に収集されたデータを利用するデクスタラスな操作のための事前学習フレームワークを導入する。 5人のオペレーターの助けを借りて、1週間にわたって75時間のマルチタスク・デキスタラスな操作を収集し、配列モデリングの目的に基づいて因果変換器を事前訓練する。 提案手法は,シミュレーション遠隔操作が実世界における創発的操作のトレーニング前情報源として有効なことを示し,学習行動のクローン化方針をゼロから上回る結果を得た。
  論文  参考訳（メタデータ） (2026-08-16T20:21:33Z)
• AdvDex: Learning Dexterous Manipulation from Human Demonstrations via Joint-Aligned Actions and Adversarial Learning [25.241504281004243]
  本稿では,人間とロボットのデモから,器用な操作を学ぶためのフレームワークであるAdvDexを紹介する。 まず、人間の操作デモの大規模マルチモーダルデータセットであるOmniShareを紹介する。 第2に,手首ポーズが$mathrmSE(3)$および15指関節からなる標準動作表現であるJAAS(Joint-Aligned Action Space)を提案する。 第3に,学習した視覚表現における具体的情報を減らすために,ドメイン・アドバイサル・ラーニングを用いる。
  論文  参考訳（メタデータ） (2026-08-14T07:19:06Z)
• Human-Centric Transferable Tactile Pre-Training for Dexterous Robotic Manipulation [33.12343137426091]
  本稿では,人間データに基づく精密なロボット作業のための触覚学習システムであるTransferable Tactile Pre-Training(TTP)を提案する。 TTPは、人間からロボットへの移動を通じて、スケーラブルな触覚事前訓練の道を開く。
  論文  参考訳（メタデータ） (2026-07-01T15:26:26Z)
• GazeVLA: Learning Human Intention for Robotic Manipulation [22.106797717672293]
  エボディード・ファンデーション・モデルは、ロボット操作において大きなブレークスルーを達成したが、それでも大規模なロボットのデモンストレーションに大きく依存している。 人間の行動の根底にある意図は、このギャップを埋めるための強力な中間表現として役立つと我々は主張する。 本稿では,ロボット操作を容易にするための人間の意図を明示的に学習し,伝達する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-24T14:46:03Z)
• EgoHumanoid: Unlocking In-the-Wild Loco-Manipulation with Robot-Free Egocentric Demonstration [67.13034606664333]
  EgoHumanoidは、エゴセントリックな人間のデモを使って視覚言語アクションポリシーを共同訓練する最初のフレームワークである。 スケーラブルな人的データ収集のためのポータブルシステムを開発した。
  論文  参考訳（メタデータ） (2026-02-10T18:59:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。