論文の概要: World Action Learning via Interaction-Centric Spectral Latent Guidance

• arxiv url: http://arxiv.org/abs/2610.03607v1
• Date: Fri, 02 Oct 2026 17:08:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.500747
• Title: World Action Learning via Interaction-Centric Spectral Latent Guidance
• Title（参考訳）: 相互作用中心スペクトル潜在誘導による世界行動学習
• Abstract要約: WING(World Action Learning via Interaction-Centric Spectral Latent Guidance)は、エゴセントリックなビデオからロボットポリシーにインタラクション知識を移行するためのフレームワークである。 クロス・エボディメント・タスク・セマンティクスはゆっくりと変化する時間構造に集中しているという観察を生かしている。 LIBEROは99.20%、RoboTwin 2.0は93.80%、RoboCasa-GR1は57.7%である。
• 参考スコア（独自算出の注目度）: 22.280392627354654
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning general-purpose robot policies requires large-scale real-world interaction data, yet collecting robot demonstrations remains expensive and difficult to scale. Egocentric videos offer abundant human interaction experience with task-relevant semantics for robotic manipulation, but direct transfer is challenging for two reasons: latent actions inferred from frame reconstruction can be dominated by nuisance variation such as ego-camera motion, and human and robot behaviors often exhibit different temporal dynamics. We propose WING (World Action Learning via INteraction-Centric Spectral Latent Guidance), a framework for transferring interaction knowledge from egocentric videos to robot policies. WING first separates observer-induced motion from hand-object interaction and distills the interaction-centric component into latent actions. It then exploits the observation that cross-embodiment task semantics are concentrated in slowly varying temporal structures, identifying shared low-frequency components between egocentric latent actions and robot behaviors in the spectral domain and using them to guide action generation. WING achieves average success rates of 99.20% on LIBERO, 93.80% on RoboTwin 2.0, and 57.7% on RoboCasa-GR1, and also performs strongly across four real-world manipulation tasks under diverse generalization settings. These results show that interaction-centric spectral guidance provides an effective and scalable way to transfer physical interaction knowledge from human egocentric video to robot control. Project page: https://mikuz12.github.io/wing/
• Abstract（参考訳）: 汎用ロボットポリシーの学習には、大規模な実世界のインタラクションデータが必要であるが、ロボットのデモの収集は高価でスケールが難しい。 エゴセントリックビデオは、ロボット操作のためのタスク関連セマンティクスを用いた豊富なヒューマンインタラクション体験を提供するが、フレーム再構成から推論される潜在動作は、エゴカメラ運動のようなニュアンスな変動に支配され、人間とロボットの振る舞いは、しばしば異なる時間的ダイナミクスを示す、という2つの理由から、直接転送は難しい。 WING(World Action Learning via Interaction-Centric Spectral Latent Guidance)は,エゴセントリックビデオからロボットポリシーへのインタラクション知識の伝達を目的としたフレームワークである。 WINGは、まず観察者が引き起こす動作と手動の相互作用を分離し、相互作用中心の成分を潜伏作用に蒸留する。 次に、クロス・エボディメント・タスク・セマンティクスは徐々に変化する時間構造に集中し、スペクトル領域におけるエゴセントリックな潜在行動とロボットの行動の間の共有低周波成分を特定し、それらを用いて行動生成を誘導する。 WINGは、LIBEROで99.20%、RoboTwin 2.0で93.80%、RoboCasa-GR1で57.7%の平均的な成功率を達成し、また、様々な一般化設定の下で4つの現実世界の操作タスクを強力に実行している。 これらの結果から,インタラクション中心のスペクトルガイダンスは,人間中心の映像からロボット制御への物理的なインタラクション知識の伝達に有効でスケーラブルな方法であることがわかった。 プロジェクトページ: https://mikuz12.github.io/wing/

関連論文リスト

• Skel-WAM: A Hand-Skeleton-Conditioned World Action Model for Human-to-Robot Manipulation Transfer [61.50662046794264]
  Skel-WAMは,ハンドスケルトン・モーション・インタフェースの統一による差異をブリッジする世界アクション・モデルである。 主な洞察は、人間の動きとロボットの動きを共通のハンドトポロジーで調整し、シーン内の地面の動きを、明示的な手の動きをエンコードする2.5Dキーポイントと組み合わせることである。 ビデオとキーポイントの専門家は、Mixture-of-Transformersを通じて視覚と骨格のダイナミクスを共同で学習し、ロボット訓練されたアクションエキスパートはこれらの予測を実行可能なコントロールにマップする。
  論文  参考訳（メタデータ） (2026-09-18T09:06:15Z)
• ViLoMan: Learning Visual-Proprioceptive Whole-Body Loco-Manipulation Skills for Humanoid Robots [56.6238848953359]
  ViLoManは、自律的なヒューマノイドロコ操作のためのスケーラブルなフレームワークである。 自我中心の深度観測と主観的測定を直接ジョイントレベル全体の行動にマッピングする統一的なポリシーを学ぶ。
  論文  参考訳（メタデータ） (2026-09-16T19:10:13Z)
• AffordanceWAM: Affordance-Aware Joint World-Action Modeling for Robot Manipulation [61.436480565887905]
  汎用的なロボット操作は、シーンがどのように進化するかを予測する必要がある。 アクションラベル付きロボットビデオは、直接制御を監督するが、コストが高く、多様性に制限がある。 本稿では,Scalr Affordance と Affordance Heatmap によるオブジェクトの空き時間を表す,空き時間を考慮した World Action Model を提案する。
  論文  参考訳（メタデータ） (2026-09-16T14:07:06Z)
• AnyWorld: Factorized Egocentric World Models for Cross-Embodiment Generalization [88.25615187835321]
  我々は,クロス・エボディメント・ワールド・モデリング・フレームワークであるAnyWorldを提案する。 私たちのモデルは、アクション、カメラ、エンボディメントへのインタラクションを分解します。 大規模なヒューマンインタラクション事前トレーニングでモデルをトレーニングする。
  論文  参考訳（メタデータ） (2026-08-29T12:55:15Z)
• JoyAI-RA 0.5: Scaling Robot Manipulation Learning via Dual Action Alignment [0.0]
  本研究では,物理世界力学と視覚的意味論を結びつけるフレームワークであるJoyAI-RA 0.5を提案する。 インシシットアクションアライメントは、視覚的な遷移から潜在アクションを推論し、アクションフリーな人間、シミュレーション、ロボットデータを可能にする。 JoyAI-RAは、実際のAgiBotベンチマークで見られるタスクと見えないバリエーションの両方に強く依存する。
  論文  参考訳（メタデータ） (2026-08-06T07:14:55Z)
• From Human Hands to Robot Arms: Manipulation Skills Transfer via Trajectory Alignment [36.08997778717271]
  現実世界のロボットの多様な操作スキルを学ぶことは、高価でスケールの難しい遠隔操作によるデモンストレーションに依存することでボトルネックとなる。 本稿では,操作終端の3次元軌跡を統一中間表現として利用することにより,この実施ギャップを橋渡しする新しいフレームワークであるTraj2Actionを紹介する。 我々の方針はまず,人間とロボットの両方のデータを活用することで,高レベルの運動計画を形成する粗い軌道を生成することを学習する。
  論文  参考訳（メタデータ） (2025-10-01T04:21:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。