論文の概要: Point Tracking Improves World Action Models

• arxiv url: http://arxiv.org/abs/2605.23856v1
• Date: Fri, 22 May 2026 17:08:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-25 17:29:20.439847
• Title: Point Tracking Improves World Action Models
• Title（参考訳）: ポイントトラッキングによる世界行動モデルの改善
• Authors: Jiarui Guan, Wenshuai Zhao, Yue Pei, Ziliang Chen, Arno Solin, Juho Kannala,
• Abstract要約: ピクセルレベルの予測は、照明やテクスチャなどの不快な要素と動的に絡み合うため、学習された表現はタスク非関連の視覚的変動に弱い。 JOPAT(Joint Pixel-And-Track World-Action Model)を提案する。
• 参考スコア（独自算出の注目度）: 29.784606797453662
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robot policy learning benefits from world-action models that capture environment dynamics, but pixel-level prediction entangles dynamics with nuisance factors such as lighting and texture, making learned representations vulnerable to task-irrelevant visual variation. We propose JOPAT, a JOint Pixel-And-Track World-Action Model that predicts latent visual observations, 2D point tracks with visibility, and actions in a single denoising diffusion transformer. The key insight is that tracks provide an explicit representation of motion that captures long-horizon dynamics and remains robust under occlusion or partial out-of-frame motion, offering greater utility than modeling pixel appearance alone. On LIBERO and real-world LeRobot tasks, JOPAT improves over pixel-based baselines, with the largest gains on long-horizon tasks involving occlusion, object interaction, and off-screen motion.
• Abstract（参考訳）: ロボットポリシー学習は、環境力学を捉えた世界行動モデルから恩恵を受けるが、ピクセルレベルの予測は、照明やテクスチャなどのニュアンス要因でダイナミクスを絡み合わせることで、学習された表現をタスクに関連のない視覚的変動に弱いものにする。 JOPAT(Joint Pixel-And-Track World-Action Model)を提案する。 鍵となる洞察は、トラックは動きの明示的な表現を提供し、長い水平運動を捉え、排他的または部分的なフレーム外運動の下で頑健であり、ピクセルの外観をモデル化するよりも有用であるということである。 LIBEROと現実世界のLeRobotタスクでは、JOPATはピクセルベースのベースラインよりも改善されており、オクルージョン、オブジェクトのインタラクション、オフスクリーンモーションを含む長い水平タスクで最大の利益を得ている。

関連論文リスト

• Cortical Policy: A Dual-Stream View Transformer for Robotic Manipulation [57.28703268044067]
  ロボット操作のための新しいデュアルストリームビュー変換器であるCortical Policyを提案する。 われわれのフレームワークは、ロボット操作の新しい視点を提供し、視覚に基づくロボット制御の幅広い応用の可能性を秘めている。
  論文  参考訳（メタデータ） (2026-03-22T04:18:54Z)
• Masked Modeling for Human Motion Recovery Under Occlusions [21.05382087890133]
  MoRoは、ビデオコンディショニングタスクとしてモーション再構成を定式化する、エンドツーエンドの生成フレームワークである。 MoRoは、1つのH200 GPU上で70FPSのリアルタイム推論を実現する。
  論文  参考訳（メタデータ） (2026-01-22T16:22:20Z)
• DynaRend: Learning 3D Dynamics via Masked Future Rendering for Robotic Manipulation [52.136378691610524]
  本稿では、3次元認識と動的インフォームド三面体特徴を学習する表現学習フレームワークDynaRendを紹介する。 マルチビューRGB-Dビデオデータに基づく事前トレーニングにより、DynaRendは空間幾何学、将来のダイナミクス、タスク意味を統合された三面体表現で共同でキャプチャする。 我々は、RLBenchとColosseumという2つの挑戦的なベンチマークでDynaRendを評価し、政策成功率、環境摂動の一般化、様々な操作タスクにおける実世界の適用性などを大幅に改善した。
  論文  参考訳（メタデータ） (2025-10-28T10:17:11Z)
• Lattice Boltzmann Model for Learning Real-World Pixel Dynamicity [21.760291945557828]
  この研究は、視覚追跡のための実世界のピクセル動態を学習するためのLattice Boltzmann Model (LBM)を提案する。 LBMは動的ピクセル格子に視覚表現を分解し、衝突ストリームプロセスを通じて画素運動状態を解決する。 既存の手法と比較すると、LBMはオンラインおよびリアルタイムに実用的な適用性を示す。
  論文  参考訳（メタデータ） (2025-09-20T04:25:27Z)
• Instance-Level Moving Object Segmentation from a Single Image with Events [84.12761042512452]
  移動対象セグメンテーションは、複数の移動対象を含む動的なシーンを理解する上で重要な役割を果たす。 従来の手法では、物体の画素変位がカメラの動きや物体の動きによって引き起こされるかどうかを区別することが困難であった。 近年の進歩は、従来の画像の不適切な動作モデリング機能に対抗するために、新しいイベントカメラの動作感度を利用する。 補完的なテクスチャとモーションキューを統合した,最初のインスタンスレベルの移動オブジェクトセグメンテーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-18T15:56:46Z)
• Pre-Trained Video Generative Models as World Simulators [59.546627730477454]
  本研究では,事前学習した映像生成モデルを制御可能な世界シミュレータに変換するための動的世界シミュレーション(DWS)を提案する。 条件付き動作と生成した視覚的変化の正確なアライメントを実現するために,軽量で普遍的な動作条件付きモジュールを導入する。 実験により、DWSは拡散モデルと自己回帰変換モデルの両方に汎用的に適用可能であることが示された。
  論文  参考訳（メタデータ） (2025-02-10T14:49:09Z)
• DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
  複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。 我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。 動的シーンデータセットにおける最先端手法の大幅な改善を示す。
  論文  参考訳（メタデータ） (2022-11-20T20:57:02Z)
• Hindsight for Foresight: Unsupervised Structured Dynamics Models from Physical Interaction [24.72947291987545]
  エージェントが世界と対話することを学ぶための鍵となる課題は、オブジェクトの物理的性質を推論することである。 本研究では,ラベルのない3次元点群と画像から直接,ロボットのインタラクションのダイナミクスをモデル化するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2020-08-02T11:04:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。