論文の概要: JtT: Rethinking Point Trajectory Diffusion for Diverse and Rigid Motion from an Image

• arxiv url: http://arxiv.org/abs/2610.16591v1
• Date: Mon, 12 Oct 2026 11:13:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 22:22:45.344457
• Title: JtT: Rethinking Point Trajectory Diffusion for Diverse and Rigid Motion from an Image
• Title（参考訳）: JtT:画像からの逆・剛体運動のための点軌道拡散を再考する
• Abstract要約: 単体画像からの剛体運動の予測について検討した。 我々のモデルであるJtTは座標空間で直接動作する単純な拡散変換器である。 モデルランキングは,モデルのサイズ,メートル法,停止時間にどのように依存するかを示し,より厳密なチェックポイント平均評価プロトコルを採用する。
• 参考スコア（独自算出の注目度）: 67.09340259579761
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study forecasting rigid-body motion from a single image: generating diverse and physically plausible future trajectories for arbitrary points in a scene, without building rigidity into the architecture or relying on geometric inputs such as depth. Like video generators, recent trajectory generators fail at this task, even in simple synthetic Kubric scenes, despite scaling up model size and training on real data. We show how to solve this with the right architecture and parameterization. Our model, JtT, is a simple diffusion transformer that operates directly in coordinate space and decodes arbitrary and dense query patterns, without the trajectory VAEs or fixed grids assumed in prior work. Through a systematic study of the design space of point trajectory diffusion, we find that diffusing per-frame velocities is the only parameterization that captures rigidity, that it must be paired with the right timestep schedule, and that adding full-resolution RGB at the query points resolves the boundary failures of prior methods. However, evaluating such 2D models rigorously is itself non-trivial. To our knowledge, we are the first to observe that physical plausibility and diversity do not improve together during training: larger models, as used in prior work, memorize the single ground-truth future per training image, becoming more rigid while covering fewer possible futures. Yet prior work has paid little attention to this, so we show how model rankings depend on model size, metric, and stopping time, and adopt a stricter, checkpoint-averaged evaluation protocol. Under this protocol, JtT improves over prior methods on both distributional and rigidity metrics and approaches ground-truth rigidity, with only about 50M parameters.
• Abstract（参考訳）: 本研究では,1つの画像から剛体運動を予測することについて検討する。シーン内の任意の点に対する多様かつ物理的に妥当な将来の軌跡を生成すること,アーキテクチャに剛性を組み込むこと,深さなどの幾何学的入力に頼ること,などである。 ビデオジェネレータのように、最近の軌道ジェネレータは、モデルのサイズを拡大し、実際のデータでトレーニングしているにもかかわらず、単純な合成クブリックシーンでも、このタスクで失敗する。 私たちはこれを適切なアーキテクチャとパラメータ化で解決する方法を示します。 我々のモデルであるJtTは、座標空間内で直接動作する単純な拡散変換器であり、前処理で仮定された軌道VAEや固定グリッドを使わずに、任意のクエリパターンをデコードする。 点軌道拡散の設計空間を体系的に研究した結果、フレーム単位の速度の拡散は剛性を捉える唯一のパラメータ化であり、適切な時間ステップスケジュールと組み合わせなければならないこと、クエリポイントに完全分解能RGBを加えることで、従来の手法の境界故障を解消できることが判明した。 しかし、そのような2Dモデルを厳密に評価することは自明ではない。 我々の知る限り、私たちはトレーニング中に物理的妥当性と多様性が一緒に改善されないことを初めて観察する。 しかし、それ以前の作業はほとんど注意を払わなかったので、モデルランキングがモデルのサイズ、メートル法、停止時間にどのように依存しているかを示し、より厳密なチェックポイント平均評価プロトコルを採用しています。 このプロトコルの下では、JtTは分布と剛性の両方に関する事前の手法を改良し、約5000万のパラメータしか持たない地道剛性にアプローチする。

関連論文リスト

• PROSE: Training-Free Egocentric Scene Registration with Vision-Language Models [48.66414784633783]
  PROSE(Prompted Scene rEgistration)は、各RGBシーケンスをオブジェクトレベルの3Dシーングラフにリフトする。 PROSEは学習したパラメータを追加せず、深度センサーやトレーニング、注釈付きグラフを必要としない。 エゴセントリックなAria Digital TwinとAria Everyday Activityベンチマークでは、幾何学的および学習されたシーングラフのベースラインを、登録精度で上回っている。
  論文  参考訳（メタデータ） (2026-06-15T11:11:14Z)
• Obstacle Avoidance using Dynamic Movement Primitives and Reinforcement Learning [36.09105994195904]
  本研究は, 1つの人工的な実験からスムーズで, ほぼ最適な衝突のない3次元カルト軌道を高速に生成する手法を提案する。 デモは動的運動プリミティブ(DMP)として符号化され、ポリシーベースの強化学習を用いて反復的に再構成される。 この手法はシミュレーションと実ロボット実験で検証され、計算と実行時間の点でRTT-Connectベースラインを上回っている。
  論文  参考訳（メタデータ） (2025-10-10T10:51:42Z)
• Truncated Consistency Models [57.50243901368328]
  トレーニング一貫性モデルは、PF ODE 軌道に沿ったすべての中間点を対応するエンドポイントにマッピングする学習を必要とする。 このトレーニングパラダイムが一貫性モデルの1ステップ生成性能を制限することを実証的に見出した。 整合性関数の新しいパラメータ化と2段階の訓練手順を提案し,時間外学習が崩壊することを防ぐ。
  論文  参考訳（メタデータ） (2024-10-18T22:38:08Z)
• Sports-Traj: A Unified Trajectory Generation Model for Multi-Agent Movement in Sports [53.637837706712794]
  任意の軌道をマスク入力として処理する統一軌道生成モデルUniTrajを提案する。 具体的には,空間特徴抽出のためのトランスフォーマーエンコーダ内に埋め込まれたゴースト空間マスキング(GSM)モジュールを紹介する。 バスケットボールU,サッカーU,サッカーUの3つの実践的スポーツデータセットをベンチマークして評価を行った。
  論文  参考訳（メタデータ） (2024-05-27T22:15:23Z)
• Vanishing Point Estimation in Uncalibrated Images with Prior Gravity Direction [82.72686460985297]
  我々はマンハッタンのフレームを推定する問題に取り組む。 2つの新しい2行解法が導出され、そのうちの1つは既存の解法に影響を与える特異点に悩まされない。 また、局所最適化の性能を高めるために、任意の行で実行される新しい最小でないメソッドを設計する。
  論文  参考訳（メタデータ） (2023-08-21T13:03:25Z)
• 3DMOTFormer: Graph Transformer for Online 3D Multi-Object Tracking [15.330384668966806]
  最先端の3Dマルチオブジェクト追跡(MOT)アプローチは通常、Kalman Filterのような非学習モデルベースのアルゴリズムに依存している。 本稿では3DMOTFormerを提案する。この3D MOTフレームワークはトランスフォーマーアーキテクチャをベースに構築されている。 提案手法は, nuScenesバリデーションとテストスプリットでそれぞれ71.2%, AMOTA68.2%を達成している。
  論文  参考訳（メタデータ） (2023-08-12T19:19:58Z)
• STDepthFormer: Predicting Spatio-temporal Depth from Video with a Self-supervised Transformer Model [0.0]
  ビデオ入力と空間的時間的注意ネットワークから,映像のフレーム列を同時に予測する自己教師型モデルを提案する。 提案モデルでは,物体形状やテクスチャなどの事前のシーン知識を,単一画像深度推定法に類似した手法で活用する。 マルチオブジェクト検出、セグメンテーション、トラッキングを含む複雑なモデルを必要とするのではなく、暗黙的にシーン内のオブジェクトの動きを予測することができる。
  論文  参考訳（メタデータ） (2023-03-02T12:22:51Z)
• Homography Decomposition Networks for Planar Object Tracking [11.558401177707312]
  平面オブジェクトトラッキングは、ロボット工学、ビジュアルサーボ、ビジュアルSLAMといったAIアプリケーションにおいて重要な役割を果たす。 本稿では, ホログラフィ変換を2つのグループに分解することで, 条件数を大幅に削減し, 安定化する新しいホモグラフィ分解ネットワークを提案する。
  論文  参考訳（メタデータ） (2021-12-15T06:13:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。