論文の概要: Time-JEPA: Grounding Video World Models with Physical Time Series

• arxiv url: http://arxiv.org/abs/2610.23982v1
• Date: Wed, 14 Oct 2026 07:29:36 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 11:57:33.663871
• Title: Time-JEPA: Grounding Video World Models with Physical Time Series
• Title（参考訳）: タイムJEPA:物理時系列による地上ビデオワールドモデル
• Abstract要約: 我々は,低次元の時間的に整列した物理時系列を補助監督として用いたビデオワールドモデルを微調整するTime-JEPAを紹介した。 Time-JEPAは、一致したビデオファインチューニング制御に対する、現在のデコーディング、マルチホライゾンの将来の予測、およびキネマティック再構築を改善している。
• 参考スコア（独自算出の注目度）: 27.54852113559038
• License:
• Abstract: Video world models learn how visual environments evolve by predicting missing or future content. However, physical-state information can provide useful context for predicting how environments evolve. Prior work incorporates this information through different mechanisms: domain-specific physical laws can complicate multi-domain training, while supervision on individual frames or frame pairs gives limited attention to how physical state evolves over time. We introduce Time-JEPA, which fine-tunes a video world model using low-dimensional, temporally aligned physical time series as auxiliary supervision. Physical time series connect video representations with physical state at corresponding temporal positions, encouraging the model to preserve how physical state evolves. In multiple domains including autonomous driving, robot manipulation, and human motion, Time-JEPA improves current-state decoding, multi-horizon future-state prediction, and kinematic reconstruction over matched video-fine-tuned controls across both condition and state-variable distribution shifts. Multi-domain training provides aggregate gains over matched single-domain training in all three tasks. External evaluations further suggest that time-series supervision improves sensitivity to physical anomalies and the representation of physical interactions, including in unseen scenarios. Aggregate gains on a second video backbone indicate that the method can be applied to more backbones. These results suggest that physical time series help video world models better understand the physical world.
• Abstract（参考訳）: ビデオワールドモデルは、行方不明または将来のコンテンツを予測することによって、視覚環境がどのように進化するかを学ぶ。 しかし、物理的状態情報は環境がどのように進化するかを予測するのに有用なコンテキストを提供することができる。 ドメイン固有の物理法則は、複数のドメインのトレーニングを複雑にし、個々のフレームやフレームペアの監督は、物理的状態が時間とともにどのように進化するかに限定的な注意を与える。 我々は,低次元の時間的に整列した物理時系列を補助監督として用いたビデオワールドモデルを微調整するTime-JEPAを紹介した。 物理時系列は、物理状態と対応する時間的位置の物理状態とを結びつけ、物理的状態の進化の保存をモデルに促す。 自律運転、ロボット操作、人間の動作を含む複数の領域において、Time-JEPAは状態の復号化、複数水平将来の予測、および条件と状態変化の双方にわたるビデオファインダー調整による制御に対する運動的再構成を改善している。 マルチドメイントレーニングは、3つのタスクすべてで一致した単一ドメイントレーニングよりも総合的なゲインを提供する。 外的評価は、時系列の監督が、見えないシナリオを含む物理的異常に対する感受性と物理的相互作用の表現を改善することを示唆している。 第2のビデオバックボーンのアグリゲートゲインは、メソッドがより多くのバックボーンに適用可能であることを示している。 これらの結果は、物理時系列が物理世界をよりよく理解するのに役立つことを示唆している。

関連論文リスト

• STRIKE: Learning Visual State Transitions for Physical World Modeling [24.073394330670386]
  本研究では,高密度ビデオ生成から視覚状態遷移学習を分離するフレームワークSTRIKEを提案する。 画像ベースの遷移モデルは、現在の画像から次のシーン構成を予測することを学習する。 個別に訓練された動的モデルは、これらの状態とその時間的位置を条件とした完全なロールアウトを生成する。
  論文  参考訳（メタデータ） (2026-10-07T06:11:17Z)
• InternW0: A Foundational Physical World Model for Efficient Real-World Interactions [71.6162746447152]
  上海AI研究所からInternW物理世界モデルシリーズの最初のインスタンス化であるInternW0を紹介する。 フローマッチングを伴う非対称なビデオアクションアーキテクチャにより,将来の視覚力学と連続ロボット制御を学習する。 InternW0を約7,200時間の異質なロボットとエゴセントリックなデータでトレーニングし、その中には275時間のリアルタイムなエゴセントリックなデータセットであるEgoLabが含まれています。
  論文  参考訳（メタデータ） (2026-09-23T10:20:56Z)
• Learning Explicit Physical Parameter Control and Benchmarking for Video Generation [21.331326205371628]
  本稿では,物体レベルの力,質量,摩擦,再生,シーンレベルの重力を条件とした物理誘導映像拡散モデルPhyParamを提案する。 また、PhyParam-Benchは、画像とビデオの生成における物理法則の整合性を示すベンチマークである。
  論文  参考訳（メタデータ） (2026-07-21T10:06:55Z)
• PhyCo: Learning Controllable Physical Priors for Generative Motion [55.59209981836171]
  本稿では,ビデオ生成に連続的,解釈可能,物理的に接地された制御を導入するフレームワークであるPhyCoを紹介する。 i) 摩擦, 再構成, 変形, 力が様々なシナリオで体系的に変化する100K以上のフォトリアリスティック・シミュレーション・ビデオの大規模データセット, (ii) 物理制御された拡散モデルの微調整, (iii) VLM誘導報酬最適化, 微調整された視覚言語モデルにより、対象とする物理クエリを用いて生成されたビデオを評価し、異なるフィードバックを提供する。
  論文  参考訳（メタデータ） (2026-04-30T17:53:03Z)
• MMPhysVideo: Scaling Physical Plausibility in Video Generation via Joint Multimodal Modeling [55.72785604682579]
  MMPhysVideoは、共同マルチモーダルモデリングにおけるビデオ生成における物理的可視性を拡大するフレームワークである。 MMPhysVideoは、様々なベンチマークで高度なモデルよりも、物理的な可視性と視覚的品質を一貫して改善している。
  論文  参考訳（メタデータ） (2026-04-03T07:32:24Z)
• VLIPP: Towards Physically Plausible Video Generation with Vision and Language Informed Physical Prior [88.51778468222766]
  近年,映像拡散モデル (VDM) が大幅に進歩し,映像のリアル化が進んでいる。 VDMは物理の理解の欠如のため、物理的にもっともらしいビデオを作ることができないことが多い。 本稿では,物理を視覚と言語に明示的に組み込んだ新しい2段階画像・映像生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-30T09:03:09Z)
• PhysFormer++: Facial Video-based Physiological Measurement with SlowFast Temporal Difference Transformer [76.40106756572644]
  最近のディープラーニングアプローチは、時間的受容の限られた畳み込みニューラルネットワークを用いた微妙な手がかりのマイニングに重点を置いている。 本稿では,PhysFormerとPhys++++をベースとした2つのエンドツーエンドビデオ変換器を提案する。 4つのベンチマークデータセットで総合的な実験を行い、時間内テストとクロスデータセットテストの両方において優れた性能を示す。
  論文  参考訳（メタデータ） (2023-02-07T15:56:03Z)
• PhysFormer: Facial Video-based Physiological Measurement with Temporal Difference Transformer [55.936527926778695]
  近年のディープラーニングアプローチは、時間的受容の限られた畳み込みニューラルネットワークを用いた微妙なrの手がかりのマイニングに重点を置いている。 本稿では,エンドツーエンドのビデオトランスをベースとしたアーキテクチャであるPhysFormerを提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:57:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。