論文の概要: STRIKE: Learning Visual State Transitions for Physical World Modeling

• arxiv url: http://arxiv.org/abs/2610.09514v1
• Date: Wed, 07 Oct 2026 06:11:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.747935
• Title: STRIKE: Learning Visual State Transitions for Physical World Modeling
• Title（参考訳）: STRIKE:物理世界モデリングのための視覚状態遷移学習
• Abstract要約: 本研究では,高密度ビデオ生成から視覚状態遷移学習を分離するフレームワークSTRIKEを提案する。 画像ベースの遷移モデルは、現在の画像から次のシーン構成を予測することを学習する。 個別に訓練された動的モデルは、これらの状態とその時間的位置を条件とした完全なロールアウトを生成する。
• 参考スコア（独自算出の注目度）: 24.073394330670386
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Physical world modeling requires predicting how interactions change a scene, not merely generating coherent motion. We propose STRIKE, a framework that separates visual state transition learning from dense video generation. We construct event-aligned supervision by extracting observed states from training videos and pairing them with transition descriptions and temporal offsets. An image-based transition model learns to predict the next scene configuration from the current image, a local transition specification, and elapsed time. At inference, a pretrained vision-language planner predicts time transition specifications, and recursive application of the learned transition model produces a sequence of future visual states. A separately trained dynamic model then generates the complete rollout conditioned on these states and their temporal locations. Experiments on Physics-IQ Verified, PhyGenBench, Pisa-Experiments, and RoboTwin2.0 show improvements of STRIKE over the corresponding video-backbone baselines in benchmark measures of physical consistency and manipulation-video fidelity. These results support learned visual state transitions as an effective intermediate representation for physical world modeling.
• Abstract（参考訳）: 物理的世界モデリングは、相互作用が単にコヒーレントな動きを生成するのではなく、シーンをどのように変化させるかを予測する必要がある。 本研究では,高密度ビデオ生成から視覚状態遷移学習を分離するフレームワークSTRIKEを提案する。 トレーニングビデオから観察された状態を抽出し、遷移記述や時間オフセットと組み合わせることで、イベントアライメントの監視を構築する。 画像ベースの遷移モデルは、現在の画像、局所的な遷移仕様、経過時間から次のシーン構成を予測することを学習する。 事前訓練された視覚言語プランナーは、時間遷移仕様を予測し、学習された遷移モデルの再帰的適用は、将来の視覚状態のシーケンスを生成する。 個別に訓練された動的モデルにより、これらの状態とその時間的位置を条件とした完全なロールアウトが生成される。 Physics-IQ Verified、PhyGenBench、Pisa-Experiments、RoboTwin2.0の実験では、物理の整合性および操作ビデオの忠実性のベンチマーク測定において、対応するビデオバックボーンベースラインよりもSTRIKEの改善が示されている。 これらの結果は、物理世界モデリングの効果的な中間表現として、学習された視覚状態遷移を支援する。

関連論文リスト

• Self-Supervised Learning of Structured Dynamics from Videos [76.23834498074805]
  予め訓練した画像ビジョン変換器の凍結した特徴から、構造化された動き表現を復元できるかどうかを検討する。 本研究では、時間変化の主源を残留力学から明確に分離する構造ダイナミクスモデル(SDM)を提案する。 ProbeMotionのSDMは、カメラモーション、オブジェクトモーション、複合ダイナミクスを備えた合成ビデオと実ビデオにまたがる新しい評価スイートである。
  論文  参考訳（メタデータ） (2026-07-23T17:55:07Z)
• DynaVieW: Schema-Guided World Modeling for Understanding Hierarchical Visual Dynamics [48.50132043594263]
  視覚的動的予測とシミュレーションに最適化された動的スキーマ誘導世界モデルDynaVieWを提案する。 DynaVieWは、インターリーブされた状態遷移シーケンスを学習することで、視覚力学の深い理解を実現する。
  論文  参考訳（メタデータ） (2026-07-05T04:44:59Z)
• Tempered Self-Similarity Alignment for Physically Plausible Video Generation [83.40337664171939]
  自己相似性損失は確率的対応に変化し、映像生成モデルを動的に変化する領域の視覚基盤モデルと対応付けるよう訓練する。 本手法は,映像生成における関係知識の伝達の有効性を検証し,多種多様な相互作用シナリオにおける物理的妥当性の大幅な向上を示す。
  論文  参考訳（メタデータ） (2026-05-24T09:28:05Z)
• MMPhysVideo: Scaling Physical Plausibility in Video Generation via Joint Multimodal Modeling [55.72785604682579]
  MMPhysVideoは、共同マルチモーダルモデリングにおけるビデオ生成における物理的可視性を拡大するフレームワークである。 MMPhysVideoは、様々なベンチマークで高度なモデルよりも、物理的な可視性と視覚的品質を一貫して改善している。
  論文  参考訳（メタデータ） (2026-04-03T07:32:24Z)
• Video Prediction of Dynamic Physical Simulations With Pixel-Space Spatiotemporal Transformers [3.951575888190684]
  本研究は,ビデオ予測のためのトランスフォーマー適応を簡易なエンド・ツー・エンド・アプローチで検討し,種々の自己時間的アテンションレイアウトを比較した。 本稿では,自動回帰映像予測のための簡易かつ効果的な変換器を提案し,連続した画素空間表現をビデオ予測水平線に適用する。
  論文  参考訳（メタデータ） (2025-10-23T17:58:45Z)
• SynMotion: Semantic-Visual Adaptation for Motion Customized Video Generation [56.90807453045657]
  SynMotion(シンモクション)は、セマンティックガイダンスと視覚適応を併用した動画生成モデルである。 意味レベルでは、主観と動きの表現をアンタングルする二項意味理解機構を導入する。 視覚レベルでは、効率的なモーションアダプタをトレーニング済みのビデオ生成モデルに統合し、動きの忠実度と時間的コヒーレンスを高める。
  論文  参考訳（メタデータ） (2025-06-30T10:09:32Z)
• PreViTS: Contrastive Pretraining with Video Tracking Supervision [53.73237606312024]
  PreViTSは、同じオブジェクトを含むクリップを選択するための教師なしSSLフレームワークである。 PreViTSはフレーム領域を空間的に制約し、モデルから学習し、意味のあるオブジェクトを見つけるように訓練する。 モーメントコントラスト(MoCo)エンコーダを,PreViTSを用いてVGG-SoundとKinetics-400データセットでトレーニングする。
  論文  参考訳（メタデータ） (2021-12-01T19:49:57Z)
• Local Frequency Domain Transformer Networks for Video Prediction [24.126513851779936]
  ビデオ予測は、現実世界の視覚的変化を予想するだけでなく、何よりも、教師なしの学習規則として登場した。 本稿では,解釈性を維持しつつ,これらのタスクを別々に実行することのできる,完全微分可能なビルディングブロックを提案する。
  論文  参考訳（メタデータ） (2021-05-10T19:48:42Z)
• Future Video Synthesis with Object Motion Prediction [54.31508711871764]
  画像を直接合成するのではなく、複雑なシーンのダイナミクスを理解するように設計されている。 将来のシーンコンポーネントの出現は、背景の非剛性変形と移動物体のアフィン変換によって予測される。 CityscapesとKITTIデータセットの実験結果から、我々のモデルは視覚的品質と精度で最先端のモデルよりも優れています。
  論文  参考訳（メタデータ） (2020-04-01T16:09:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。