論文の概要: SceneForesee: Learning Scene Evolution for Spatiotemporal Reasoning
- arxiv url: http://arxiv.org/abs/2610.14439v1
- Date: Sat, 10 Oct 2026 01:12:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.048393
- Title: SceneForesee: Learning Scene Evolution for Spatiotemporal Reasoning
- Title（参考訳）: SceneForesee:時空間推論のためのシーン進化学習
- Abstract要約: 我々は,エンティティの連続性とシーン進化の推論を評価するためのベンチマークを構築した。
本稿では,将来の幾何学と意味論を学習する時間的推論フレームワークであるEvoSeeを提案する。
4D推論ベンチマークのDyn-Benchでは、質問応答精度を改善し、各ベースシステム上でJ&Fを4.8および3.58ポイントグラウンドする。
- 参考スコア（独自算出の注目度）: 14.205916439166698
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large multimodal models (LMMs) need to understand how entities move and interact as a scene develops. This requires following the same entities over time and relating their observed motion to subsequent changes. We formulate Scene Evolution Understanding (SEU), a task for predicting and interpreting this change. Given observed video, a model estimates entity histories and predicts one scene continuation through future trajectories and Events, accompanied by Visual Evidence from observed motion and a scene description. We construct SceneForesee, a benchmark for evaluating entity continuity and scene evolution reasoning through paired observed and future scenes with shared entity identities. It contains 144.57K temporal pairs, 1.05M entity correspondences, and 272.49K Events paired with observed evidence. We propose a spatiotemporal reasoning framework, EvoSee, that learns future geometry and Event semantics through shared candidate states and joint assignment. It selects one continuation per entity from observation and uses the selected changes for entity refinement, retention, and scene representation. On SceneForesee, EvoSee outperforms Qwen3.5-9B by 10.45 points in Combined Point-F1 and 17.24 points in Event Global F1. On the 4D reasoning benchmark Dyn-Bench, it improves question answering accuracy and grounding J&F by 4.8 and 3.58 points over their respective base systems. These results support scene evolution as both a prediction target and a dynamic representation that brings predicted entity changes into spatiotemporal reasoning.The project is available at https://github.com/mikubaka88/SceneForesee-Spatiotemporal-Reasoning.
- Abstract（参考訳）: 大規模マルチモーダルモデル(LMM)は、シーンが発達するにつれて、エンティティがどのように動き、相互作用するかを理解する必要がある。
これにより、時間とともに同じ実体をフォローし、観察された動きとその後の変化を関連付ける必要がある。
我々は、この変化を予測し、解釈するタスクであるSEU(Scene Evolution Understanding)を定式化する。
観察された映像が与えられた場合、モデルが実体の履歴を推定し、観察された動きとシーン記述から視覚的エビデンスを伴い、将来の軌跡や出来事を通して1つのシーンの継続を予測する。
SceneForeseeは、観測された2つのシーンと将来のシーンを共有エンティティのアイデンティティで分析し、エンティティの連続性とシーン進化の推論を行うためのベンチマークである。
144.57Kの時間対、1.05Mの実体対応、272.49Kの事象を観測された証拠と組み合わせている。
提案する時空間的推論フレームワークであるEvoSeeは,共有された候補状態と共同割り当てによって,将来の幾何学やイベントの意味を学習する。
観察からエンティティ毎に1つの継続を選択し、選択した変更をエンティティの洗練、保持、シーン表現に使用する。
SceneForeseeでは、EvoSeeがQwen3.5-9Bを10.45ポイント、イベントグローバルF1で17.24ポイントで上回っている。
4D推論ベンチマークのDyn-Benchでは、質問応答精度を改善し、各ベースシステム上でJ&Fを4.8および3.58ポイントグラウンドする。
これらの結果は、予測対象と、予測された実体変化を時空間的推論にもたらす動的表現の両方としてシーンの進化を支持し、このプロジェクトはhttps://github.com/mikubaka88/SceneForesee-Spatiotemporal-Reasoningで利用可能である。
関連論文リスト
- Kepler4D: Controllable Future Video Generation via 4D Scene State Evolution [28.15084496855441]
Kepler4Dは、4Dシーン状態の明示的な進化を通じて、将来の映像生成のためのフレームワークである。
モノクロビデオが与えられた後、Kepler4Dは背景形状、物体の動き履歴、粗い空間サポート、意味的コンテキストの共有3D表現を構築する。
実世界のビデオの実験では、ケプラー4Dは制御可能な物体の動きと将来のロールアウトを可能にしている。
論文 参考訳（メタデータ） (2026-10-02T23:53:00Z) - MVVBench: Benchmarking 4D Reasoning in Vision-Language Models [34.87357755391106]
MVVBenchは、実世界のマルチカメラデータセットから構築されたマルチビュービデオ推論のベンチマークである。
それぞれの質問は、指定された入力セットの任意の単一ビューから答えられず、大多数は、任意の単一モーメントからさらに答えられません。
MVVBenchは様々なダイナミックシーンにまたがり、暗黙の/明示的な識別、暗黙の/明示的な相対距離、相対的なカメラポーズ、作曲の計数という6つの能力を探索する。
論文 参考訳（メタデータ） (2026-09-25T08:02:42Z) - From Where to How: Continuous 4D Interaction Forecasting from Egocentric Video [62.898774619819676]
エゴセントリックな4Dインタラクション予測は、将来のインタラクションが3Dで起こる場所と、その実現のために人体がどのように動くかを予測することを目的としている。
コヒーレント4D(Coherent4D)は、3つの領域にわたる約233Kサンプルからなる連続4Dインタラクション予測のための大規模エゴセントリックデータセットである。
HIGFlow(Hand Interaction Guided Residual Flow)フレームワークを提案する。
論文 参考訳（メタデータ） (2026-09-08T12:06:23Z) - Learning to Evolve Scenes: Reasoning about Human Activities with Scene Graphs [10.367002095946843]
我々は、明示的で構成的で編集可能な相互作用が、リッチな活動理解にとって重要な役割を担っていると論じる。
アノテーション付きシーングラフでEgo4Dを拡張する大規模なアノテーションセットであるEgoEgoを紹介する。
また,アクティビティ駆動型グラフ編集予測(A-GEF)問題についても定式化する。
論文 参考訳（メタデータ） (2026-07-02T16:53:42Z) - GenHOI: Towards Object-Consistent Hand-Object Interaction with Temporally Balanced and Spatially Selective Object Injection [54.879037588415656]
GenHOIは、事前訓練されたビデオ生成モデルに対する軽量な拡張である。
参照オブジェクト情報を時間的にバランスよく空間的に選択的に注入する。
GenHOIは最先端のHOI再現やオールインワンのビデオ編集方法よりも優れています。
論文 参考訳（メタデータ） (2026-03-06T09:01:09Z) - Know-Show: Benchmarking Video-Language Models on Spatio-Temporal Grounded Reasoning [18.15310805625469]
マルチモーダルビデオ言語モデル(Video-LMs)を評価するための新しいベンチマークであるKnow-Showを提案する。
Know-Showは、空間的(人、物、人、物)と時間的次元の5つのシナリオからなる単一の評価枠組み内での推論と局所化を統一する。
Charades、Action Genome、Ego4Dから2.5万の人間の言語質問で作られたこのベンチマークは、現在のビデオ-LMと人間の推論の間に大きなギャップを露呈している。
このギャップを埋めるために、我々は、きめ細かい接地でビデオ-LMを増強するトレーニング不要なプラグインであるGRAMを提案する。
論文 参考訳（メタデータ） (2025-12-05T08:15:49Z) - TemporalBench: Benchmarking Fine-grained Temporal Understanding for Multimodal Video Models [75.42002690128486]
TemporalBenchは、ビデオの微細な時間的理解を評価するための新しいベンチマークだ。
ビデオクリップの時間的ダイナミクスを詳述した2Kの高品質な人間のアノテーションから派生した10KのビデオQ&Aペアで構成されている。
GPT-4oのような最先端のモデルは、TemporalBench上で38.5%の質問応答精度しか達成していない。
論文 参考訳（メタデータ） (2024-10-14T17:59:58Z) - PREF: Predictability Regularized Neural Motion Fields [68.60019434498703]
ダイナミックなシーンで3Dの動きを知ることは、多くの視覚応用にとって不可欠である。
多視点設定における全ての点の運動を推定するために神経運動場を利用する。
予測可能な動きを正規化することを提案する。
論文 参考訳（メタデータ） (2022-09-21T22:32:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。