論文の概要: GenDSR: Transferring Representations from Video Generation Models for Dynamic Spatial Reasoning
- arxiv url: http://arxiv.org/abs/2610.41314v1
- Date: Fri, 30 Oct 2026 06:26:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 22:05:31.631235
- Title: GenDSR: Transferring Representations from Video Generation Models for Dynamic Spatial Reasoning
- Title(参考訳): GenDSR:動的空間推論のための映像生成モデルからの表現の転送
- Abstract要約: ビデオ生成モデル(VGM)は、時間的コヒーレントな世界ダイナミクスを合成するために訓練される。
本稿では,動的空間推論のための中間表現をVLMからVLMに転送するフレームワークGenDSRを提案する。
DSRを条件としたDynamicBench GenDSRは67.2%を達成し、これまでの最高の結果を超え、新しい最先端技術を確立した。
- 参考スコア(独自算出の注目度): 11.178013155108879
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Dynamic spatial reasoning is essential for connecting visual intelligence to thephysical world, yet remains challenging for vision-language models (VLMs), which must preserve scene state while tracking how spatial relations evolve over time. Meanwhile, video generation models (VGMs), trained to synthesize temporally coherent world dynamics, offer a rich source of spatiotemporal representations. We present GenDSR, a framework that transfers intermediate representations from VGM into VLM for dynamic spatial reasoning. Rather than treating a VGM feature as a monolithic prior, GenDSR constructs two complementary branches: a raw branch preserving holistic generative context and a delta branch emphasizing temporal variation. Task-conditioned tokenwise gates then fuse both signals and inject the result into the native visual representation. On DSR-Bench, GenDSR achieves 67.2%, surpassing the previous best result and establishing a new state of the art.
- Abstract(参考訳): 動的空間推論は視覚知能と物理世界との接続には不可欠であるが、空間関係が時間とともにどのように変化するかを追跡しながらシーン状態を保たなければならない視覚言語モデル(VLM)では依然として困難である。
一方、時間的コヒーレントな世界ダイナミクスを合成するために訓練されたビデオ生成モデル(VGM)は、時空間表現の豊富な情報源を提供する。
本稿では,動的空間推論のための中間表現をVGMからVLMに転送するフレームワークGenDSRを提案する。
VGMの機能をモノリシックな前駆体として扱うのではなく、GenDSRは2つの補分枝を構築する: 全体的生成コンテキストを保存する生分枝と、時間的変動を強調するデルタ分枝である。
タスク条件付きトークンワイドゲートは、両方の信号を融合し、結果をネイティブな視覚表現に注入する。
DSR-Benchでは、GenDSRは67.2%を達成し、前回の結果を上回り、新しい最先端技術を確立した。
関連論文リスト
- DynaOD: Dynamic Origin-Destination Flow Generation with Discrete-to-Continuous Temporal Semantic Modeling [20.859733498481173]
動的原点決定(OD)フロー生成は、時間的文脈のみから現実的な運動力学を合成しようとする。
2つの相補的な視点から時間力学をモデル化する意味駆動型フレームワークDynaODを提案する。
本手法は, 予測精度と分布忠実度の両方において, 代表ベースラインを一貫して上回っている。
論文 参考訳(メタデータ) (2026-06-08T06:32:49Z) - Self-Evolving Spatial Reasoning in Vision Language Models via Geometric Logic Consistency [53.28076739140119]
本稿では,視覚・言語モデル(VLM)における論理的一貫性を幾何学的・言語的双対性演算によって実現する枠組みを提案する。
SAGEは、従来のGRPO法に比べてモデルに依存しず、データ効率が良く、既存のVLMに軽量な後学習段階として適用することができる。
ビデオおよび空間推論ベンチマークの実験では、強いベースラインよりも一貫した改善が示されている。
論文 参考訳(メタデータ) (2026-05-18T10:05:21Z) - ThinkJEPA: Empowering Latent World Models with Large Vision-Language Reasoning Model [53.15040805435013]
視覚言語モデル(VLM)は、一様にサンプリングされたフレームを解析することで、強力なセマンティックグラウンドと一般的な知識を提供する。
本稿では,高密度フレーム・ダイナミックス・モデリングと長軸意味指導を組み合わせたVLM誘導型JEPA型潜在世界モデリングフレームワークを提案する。
論文 参考訳(メタデータ) (2026-03-23T17:59:42Z) - GenHOI: Towards Object-Consistent Hand-Object Interaction with Temporally Balanced and Spatially Selective Object Injection [54.879037588415656]
GenHOIは、事前訓練されたビデオ生成モデルに対する軽量な拡張である。
参照オブジェクト情報を時間的にバランスよく空間的に選択的に注入する。
GenHOIは最先端のHOI再現やオールインワンのビデオ編集方法よりも優れています。
論文 参考訳(メタデータ) (2026-03-06T09:01:09Z) - RAYNOVA: Scale-Temporal Autoregressive World Modeling in Ray Space [51.441415833480505]
RAYNOVAは、二重因果自己回帰フレームワークを使用するシナリオを駆動するための多視点世界モデルである。
相対的なシャーカー線位置符号化に基づいて、ビュー、フレーム、スケールにまたがる等方的時間的表現を構築する。
論文 参考訳(メタデータ) (2026-02-24T08:41:40Z) - IAR2: Improving Autoregressive Visual Generation with Semantic-Detail Associated Token Prediction [77.06211178777939]
IAR2は、階層的なセマンティックディーテール合成プロセスを可能にする高度な自己回帰フレームワークである。
我々は、IAR2が自動回帰画像生成のための新しい最先端技術を設定し、ImageNet上で1.50のFIDを達成することを示す。
論文 参考訳(メタデータ) (2025-10-08T12:08:21Z) - LaM-SLidE: Latent Space Modeling of Spatial Dynamical Systems via Linked Entities [24.657184430147563]
本稿では、LaM-SLidE(リンクされたエンティティによる空間力学系のラテント空間モデリング)を提案する。
LaM-SLidEは、(1)潜在システム表現における個々のエンティティのトレーサビリティを維持すること、(2)画像およびビデオ生成における最近の進歩の効率性とスケーラビリティを活用することのギャップを埋める。
本稿では,LaM-SLidEが速度,精度,一般化性において良好に動作することを示す。
論文 参考訳(メタデータ) (2025-02-17T18:49:13Z) - Enhancing Video-Language Representations with Structural Spatio-Temporal Alignment [130.15775113897553]
フィンスタは微細な構造的時間的アライメント学習法である。
既存の13の強化されたビデオ言語モデルも一貫して改善されている。
論文 参考訳(メタデータ) (2024-06-27T15:23:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。