論文の概要: Temporally Grounded Compositional Camera Motion Understanding via Geometric Knowledge Distillation
- arxiv url: http://arxiv.org/abs/2608.10932v1
- Date: Tue, 11 Aug 2026 14:00:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-12 19:14:46.065897
- Title: Temporally Grounded Compositional Camera Motion Understanding via Geometric Knowledge Distillation
- Title（参考訳）: 幾何学的知識蒸留による時空間合成カメラの動作理解
- Abstract要約: CamChoreoは、専門家が注釈を付けた時間セグメントを持つ4,229の実際のシングルショットクリップのベンチマークである。
CamDistillは、トレーニング中に同じ幾何学的知識を軽量カメラトークンに蒸留し、推論時に3Dモデルを削除する。
- 参考スコア（独自算出の注目度）: 23.4390970357269
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Understanding camera motion is fundamental to video perception, with applications in spatial intelligence and controllable video generation. Multimodal large language models (MLLMs) provide a natural interface for this task, but existing work typically assigns one or more labels to an entire clip. Such clip-level recognition overlooks two defining properties of real camera motion: it can change within a shot, and multiple movements can occur simultaneously. We therefore formulate camera-motion understanding as temporally grounded, compositional recognition, which requires a model to localize motion-consistent intervals and identify every movement active within each interval. We introduce CamChoreo, a benchmark of 4,229 real single-shot clips with expert-annotated temporal segments. Its annotations use a compact vocabulary of 20 direction-aware labels, and nearly half of the segments contain compound camera motion, with multiple movement primitives active simultaneously. Recognizing such fine-grained, compositional motion is hard for current MLLMs, whose visual encoders emphasize semantic content rather than the geometric evidence on which camera motion depends. Directly injecting features from a frozen 3D foundation model addresses this gap, but requires running the expensive geometry model on every input; we refer to this baseline as CamInject. We instead propose CamDistill, which distills the same geometric knowledge into lightweight camera tokens during training and removes the 3D model at inference. CamDistill matches the accuracy of direct feature injection without running the 3D teacher at inference. Together, CamChoreo and CamDistill advance camera-motion understanding from clip-level labeling to temporally grounded, compositional recognition. Project page: https://ddz16.github.io/cammotion.github.io/.
- Abstract（参考訳）: カメラの動きを理解することは、空間知能と制御可能なビデオ生成に応用して、映像知覚の基礎となる。
MLLM(Multimodal large language model)は、このタスクの自然なインターフェースを提供するが、既存の作業は通常、1つ以上のラベルをクリップ全体に割り当てる。
このようなクリップレベルの認識は、実際のカメラの動きの2つの定義特性を見落としている。
そこで我々は,カメラの動作理解を時間的基盤と構成的認識として定式化し,各区間で活動する動きの局所化と同定を行うモデルを必要とする。
CamChoreoは4,229の実際の単発クリップのベンチマークで、専門家が注釈を付けた時間セグメントを紹介します。
そのアノテーションは、20の方向対応ラベルのコンパクトな語彙を使用し、セグメントのほぼ半分は複合カメラモーションを含み、複数の移動プリミティブが同時にアクティブである。
このようなきめ細かい構成運動を認識することは、カメラの動きが依存する幾何学的証拠よりも、視覚エンコーダが意味的内容を強調する現在のMLLMにとって難しい。
凍結した3Dファンデーションモデルから直接機能を注入することは、このギャップに対処するが、全ての入力で高価な幾何学モデルを実行する必要がある。
その代わりに、トレーニング中に同じ幾何学的知識を軽量カメラトークンに蒸留し、推論時に3Dモデルを除去するCamDistillを提案する。
CamDistillは、推論時に3D教師を実行することなく、直接フィーチャーインジェクションの精度にマッチする。
CamChoreoとCamDistillは、クリップレベルのラベリングから、時間的に接地された合成認識まで、カメラモーションの理解を進めた。
プロジェクトページ: https://ddz16.github.io/cammotion.github.io/
関連論文リスト
- 4DStreamCtrl: Interactive Video Generation with Online 4D Control [17.839928455658896]
カメラの動き,物体の軌跡,深度を1つの3Dポイントトラック表現に統一できることを示す。
1つのモデルは、ジョイントカメラとオブジェクトコントロール、深度編集、モーショントランスファーを1つの前方パスで実行する。
我々は,このモデルを,長さに依存しない4ステップのデノナイジングステップで任意に長ビデオを生成する因果的学生に蒸留する。
論文 参考訳（メタデータ） (2026-08-26T07:49:39Z) - TriMotion: Modality-Agnostic Camera Control for Video Generation [65.5913929253637]
TriMotionは、カメラ制御ビデオ生成のためのフレームワークで、ビデオ、ポーズ、テキスト入力をマッピングし、同じカメラ軌跡を共有モーション埋め込み空間に記述する。
また,TriMotionは3つのモダリティ全てを対象とするカメラ軌跡を正確に追従する高品質なビデオを生成する。
論文 参考訳（メタデータ） (2026-06-18T16:07:05Z) - Geometry-Guided Camera Motion Understanding in VideoLLMs [8.928448861727274]
カメラモーションは、視覚知覚と撮影スタイルを形作る基本的な幾何学的信号である。
現在のビデオ対応視覚注入モデル(VideoLLMs)は、明確に表現されることがほとんどなく、しばしば細かい動きプリミティブで失敗する。
カメラ動作を制約対応マルチラベル認識として定式化する。
実験では、改良されたモーション認識と、よりカメラ対応のモデル応答が示される。
論文 参考訳（メタデータ） (2026-03-13T16:13:09Z) - Pixel-to-4D: Camera-Controlled Image-to-Video Generation with Dynamic 3D Gaussians [7.051077403685518]
人間は、1つの画像だけを与えられたシーンの将来のダイナミクスを予測するのに優れています。
この能力を模倣できるビデオ生成モデルは、インテリジェントシステムにとって不可欠なコンポーネントである。
最近のアプローチでは、単一画像条件のビデオ生成における時間的コヒーレンスと3次元の整合性が改善されている。
論文 参考訳（メタデータ） (2026-01-02T13:04:47Z) - DIMO: Diverse 3D Motion Generation for Arbitrary Objects [57.14954351767432]
DIMOは、単一の画像から任意のオブジェクトに対して多様な3Dモーションを生成することができる生成的アプローチである。
我々は、よく訓練されたビデオモデルにおけるリッチな事前情報を利用して、共通の動きパターンを抽出する。
学習した潜時空間での推論時間の間、単方向パスで様々な3次元運動を瞬時にサンプリングすることができる。
論文 参考訳（メタデータ） (2025-11-10T18:56:49Z) - VividCam: Learning Unconventional Camera Motions from Virtual Synthetic Videos [58.09854638265381]
VividCamは、拡散モデルによって合成ビデオから複雑なカメラの動きを学習する訓練パラダイムである。
我々は、驚くほど単純な合成データを用いて、精密に制御された複雑なカメラの動きを広範囲に合成できることを実証した。
論文 参考訳（メタデータ） (2025-10-28T19:12:22Z) - 3D Scene Prompting for Scene-Consistent Camera-Controllable Video Generation [55.29423122177883]
3DScenePromptは任意の長さの入力から次のチャンクを生成するフレームワークである。
カメラの制御とシーンの一貫性の維持を可能にする。
我々のフレームワークは、シーンの一貫性、カメラ制御性、生成品質において、既存の手法よりも大幅に優れています。
論文 参考訳（メタデータ） (2025-10-16T17:55:25Z) - Estimating 2D Camera Motion with Hybrid Motion Basis [45.971928868591334]
CamFlowは、ハイブリッドモーションベースを使用したカメラモーションを表現する新しいフレームワークである。
提案手法は,ラプラス分布に基づくハイブリッド確率損失関数を含む。
CamFlowはさまざまなシナリオで最先端のメソッドよりも優れています。
論文 参考訳（メタデータ） (2025-07-30T08:30:37Z) - DreamJourney: Perpetual View Generation with Video Diffusion Models [91.88716097573206]
永続ビュー生成は、単一の入力画像からのみ任意のカメラ軌跡に対応する長期映像を合成することを目的としている。
近年の手法では、予め訓練されたテキスト・画像拡散モデルを用いて、カメラの動きに沿った未確認領域の新しいコンテンツを合成する。
本稿では,映像拡散モデルの世界シミュレーション能力を活用して,新たなシーンビュー生成タスクを起動する2段階フレームワークであるDreamJourneyを紹介する。
論文 参考訳（メタデータ） (2025-06-21T12:51:34Z) - In-2-4D: Inbetweening from Two Single-View Images to 4D Generation [63.68181731564576]
Inbetween-2-4Dという,2枚のシングルビュー画像を補間する4次元(つまり3D + モーション)の生成問題を提案する。
テキストや1つの画像のみからの映像/4D生成とは対照的に、補間タスクはより正確なモーション制御を利用して生成をよりよく制約することができる。
論文 参考訳（メタデータ） (2025-04-11T09:01:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。