論文の概要: When Left Is Right? Camera-Motion Understanding beyond Screen

• arxiv url: http://arxiv.org/abs/2610.17242v1
• Date: Mon, 12 Oct 2026 18:09:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 02:36:52.994467
• Title: When Left Is Right? Camera-Motion Understanding beyond Screen
• Title（参考訳）: 左が正しいのはいつ? カメラの動きが画面を超えて理解される
• Abstract要約: CameraVLMは、動き状態表現と状態言語アライメントをペアリングする。 カメラトークンは、カメラが画面からどのように動くかをキャプチャし、フロートークンは、被写体と背景が画面上でどのように動くかをキャプチャする。
• 参考スコア（独自算出の注目度）: 13.625020432446524
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Can a vision-language model tell left from right? Modern VLMs solve visual puzzles and follow hour-long videos, yet when asked whether the camera moved left or right, most do no better than a coin flip. Adding camera-motion data or geometric representations has been tried, separately, and neither closes the gap. We argue that camera-motion understanding needs two conditions at once: the representation must couple off-screen camera motion with on-screen flow dynamics, and it must be interpreted by the language model rather than trained as a standalone pose or depth estimator. We propose CameraVLM, which pairs a motion-state representation with state-language alignment. Camera tokens capture how the camera moves off screen, flow tokens capture how the subject and background move on screen, and a two-stage training strategy keeps language in the loop so that both are learned together with camera-motion semantics. With only 9B parameters, CameraVLM outperforms all open-source and camera-motion-specific models by a wide margin across three benchmarks and more than 20 baselines, and matches or surpasses GPT-6 Astra as well as human viewers in a 48-participant study. Project page: https://3dagentworld.github.io/CameraVLM/
• Abstract（参考訳）: 視覚言語モデルでは、右から左に見えますか? 現代のVLMは視覚パズルを解き、何時間ものビデオをフォローするが、カメラが左か右かを尋ねると、ほとんどがコインフリップに勝っている。 カメラモーションデータや幾何学的表現の追加は別々に試みられ、どちらもギャップを埋めるものではない。 我々は、カメラモーション理解には2つの条件が必要であると主張している。この表現は、オフスクリーンカメラの動きとオンスクリーンフローのダイナミックスを結合しなければならないし、スタンドアロンのポーズや深さ推定器として訓練されるのではなく、言語モデルで解釈する必要がある。 動作状態表現と状態言語アライメントを組み合わせたCameraVLMを提案する。 カメラトークンは、カメラが画面からどのように動くかをキャプチャし、フロートークンは、被写体と背景が画面上でどのように動くかをキャプチャする。 たった9Bパラメータだけで、CameraVLMは3つのベンチマークと20以上のベースラインですべてのオープンソースモデルとカメラモーション固有のモデルを上回っ、48人の参加者を対象にした調査で、GPT-6 Astraにマッチまたは超えている。 プロジェクトページ:https://3dagentworld.github.io/CameraVLM/

関連論文リスト

• Temporally Grounded Compositional Camera Motion Understanding via Geometric Knowledge Distillation [23.4390970357269]
  CamChoreoは、専門家が注釈を付けた時間セグメントを持つ4,229の実際のシングルショットクリップのベンチマークである。 CamDistillは、トレーニング中に同じ幾何学的知識を軽量カメラトークンに蒸留し、推論時に3Dモデルを削除する。
  論文  参考訳（メタデータ） (2026-08-11T14:00:02Z)
• From Fixed to Free Cameras: Calibration-Free View-Robust Vision-Language-Action Model [72.8641426724502]
  カメラ中心型VLA(CamVLA)は、カメラ幾何学から制御を分離する新しいVLAモデルである。 CamVLAは、さまざまな見当たらない視点での成功率を継続的に改善する。
  論文  参考訳（メタデータ） (2026-07-06T17:59:59Z)
• Natural Language Camera Movement Understanding [25.318138436729452]
  独立研究課題として自然言語カメラの動作理解を確立した。 本稿では,2段階の撮影分類と,実写ビデオと合成ビデオの両方を特徴とする広範囲な原子性ベンチマークを紹介する。 我々の微調整されたVLM-8Bは、ベンチマークのリアルビデオと合成ビデオでそれぞれ10%、ジェミニ3.1 Proを11%上回っている。
  論文  参考訳（メタデータ） (2026-07-03T07:33:28Z)
• LIME: Learning Intent-aware Camera Motion from Egocentric Video [56.023644847494836]
  自動回帰観測ゲイン出力と連続的なフローマッチングポーズヘッドを組み合わせた視覚言語カメラモーションジェネレータを提案する。 LIMEは、人間の受動的ビデオからカメラのポーズを積極的に選択し、通常の自我中心の録音を意図認識のアクティブな知覚の監督に変えることができる。
  論文  参考訳（メタデータ） (2026-07-02T16:48:43Z)
• Towards Understanding Camera Motions in Any Video [89.97247162415158]
  我々は、カメラモーション理解の評価と改善を目的とした大規模なデータセットとベンチマークであるCameraBenchを紹介する。 CameraBenchは、厳格な品質管理プロセスを通じて専門家によって注釈付けされた3,000の多様なインターネットビデオで構成されている。 私たちの貢献の1つは、撮影者との共同で設計されたカメラモーションプリミティブの分類である。
  論文  参考訳（メタデータ） (2025-04-21T18:34:57Z)
• CameraCtrl: Enabling Camera Control for Text-to-Video Generation [86.36135895375425]
  ユーザーがコンテンツをより正確に作成し、編集できるようにするため、制御性はビデオ生成において重要な役割を果たす。 しかし、既存のモデルは、より深い物語のニュアンスを表現するための映画言語として機能するカメラポーズの制御を欠いている。 我々は、ビデオ拡散モデルの正確なカメラポーズ制御を可能にするCameraCtrlを紹介する。
  論文  参考訳（メタデータ） (2024-04-02T16:52:41Z)
• Learning Neural Representation of Camera Pose with Matrix Representation of Pose Shift via View Synthesis [105.37072293076767]
  カメラポーズを効果的に表現する方法は、3Dコンピュータビジョンの重要な問題です。 カメラポーズと3Dシーンのニューラル表現を学習するためのアプローチを提案する。 合成および実データに対する広範な実験を行う。
  論文  参考訳（メタデータ） (2021-04-04T00:40:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。