論文の概要: Thinking with Cameras: Active Visual Reasoning via Dynamic Viewpoint Control for Surveillance Video Understanding
- arxiv url: http://arxiv.org/abs/2609.06475v1
- Date: Sun, 06 Sep 2026 08:48:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-12 05:36:05.692715
- Title: Thinking with Cameras: Active Visual Reasoning via Dynamic Viewpoint Control for Surveillance Video Understanding
- Title（参考訳）: カメラで考える:監視ビデオ理解のための動的視点制御によるアクティブビジュアル推論
- Abstract要約: 我々はカメラで考えるための新しいフレームワークCamVLMを紹介した。
CamVLMにより、LVLMは動的視点制御により視覚的証拠を積極的に取得できる。
データセット、モデル、コードはhttps://github.com/xiaozhang79/CamVLM.comで公開されます。
- 参考スコア（独自算出の注目度）: 27.715058333490447
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large vision-language models (LVLMs) have recently achieved remarkable progress in general-purpose video understanding. However, their application to surveillance videos remains challenging due to the lack of large-scale domain-specific datasets and the limitation of passive observation from fixed viewpoints. In surveillance scenarios, critical visual evidence can be easily missed when targets are distant, small, occluded, or move beyond the current camera view. In this work, we introduce CamVLM, a new framework for Thinking with Cameras, which enables LVLMs to actively acquire visual evidence through dynamic viewpoint control rather than passively analyzing fixed video streams. We first construct CCTV-Anomaly, a large-scale surveillance video understanding dataset containing 14,459 videos across 10 anomaly categories, with detailed captions and event annotations. We further formulate viewpoint control as an active visual perception problem and build CamTrack-53K, an object-centric viewpoint trajectory dataset for learning camera actions. Moreover, we propose a reinforcement learning based viewpoint policy optimization framework, which models camera control as a sequential decision-making process and learns long-horizon observation strategies beyond supervised trajectory imitation. Extensive experiments demonstrate that CamVLM achieves state-of-the-art performance under both passive observation and dynamic viewpoint settings, validating the effectiveness of active camera-based reasoning for surveillance video understanding. Our datasets, model, and code will be available at https://github.com/xiaozhang79/CamVLM .
- Abstract（参考訳）: 大規模視覚言語モデル(LVLM)は近年,汎用ビデオ理解において顕著な進歩を遂げている。
しかし、大規模なドメイン固有データセットの欠如や、固定視点からの受動的観察の制限により、監視ビデオへの適用は依然として困難である。
監視シナリオでは、ターゲットが遠く、小さい、隠されている、あるいは現在のカメラビューを超えて移動しているときに、重要な視覚的証拠を見逃しがちである。
本研究では,カメラを用いた思考のための新しいフレームワークであるCamVLMを紹介し,固定映像ストリームを受動的に解析するのではなく,動的視点制御により視覚的エビデンスを積極的に取得することを可能にする。
CCTV-Anomalyは10のカテゴリーにわたる14,459の動画を含む大規模監視ビデオ理解データセットであり,詳細なキャプションとイベントアノテーションを備えている。
我々はまた、視点制御をアクティブな視覚的認識問題として定式化し、カメラアクションを学習するためのオブジェクト中心の視点軌跡データセットCamTrack-53Kを構築した。
さらに、カメラ制御を逐次意思決定プロセスとしてモデル化し、教師付き軌道模倣以上の長期観測戦略を学習する強化学習に基づく視点ポリシー最適化フレームワークを提案する。
広汎な実験により、CamVLMは受動的視点設定と動的視点設定の両方で最先端のパフォーマンスを達成し、監視ビデオ理解のためのアクティブカメラベースの推論の有効性を検証した。
私たちのデータセット、モデル、コードはhttps://github.com/xiaozhang79/CamVLMで公開されます。
関連論文リスト
- LIME: Learning Intent-aware Camera Motion from Egocentric Video [56.023644847494836]
自動回帰観測ゲイン出力と連続的なフローマッチングポーズヘッドを組み合わせた視覚言語カメラモーションジェネレータを提案する。
LIMEは、人間の受動的ビデオからカメラのポーズを積極的に選択し、通常の自我中心の録音を意図認識のアクティブな知覚の監督に変えることができる。
論文 参考訳（メタデータ） (2026-07-02T16:48:43Z) - Warp-as-History: Generalizable Camera-Controlled Video Generation from One Training Video [19.675672131137382]
本稿では,カメラによるワープをカメラワープした擬似歴史に変換するシンプルなインタフェースを提案する。
我々は,その位置エンコーディングと対象フレームの識別とを整合させ,正確な情報源観測を行なわずに歪んだ歴史トークンを除去する。
本手法は,テスト時間最適化やターゲット映像適応を伴わずに,カメラの付着性,視覚的品質,動きのダイナミクスを改善する。
論文 参考訳（メタデータ） (2026-05-14T17:58:26Z) - Beyond Inpainting: Unleash 3D Understanding for Precise Camera-Controlled Video Generation [21.084121261693365]
正確なカメラ制御性を備えたビデオ再レンダリングフレームワークであるDepthDirectorを提案する。
本手法は, カメラ制御ガイダンスとして, 鮮明な3次元映像から深度映像を活用することにより, 新規なカメラ軌道下での入力映像のダイナミックなシーンを忠実に再現することができる。
論文 参考訳（メタデータ） (2026-01-15T09:26:45Z) - From Sight to Insight: Unleashing Eye-Tracking in Weakly Supervised Video Salient Object Detection [60.11169426478452]
本稿では,弱い監督下での健全な物体の検出を支援するために,固定情報を導入することを目的とする。
特徴学習過程における位置と意味のガイダンスを提供するために,位置と意味の埋め込み (PSE) モジュールを提案する。
Intra-Inter Mixed Contrastive (MCII)モデルは、弱い監督下での時間的モデリング能力を改善する。
論文 参考訳（メタデータ） (2025-06-30T05:01:40Z) - Object Concepts Emerge from Motion [24.73461163778215]
教師なしの方法でオブジェクト中心の視覚表現を学習するための生物学的にインスパイアされたフレームワークを提案する。
我々の重要な洞察は、運動境界がオブジェクトレベルのグルーピングの強いシグナルとなることである。
我々のフレームワークは完全にラベルフリーで、カメラキャリブレーションに頼らず、大規模な非構造化ビデオデータにスケーラブルである。
論文 参考訳（メタデータ） (2025-05-27T18:09:02Z) - Towards Understanding Camera Motions in Any Video [89.97247162415158]
我々は、カメラモーション理解の評価と改善を目的とした大規模なデータセットとベンチマークであるCameraBenchを紹介する。
CameraBenchは、厳格な品質管理プロセスを通じて専門家によって注釈付けされた3,000の多様なインターネットビデオで構成されている。
私たちの貢献の1つは、撮影者との共同で設計されたカメラモーションプリミティブの分類である。
論文 参考訳（メタデータ） (2025-04-21T18:34:57Z) - C-Drag: Chain-of-Thought Driven Motion Controller for Video Generation [81.4106601222722]
トラジェクティブに基づくモーションコントロールは、制御可能なビデオ生成のための直感的で効率的なアプローチとして登場した。
我々はC-Dragという制御可能なビデオ生成のためのチェーン・オブ・ソート型モーションコントローラを提案する。
本手法は,物体認識モジュールとChain-of-Thoughtベースの動作推論モジュールを含む。
論文 参考訳（メタデータ） (2025-02-27T08:21:03Z) - Cavia: Camera-controllable Multi-view Video Diffusion with View-Integrated Attention [62.2447324481159]
Caviaはカメラ制御可能なマルチビュービデオ生成のための新しいフレームワークである。
我々のフレームワークは、空間的および時間的注意モジュールを拡張し、視点と時間的一貫性を改善します。
Caviaは、ユーザーが物体の動きを取得しながら、異なるカメラの動きを特定できる最初の製品だ。
論文 参考訳（メタデータ） (2024-10-14T17:46:32Z) - Imitation-Based Active Camera Control with Deep Convolutional Neural
Network [4.09920839425892]
本論文では,アクティブビジュアルモニタリングを模擬学習問題として構成し,深層学習を用いて教師付きで解く。
深い畳み込みニューラルネットワークは、複数のターゲットに追従するためにカメラを制御するために必要な処理パイプライン全体を学習するカメラコントローラとしてエンドツーエンドで訓練される。
実験結果から,提案手法は様々な条件に頑健であり,モニタリング性能の向上が期待できることがわかった。
論文 参考訳（メタデータ） (2020-12-11T15:37:33Z) - 4D Visualization of Dynamic Events from Unconstrained Multi-View Videos [77.48430951972928]
ハンドヘルド複数カメラで撮影したビデオから4次元の時空間で動的事象を可視化するためのデータ駆動型アプローチを提案する。
このアプローチの鍵となるのは、イベントの静的および動的側面を構成するために、シーン固有の自己教師型ニューラルネットワークを使用することです。
このモデルでは,(1)時刻の凍結と視界探索,(2)視点の凍結と時間移動,(3)時間と視界の同時変更を行う仮想カメラを作成することができる。
論文 参考訳（メタデータ） (2020-05-27T17:57:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。