論文の概要: CineCap: Structured Reasoning with Spatio-Temporal Anchors for Cinematographic Video Captioning

• arxiv url: http://arxiv.org/abs/2606.24636v1
• Date: Tue, 23 Jun 2026 14:29:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 22:16:49.016814
• Title: CineCap: Structured Reasoning with Spatio-Temporal Anchors for Cinematographic Video Captioning
• Title（参考訳）: CineCap:シネマトグラフィービデオキャプションのための時空間アンカーによる構造的推論
• Authors: Xinyu Mao, Yuhui Zeng, Xiaokun Liu, Wenyu Qin, Meng Wang, Xin Tao, Pengfei Wan, Xiaohan Xing, Max Meng,
• Abstract要約: シネマトグラフィーキャプションは、カメラ、ショットサイズ、深度、組成、撮影角度といった映画言語の概念を用いて、ビデオがどのように撮影されるかを記述することを目的としている。 この機能は、微細なビデオ理解と制御可能な映画品質ビデオ生成において重要であるが、既存のマルチモーダルな大規模言語モデルでは未探索である。 CineCapは、構造化推論を原子時間アンカーと組み合わせたフレームワークであり、強化学習を包括性、精度、カバレッジの報酬で行う。
• 参考スコア（独自算出の注目度）: 17.457944487441697
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Cinematographic captioning aims to describe how a video is filmed using professional film-language concepts such as camera movement, shot size, depth of field, composition, and shooting angle. This capability is important for fine-grained video understanding and controllable movie-quality video generation, yet remains underexplored in existing multimodal large language models. Unlike question-answering-based evaluation of cinematic understanding, cinematographic captioning requires a unified open-form description over multiple cinematographic dimensions. This task is challenging for two main reasons: the model must infer professional cinematographic concepts from subtle visual evidence, and it must generate captions that are both comprehensive and accurate. Accordingly, we propose CineCap, a framework that combines structured reasoning with spatio-temporal anchors and reinforcement learning with comprehensiveness, accuracy, and gated coverage rewards. The former grounds professional cinematographic descriptions in explicit visual evidence and organizes them into compact atomic reasoning for supervised fine-tuning, while the latter improves the balance between descriptive completeness and factual correctness. In addition, we construct CineCap Bench, a benchmark of 472 manually annotated video-caption pairs for systematic evaluation. Extensive experiments show that CineCap consistently outperforms strong proprietary and open-source baselines, establishing a new state of the art for cinematographic captioning. The code, model checkpoint, and benchmark are publicly available in https://github.com/Hectormxy/CineCap.git.
• Abstract（参考訳）: シネマトグラフィーキャプションは、カメラの動き、撮影サイズ、深度、組成、撮影角度といったプロの映画言語の概念を用いて、ビデオがどのように撮影されるかを記述することを目的としている。 この機能は、微細なビデオ理解と制御可能な映画品質ビデオ生成において重要であるが、既存のマルチモーダルな大規模言語モデルでは未探索である。 疑問答えに基づく映画理解の評価とは異なり、シネマトグラフィーキャプションは複数のシネマトグラフィー次元に統一されたオープンフォーム記述を必要とする。 モデルは、微妙な視覚的証拠からプロの撮影コンセプトを推論し、包括的で正確なキャプションを生成する必要がある。 そこで我々は,構造化推論と時空間アンカー,強化学習と包括性,精度,ゲートカバレッジ報酬を組み合わせたフレームワークであるCineCapを提案する。 前者は、はっきりとした視覚的証拠のプロの撮影描写を根拠に、それらを監督された微調整のためのコンパクトな原子推論に整理し、後者は説明的完全性と事実的正しさのバランスを改善する。 さらに,CineCap Benchを手動でアノテーション付きビデオキャプチャペアのベンチマークで構築し,システム評価を行った。 大規模な実験によると、CineCapは一貫してプロプライエタリでオープンソースのベースラインを上回り、撮影キャプションのための新しい最先端技術を確立している。 コード、モデルチェックポイント、ベンチマークはhttps://github.com/Hectormxy/CineCap.git.comで公開されている。

関連論文リスト

• Building a Precise Video Language with Human-AI Oversight [63.57293532815199]
  CHAI (Critique-based Human-AI Oversight) は、訓練された専門家がモデル言語のプレキャプションを改良されたポストキャプションに批判し、修正するフレームワークである。 我々の枠組みは、我々の監視フレームワークによって保証された正確さ、リコール、建設性の批判的品質が、下流のパフォーマンスを直接支配していることを示している。
  論文  参考訳（メタデータ） (2026-04-22T09:01:04Z)
• ShotBench: Expert-Level Cinematic Understanding in Vision-Language Models [87.43784424444128]
  映画言語理解に特化したベンチマークであるShotBenchを紹介する。 画像とビデオクリップから3.5k以上の専門家によるQAペアを収録し、200本以上の称賛された(オスカー賞にノミネートされた)映画から細心の注意を払ってキュレートしている。 ShotBench上でのビジョン・ランゲージ・モデル24件の評価では,特に細粒度の視覚的手がかりや複雑な空間的推論に苦慮している。
  論文  参考訳（メタデータ） (2025-06-26T15:09:21Z)
• CineTechBench: A Benchmark for Cinematographic Technique Understanding and Generation [22.88243961225531]
  CineTechBenchは、調味された撮影の専門家による正確な手動アノテーションに基づいて作られたベンチマークである。 私たちのベンチマークでは、撮影スケール、ショットアングル、コンポジション、カメラの動き、照明、色、焦点距離の7つの重要な側面をカバーしています。 生成タスクでは,映像の質の高いカメラの動きを再現するための高度な映像生成モデルの評価を行う。
  論文  参考訳（メタデータ） (2025-05-21T06:02:39Z)
• MoviePuzzle: Visual Narrative Reasoning through Multimodal Order Learning [47.59806301773499]
  MoviePuzzleは、ビジュアルな物語の推論と全体論的映画理解をターゲットとする、新しい挑戦である。 本研究では,映像モデルの時間的特徴学習と構造学習を増幅するMoviePuzzleタスクを提案する。 提案手法はMoviePuzzleベンチマークの既存の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2023-06-04T03:51:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。