論文の概要: CineCap: Structured Reasoning with Spatio-Temporal Anchors for Cinematographic Video Captioning
- arxiv url: http://arxiv.org/abs/2606.24636v1
- Date: Tue, 23 Jun 2026 14:29:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-24 22:16:49.016814
- Title: CineCap: Structured Reasoning with Spatio-Temporal Anchors for Cinematographic Video Captioning
- Title（参考訳）: CineCap:シネマトグラフィービデオキャプションのための時空間アンカーによる構造的推論
- Abstract要約: シネマトグラフィーキャプションは、カメラ、ショットサイズ、深度、組成、撮影角度といった映画言語の概念を用いて、ビデオがどのように撮影されるかを記述することを目的としている。
この機能は、微細なビデオ理解と制御可能な映画品質ビデオ生成において重要であるが、既存のマルチモーダルな大規模言語モデルでは未探索である。
CineCapは、構造化推論を原子時間アンカーと組み合わせたフレームワークであり、強化学習を包括性、精度、カバレッジの報酬で行う。
- 参考スコア（独自算出の注目度）: 17.457944487441697
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Cinematographic captioning aims to describe how a video is filmed using professional film-language concepts such as camera movement, shot size, depth of field, composition, and shooting angle. This capability is important for fine-grained video understanding and controllable movie-quality video generation, yet remains underexplored in existing multimodal large language models. Unlike question-answering-based evaluation of cinematic understanding, cinematographic captioning requires a unified open-form description over multiple cinematographic dimensions. This task is challenging for two main reasons: the model must infer professional cinematographic concepts from subtle visual evidence, and it must generate captions that are both comprehensive and accurate. Accordingly, we propose CineCap, a framework that combines structured reasoning with spatio-temporal anchors and reinforcement learning with comprehensiveness, accuracy, and gated coverage rewards. The former grounds professional cinematographic descriptions in explicit visual evidence and organizes them into compact atomic reasoning for supervised fine-tuning, while the latter improves the balance between descriptive completeness and factual correctness. In addition, we construct CineCap Bench, a benchmark of 472 manually annotated video-caption pairs for systematic evaluation. Extensive experiments show that CineCap consistently outperforms strong proprietary and open-source baselines, establishing a new state of the art for cinematographic captioning. The code, model checkpoint, and benchmark are publicly available in https://github.com/Hectormxy/CineCap.git.
- Abstract（参考訳）: シネマトグラフィーキャプションは、カメラの動き、撮影サイズ、深度、組成、撮影角度といったプロの映画言語の概念を用いて、ビデオがどのように撮影されるかを記述することを目的としている。
この機能は、微細なビデオ理解と制御可能な映画品質ビデオ生成において重要であるが、既存のマルチモーダルな大規模言語モデルでは未探索である。
疑問答えに基づく映画理解の評価とは異なり、シネマトグラフィーキャプションは複数のシネマトグラフィー次元に統一されたオープンフォーム記述を必要とする。
モデルは、微妙な視覚的証拠からプロの撮影コンセプトを推論し、包括的で正確なキャプションを生成する必要がある。
そこで我々は,構造化推論と時空間アンカー,強化学習と包括性,精度,ゲートカバレッジ報酬を組み合わせたフレームワークであるCineCapを提案する。
前者は、はっきりとした視覚的証拠のプロの撮影描写を根拠に、それらを監督された微調整のためのコンパクトな原子推論に整理し、後者は説明的完全性と事実的正しさのバランスを改善する。
さらに,CineCap Benchを手動でアノテーション付きビデオキャプチャペアのベンチマークで構築し,システム評価を行った。
大規模な実験によると、CineCapは一貫してプロプライエタリでオープンソースのベースラインを上回り、撮影キャプションのための新しい最先端技術を確立している。
コード、モデルチェックポイント、ベンチマークはhttps://github.com/Hectormxy/CineCap.git.comで公開されている。
関連論文リスト
- Building a Precise Video Language with Human-AI Oversight [63.57293532815199]
CHAI (Critique-based Human-AI Oversight) は、訓練された専門家がモデル言語のプレキャプションを改良されたポストキャプションに批判し、修正するフレームワークである。
我々の枠組みは、我々の監視フレームワークによって保証された正確さ、リコール、建設性の批判的品質が、下流のパフォーマンスを直接支配していることを示している。
論文 参考訳（メタデータ） (2026-04-22T09:01:04Z) - CutClaw: Agentic Hours-Long Video Editing via Music Synchronization [96.62825277039117]
CutClawは、数時間の生の映像を意味のある短いビデオに編集するために設計された、自律的なマルチエージェントフレームワークだ。
同期音楽の動画を制作し、指示と視覚的に魅力的な外観が続く。
われわれは、CutClawが高品質なリズムアライメントビデオを生成する際に、最先端のベースラインを大幅に上回っていることを示すための詳細な実験を行っている。
論文 参考訳（メタデータ） (2026-03-31T12:25:53Z) - Captain Cinema: Towards Short Movie Generation [66.22442526026215]
我々は、短編映画生成のための世代フレームワークであるキャプテン・シネマを提示する。
我々のアプローチは、物語全体を概説する一連の合成を生成する。
我々のモデルは、インターリーブされたデータペアからなる特別にキュレートされたデータセットで訓練されている。
論文 参考訳（メタデータ） (2025-07-24T17:59:56Z) - ShotBench: Expert-Level Cinematic Understanding in Vision-Language Models [87.43784424444128]
映画言語理解に特化したベンチマークであるShotBenchを紹介する。
画像とビデオクリップから3.5k以上の専門家によるQAペアを収録し、200本以上の称賛された(オスカー賞にノミネートされた)映画から細心の注意を払ってキュレートしている。
ShotBench上でのビジョン・ランゲージ・モデル24件の評価では,特に細粒度の視覚的手がかりや複雑な空間的推論に苦慮している。
論文 参考訳（メタデータ） (2025-06-26T15:09:21Z) - CineTechBench: A Benchmark for Cinematographic Technique Understanding and Generation [22.88243961225531]
CineTechBenchは、調味された撮影の専門家による正確な手動アノテーションに基づいて作られたベンチマークである。
私たちのベンチマークでは、撮影スケール、ショットアングル、コンポジション、カメラの動き、照明、色、焦点距離の7つの重要な側面をカバーしています。
生成タスクでは,映像の質の高いカメラの動きを再現するための高度な映像生成モデルの評価を行う。
論文 参考訳（メタデータ） (2025-05-21T06:02:39Z) - Progress-Aware Video Frame Captioning [55.23366888264651]
本稿では,アクションシーケンス内の微細な時間的ダイナミクスをキャプチャするキャプションモデルであるProgressCaptionerを提案する。
我々は、トレーニングをサポートするFrameCapデータセットと、キャプションの品質を評価するFrameCapEvalベンチマークを開発する。
結果は、ProgressCaptionerが主要なキャプションモデルを大幅に上回っていることを示している。
論文 参考訳（メタデータ） (2024-12-03T01:21:28Z) - AuroraCap: Efficient, Performant Video Detailed Captioning and a New Benchmark [89.73538448786405]
大規模なマルチモーダルモデルに基づくビデオキャプタであるAuroraCapを提案する。
トークンマージ戦略を実装し、入力されたビジュアルトークンの数を減らす。
AuroraCapは、様々なビデオおよび画像キャプションベンチマークで優れたパフォーマンスを示している。
論文 参考訳（メタデータ） (2024-10-04T00:13:54Z) - MoviePuzzle: Visual Narrative Reasoning through Multimodal Order Learning [47.59806301773499]
MoviePuzzleは、ビジュアルな物語の推論と全体論的映画理解をターゲットとする、新しい挑戦である。
本研究では,映像モデルの時間的特徴学習と構造学習を増幅するMoviePuzzleタスクを提案する。
提案手法はMoviePuzzleベンチマークの既存の最先端手法よりも優れている。
論文 参考訳（メタデータ） (2023-06-04T03:51:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。