論文の概要: CodecCap: High-Fidelity Codec-Inspired Residual Modeling for Dense Video Captioning

• arxiv url: http://arxiv.org/abs/2605.26967v1
• Date: Tue, 26 May 2026 12:53:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-27 17:51:42.165933
• Title: CodecCap: High-Fidelity Codec-Inspired Residual Modeling for Dense Video Captioning
• Title（参考訳）: CodecCap:高精細度コーデックにインスパイアされた高精細度ビデオキャプションのための残留モデリング
• Authors: Zihan Lin, Songhe Deng, Shuwei He, Danxiang Zhu, Dan Zhang, Yishu Lei, Xianlong Luo, Shikun Feng, Rui Liu,
• Abstract要約: CodecCapは高忠実度高密度ビデオキャプションのためのフレームワークである。 キーフレームは、安定した視覚コンテキストを徹底的にエンコードし、残りのキャプションは、時間的にのみ局所的なアクション、動き、変化をキャプチャする。 VidCapQAの結果は、強いVLMによって直接生成されるキャプションは、多くの視覚的詳細を見逃していることを示している。
• 参考スコア（独自算出の注目度）: 19.35048550852575
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing video captioning methods struggle to balance visual fidelity and redundancy: holistic captions are compact but lose fine-grained evidence, whereas segment-wise captions improve coverage but introduce heavy redundancy. We propose CodecCap, a codec-inspired framework for high-fidelity dense video captioning. Analogous to video codecs, CodecCap represents videos using keyframe and residual captions. Keyframe captions exhaustively encode stable visual context, while residual captions capture temporally only localized actions, motions and changes. This effectively preserves fine-grained visual evidence while reducing redundant descriptions. To quantify the fidelity of captions, we introduce VidCapQA, a caption-then-QA benchmark with 1,000 questions across 14 capability dimensions. Results on VidCapQA show that captions directly generated by strong VLMs still miss many visual details, highlighting caption representation as a critical bottleneck. Experiments show that CodecCap significantly surpasses direct captioning with the same underlying VLMs, suggesting keyframe-residual captioning a way for high-fidelity video-language supervision. We further use CodecCap to construct CodecVDC-100K, a large-scale dense captioning dataset with anchor, residual, scene-level, and video-level supervision.
• Abstract（参考訳）: 既存のビデオキャプション法は、視覚的忠実性と冗長性のバランスをとるのに苦労している: 全体的キャプションはコンパクトだが、細かな証拠が失われる一方、セグメントワイドキャプションはカバレッジを向上させるが、重い冗長性をもたらす。 我々はコーデックにインスパイアされた高忠実度ビデオキャプションのためのフレームワークであるCodecCapを提案する。 CodecCapはビデオコーデックと類似し、キーフレームと残留キャプションを使ったビデオを表す。 キーフレームキャプションは、安定した視覚コンテキストを完全にエンコードし、残りのキャプションは、時間的にのみ局所化されたアクション、動き、変化をキャプチャする。 これは、冗長な記述を減らしながら、きめ細かい視覚的証拠を効果的に保存する。 キャプションの忠実度を定量化するために,14のキャプション次元に1,000の質問があるキャプション-then-QAベンチマークであるVidCapQAを紹介する。 VidCapQAの結果、強力なVLMによって直接生成されるキャプションは、多くの視覚的詳細を見逃し、重要なボトルネックとしてキャプション表現を強調している。 実験の結果、CodecCapはVLMをベースとした直接キャプションをはるかに上回っており、キーフレームの残差キャプションが高忠実なビデオ言語管理の手段であることを示唆している。 我々はさらにCodecCapを使用して、アンカー、残差、シーンレベル、ビデオレベルの監視を備えた大規模で高密度なキャプションデータセットであるCodecVDC-100Kを構築している。

関連論文リスト

• SGCap: Decoding Semantic Group for Zero-shot Video Captioning [14.484825416367338]
  ゼロショットビデオキャプションは、ビデオテキストペアのモデルをトレーニングすることなく、ビデオを記述するための文を生成することを目的としている。 ゼロショットビデオキャプションのためのセマンティックグループキャプション(SGCap)手法を提案する。
  論文  参考訳（メタデータ） (2025-08-02T09:05:45Z)
• ScaleCap: Inference-Time Scalable Image Captioning via Dual-Modality Debiasing [128.8346376825612]
  高品質画像キャプションの主な課題は、LVLMの固有のバイアスにある。 本稿では,キャプションを継続的に強化・校正し,推論予算を増大させる,スケーラブルなデバイアス付きキャプション戦略を提案する。 450KイメージにScaleCapをアノテートし、LVLMプレトレーニングに使用することで、11の広く使用されているベンチマークで一貫したパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2025-06-24T17:59:55Z)
• Progress-Aware Video Frame Captioning [55.23366888264651]
  本稿では,アクションシーケンス内の微細な時間的ダイナミクスをキャプチャするキャプションモデルであるProgressCaptionerを提案する。 我々は、トレーニングをサポートするFrameCapデータセットと、キャプションの品質を評価するFrameCapEvalベンチマークを開発する。 結果は、ProgressCaptionerが主要なキャプションモデルを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2024-12-03T01:21:28Z)
• AuroraCap: Efficient, Performant Video Detailed Captioning and a New Benchmark [89.73538448786405]
  大規模なマルチモーダルモデルに基づくビデオキャプタであるAuroraCapを提案する。 トークンマージ戦略を実装し、入力されたビジュアルトークンの数を減らす。 AuroraCapは、様々なビデオおよび画像キャプションベンチマークで優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-10-04T00:13:54Z)
• DeCap: Decoding CLIP Latents for Zero-Shot Captioning via Text-Only Training [73.74291217502928]
  ゼロショットキャプションのための単純なフレームワークであるDeCapを提案する。 軽量な視覚認識言語デコーダを提案する。 視覚的な埋め込みはCLIPテキスト埋め込み空間に投影するが、投影された埋め込みは視覚的な入力の情報を保持する。
  論文  参考訳（メタデータ） (2023-03-06T11:02:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。