論文の概要: CodeCap-Bench: Can Code Serve as a Good Video Caption?

• arxiv url: http://arxiv.org/abs/2610.37341v1
• Date: Tue, 27 Oct 2026 14:47:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.663397
• Title: CodeCap-Bench: Can Code Serve as a Good Video Caption?
• Title（参考訳）: CodeCap-Bench: Code Serveはビデオのキャプションとして使えるか?
• Abstract要約: Code as Video Caption(コード・アズ・ビデオ・キャプション)は、実行可能プログラムが視覚的コンテンツの補完的な表現として機能するパラダイムである。 ダウンストリーム質問応答とビデオ再構成タスクにおいて,コードキャプションと自然言語キャプションを比較した。 その結果,コードキャプションの精度は向上し,再現精度も向上した。
• 参考スコア（独自算出の注目度）: 41.9160174737027
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video captioning aims to preserve visual information through compact descriptions, predominantly using natural language. However, precisely expressing fine-grained spatial structures and temporal dynamics in natural language often leads to lengthy and potentially ambiguous descriptions. In this work, we explore Code as Video Caption, a paradigm where executable programs serve as a complementary representation of visual content through graphical primitives, layout rules, and functions of time. To examine whether code captions effectively preserve video information, we compare them with natural language captions on downstream question answering and video reconstruction tasks. Our results show that code captions achieve superior reasoning accuracy and reconstruction fidelity. Despite these advantages, realizing the potential of code captioning depends on whether current multimodal large language models (MLLMs) can generate faithful code captions. To systematically assess this capability, we introduce CodeCap-Bench, which comprises 323 videos spanning five categories of structured 2D content, along with fine-grained annotations and a multi-level evaluation framework. Extensive experiments reveal that while leading proprietary MLLMs demonstrate promising code captioning capabilities, they still struggle to faithfully capture complex temporal dynamics, with open-source models lagging substantially behind.
• Abstract（参考訳）: ビデオキャプションは、視覚情報をコンパクトな記述によって保存することを目的としており、主に自然言語を用いている。 しかし、自然言語の微細な空間構造と時間力学を正確に表現することは、しばしば長く曖昧な記述につながる。 本稿では,ビジュアルコンテンツの補完的な表現として,グラフィカルプリミティブやレイアウトルール,時間の関数などを通じて実行可能なプログラムが機能するパラダイムであるCode as Video Captionについて検討する。 コードキャプションが映像情報を効果的に保存するかどうかを調べるために,下流の質問応答やビデオ再構成作業における自然言語キャプションと比較した。 その結果,コードキャプションの精度は向上し,再現精度も向上した。 これらの利点にもかかわらず、コードキャプションの可能性を実現するには、現在のマルチモーダルな大規模言語モデル(MLLM)が忠実なコードキャプションを生成するかどうかに依存する。 この機能を体系的に評価するために,構造化された2Dコンテンツの5つのカテゴリにまたがる323のビデオと,詳細なアノテーションとマルチレベル評価フレームワークを含むCodeCap-Benchを紹介した。 大規模な実験によると、プロプライエタリなMLLMが有望なコードキャプション機能を示す一方で、オープンソースモデルは大幅に遅れているため、複雑な時間的ダイナミクスを忠実に捉えるのに苦労している。

関連論文リスト

• CapRL++: Unified Reinforcement Learning with Verifiable Rewards for Dense Image and Video Captioning [86.9494763617273]
  本稿では,Captioning Reinforcement Learning++ (CapRL++)を紹介した。 本稿では,CapRL++が高密度キャプション品質を向上し,空間的・時間的理解などのタスクにおけるキャプションベースの事前訓練を強化していることを示す。
  論文  参考訳（メタデータ） (2026-06-08T12:09:20Z)
• Toward Scalable Video Narration: A Training-free Approach Using Multimodal Large Language Models [10.585096070697348]
  本稿では,ビデオキャプションを高密度に生成する新しいトレーニングフリーパイプラインであるVideoNarratorを紹介する。 VideoNarratorは、既製のMLLMとビジュアル言語モデルがキャプションジェネレータとして機能する柔軟なパイプラインを活用することで、課題に対処する。 実験の結果,これらの成分の相乗的相互作用はビデオナレーションの品質と精度を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2025-07-22T22:16:37Z)
• Controllable Hybrid Captioner for Improved Long-form Video Understanding [1.2035789357951119]
  ビデオデータは極めて密度が高く、高次元である。 テキストベースの動画コンテンツの要約は、生よりはるかにコンパクトな方法でコンテンツを表現する方法を提供する。 静的なシーン記述でメモリを豊かにするビジョン言語モデル(VLM)を導入する。
  論文  参考訳（メタデータ） (2025-07-22T22:09:00Z)
• Progress-Aware Video Frame Captioning [55.23366888264651]
  本稿では,アクションシーケンス内の微細な時間的ダイナミクスをキャプチャするキャプションモデルであるProgressCaptionerを提案する。 我々は、トレーニングをサポートするFrameCapデータセットと、キャプションの品質を評価するFrameCapEvalベンチマークを開発する。 結果は、ProgressCaptionerが主要なキャプションモデルを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2024-12-03T01:21:28Z)
• OmniVid: A Generative Framework for Universal Video Understanding [133.73878582161387]
  我々は、言語をラベルとして使用し、時間とボックストークンを付加することで、ビデオ理解タスクの出力空間を統合することを目指している。 これにより、分類、キャプション、ローカライゼーションなど、さまざまなタイプのビデオタスクに対処できる。 このようなシンプルで素直なアイデアは極めて効果的であり、最先端ないし競争的な結果を得ることができることを実証する。
  論文  参考訳（メタデータ） (2024-03-26T17:59:24Z)
• Controllable Video Captioning with an Exemplar Sentence [89.78812365216983]
  本稿では,エンコーダ・デコーダ・リコンストラクタアーキテクチャに組み込んだ新しいSMCGを提案する。 SMCGはビデオセマンティック表現を入力とし、長期記憶ネットワークのゲートとセルを条件的に変調する。 2つの公開ビデオキャプションデータセットに対して、補助的な例文を収集して実験を行う。
  論文  参考訳（メタデータ） (2021-12-02T09:24:45Z)
• Discriminative Latent Semantic Graph for Video Captioning [24.15455227330031]
  ビデオキャプションは、あるビデオの視覚的内容を記述する自然言語文を自動的に生成することを目的としている。 我々の主な貢献は、将来のビデオ要約タスクのための統合フレームワークにおける3つの重要な問題を特定することである。
  論文  参考訳（メタデータ） (2021-08-08T15:11:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。