論文の概要: PercepCap: Video Captioner with Structured Spatio-Temporal Perception

• arxiv url: http://arxiv.org/abs/2607.20389v1
• Date: Wed, 22 Jul 2026 17:17:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-23 18:51:38.166314
• Title: PercepCap: Video Captioner with Structured Spatio-Temporal Perception
• Title（参考訳）: PercepCap: 構造化時空間知覚によるビデオキャプタ
• Abstract要約: 最終キャプション作成前に知覚的証拠を明確にする認識対応ビデオキャプションフレームワークを提案する。 PerSuperviseCapcepは知覚記述生成チェーンに従っており、まずモデルがオブジェクトと時間イベントからなる時間的知覚トレースを生成し、次に認識された証拠に基づいて最終的な空間的なキャプションを生成する。
• 参考スコア（独自算出の注目度）: 36.12023031205435
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video captioning requires fine-grained spatio-temporal understanding of videos, including spatial perception of where objects are located and temporal perception of when events occur. Existing MLLMs usually generate captions directly from video inputs without exposing the perceptual evidence behind descriptions. As a result, mistakes in spatiotemporal perception are only observed in the final caption, making it difficult to identify the underlying perceptual errors directly. To address these issues, we present PercepCap, a perception-aware video captioning framework that makes perceptual evidence explicit before producing the final caption. Specifically, PercepCap follows a perceive-describe generation chain, where the model first produces a spatiotemporal perception trace comprising object trajectories and temporal events, and then generates the final caption conditioned on the perceived evidence. To support this, we design a two-stage training strategy. Perceive-then-Describe Supervised Fine-tuning adapts the model from caption-only generation to the proposed perceive-describe chain, while Perception-Grounded Reinforcement Learning optimizes perception trace and caption quality with joint rewards over perception chain and the final caption. To support our two-stage training, we introduce Caption-Anchored Perception Data Construction. This pipeline builds the SFT and RL training data by first generating a caption-only description, extracting the objects and events it mentions, and grounding them back in the video with boxes and timestamps. This yields caption-aligned perception data that provides solid training ground truth, ensuring that the explicit perception trace and final caption refer to the same objects and events. Across direct caption and caption-to-QA evaluation, PercepCap consistently improves upon the Qwen3-VL baseline and demonstrates leading caption quality.
• Abstract（参考訳）: ビデオキャプションには、オブジェクトの位置の空間的知覚やイベントの発生時の時間的知覚など、ビデオの詳細な時空間的理解が必要である。 既存のMLLMは通常、記述の背後にある知覚的証拠を暴露することなく、ビデオ入力から直接キャプションを生成する。 その結果、時空間知覚の誤りは最終キャプションでのみ観察され、根底にある知覚的誤りを直接識別することは困難である。 これらの課題に対処するため,最終キャプション作成前に知覚的証拠を明確にする認識対応ビデオキャプションフレームワークPercepCapを提案する。 具体的には、PercepCapは知覚記述生成チェーンに従い、まずモデルがオブジェクトの軌跡と時間的事象からなる時空間的知覚トレースを生成し、次に認識された証拠に条件付けされた最後のキャプションを生成する。 これをサポートするために、我々は2段階のトレーニング戦略を設計する。 知覚中心強化学習は知覚連鎖と最終キャプションに対する共同報酬で知覚トレースとキャプション品質を最適化する。 2段階のトレーニングをサポートするために、Caption-Anchored Perception Data Constructionを紹介します。 このパイプラインは、まずキャプションのみの記述を生成し、言及するオブジェクトやイベントを抽出し、ボックスとタイムスタンプでビデオにグラウンドバックすることで、SFTとRLのトレーニングデータを構築する。 これにより、明確な学習基盤の真実を提供するキャプションに整合した認識データが得られ、明示的な認識トレースと最終キャプションが同じオブジェクトやイベントを参照することを保証する。 直接のキャプションとキャプション・トゥ・QAの評価では、PercepCapはQwen3-VLベースラインを継続的に改善し、主要なキャプション品質を示す。

関連論文リスト

• CapRL++: Unified Reinforcement Learning with Verifiable Rewards for Dense Image and Video Captioning [86.9494763617273]
  本稿では,Captioning Reinforcement Learning++ (CapRL++)を紹介した。 本稿では,CapRL++が高密度キャプション品質を向上し,空間的・時間的理解などのタスクにおけるキャプションベースの事前訓練を強化していることを示す。
  論文  参考訳（メタデータ） (2026-06-08T12:09:20Z)
• CCCaption: Dual-Reward Reinforcement Learning for Complete and Correct Image Captioning [23.289413412387223]
  CCCaption: 専用微調整コーパスを備えた双方向逆強化学習フレームワークについて紹介する。 完全性のために、私たちは多様なLVLMを使用して、画像を一連のビジュアルクエリに切り離し、これらのクエリにもっと答えるキャプションに報いる。 正当性については,サブキャプションクエリの正当性を検証することによって,幻覚を含む字幕を罰する。
  論文  参考訳（メタデータ） (2026-02-25T07:34:26Z)
• HiVid-Narrator: Hierarchical Video Narrative Generation with Scene-Primed ASR-anchored Compression [7.305586811678626]
  本稿では,Eコマースの階層的ビデオキャプションデータセットについて紹介する。 我々はまず,ASRとフレームレベルの記述を用いて,信頼性の高い言語的・視覚的証拠を収集する段階的構成を採用する。 本稿では,マルチモーダルトークンを階層的なシーンに圧縮するScene-Primed ASR-anchored Caption (SPA-Compressor)を提案する。
  論文  参考訳（メタデータ） (2026-01-12T09:41:31Z)
• Progress-Aware Video Frame Captioning [55.23366888264651]
  本稿では,アクションシーケンス内の微細な時間的ダイナミクスをキャプチャするキャプションモデルであるProgressCaptionerを提案する。 我々は、トレーニングをサポートするFrameCapデータセットと、キャプションの品質を評価するFrameCapEvalベンチマークを開発する。 結果は、ProgressCaptionerが主要なキャプションモデルを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2024-12-03T01:21:28Z)
• DeCap: Decoding CLIP Latents for Zero-Shot Captioning via Text-Only Training [73.74291217502928]
  ゼロショットキャプションのための単純なフレームワークであるDeCapを提案する。 軽量な視覚認識言語デコーダを提案する。 視覚的な埋め込みはCLIPテキスト埋め込み空間に投影するが、投影された埋め込みは視覚的な入力の情報を保持する。
  論文  参考訳（メタデータ） (2023-03-06T11:02:47Z)
• Paraphrasing Is All You Need for Novel Object Captioning [126.66301869607656]
  新たな物体キャプション (NOC) は, 訓練中に真実のキャプションを観察することなく, 対象を含む画像を記述することを目的としている。 本稿では,NOC の2段階学習フレームワークである Paraphrasing-to-Captioning (P2C) について述べる。
  論文  参考訳（メタデータ） (2022-09-25T22:56:04Z)
• Optimizing Latency for Online Video CaptioningUsing Audio-Visual Transformers [54.705393237822044]
  本稿では,レイテンシとキャプション品質のトレードオフに基づいて,各キャプションの出力タイミングを最適化する手法を提案する。 オーディオ映像トランスフォーマーは、すべてのビデオフレームのごく一部だけを使用して、接地木字幕を生成するように訓練される。 CNNベースのタイミング検出器もトレーニングされ、適切な出力タイミングを検出し、2つのトランスフォーマーによって生成されたキャプションが十分に近接する。
  論文  参考訳（メタデータ） (2021-08-04T16:20:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。