論文の概要: MVRCap: Towards Comprehensive Video Captioning via Hierarchical Multi-Dimensional Verifiable Rewards

• arxiv url: http://arxiv.org/abs/2610.36838v1
• Date: Tue, 27 Oct 2026 08:37:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-29 04:15:49.246754
• Title: MVRCap: Towards Comprehensive Video Captioning via Hierarchical Multi-Dimensional Verifiable Rewards
• Title（参考訳）: MVRCap:階層型多次元検証リワードによる包括的ビデオキャプションを目指して
• Abstract要約: 本稿では,ビデオキャプションを構造化検証による強化学習タスクとして再構成するフレームワークであるMVRCapを紹介する。 MVRCapは、VDC、CAPability、VC4VGなどの権威ベンチマークで最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 99.01208020833549
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite significant progress, current models struggle to generate comprehensive video captions, constrained primarily by coarse-grained supervision, which often fails to capture spatial-temporal dynamics and the underlying logical intent. To address this issue, we introduce MVRCap, a novel framework that reformulates video captioning as a reinforcement learning task steered by structured verification. Central to our approach is a Fine-Grained Verifiable Reward mechanism, serving as dense supervision to enforce rigorous visual-semantic alignment. Specifically, we construct this reward system anchored by three complementary pillars: a Hierarchical Concept Coverage Reward utilizing our newly constructed MVRCap-QA dataset to ensure multi-dimensional completeness and semantic depth, a Factuality Verification Reward to enhance factual consistency, and a Conciseness Constraint to maximize semantic density. Furthermore, we curate the high-quality MVRCap-SFT dataset, providing structured annotations across six key dimensions, to serve as a robust foundational initialization for the RL policy in this training pipeline. Extensive experiments demonstrate that MVRCap achieves state-of-the-art performance on authoritative benchmarks including VDC, CAPability, and VC4VG.
• Abstract（参考訳）: 著しい進歩にもかかわらず、現在のモデルは、主に粗い粒度の監督によって制約された包括的なビデオキャプションを生成するのに苦労している。 この問題に対処するために,構造化検証による強化学習タスクとしてビデオキャプションを再構成する新しいフレームワークであるMVRCapを紹介する。 我々のアプローチの中心は、厳密な視覚・セマンティックアライメントを強制するための厳密な監督として機能するファイングラインド・バーティビティ・リワード機構である。 具体的には,新たに構築したMVRCap-QAデータセットを活用し,多次元完全性と意味深度を確保する階層的概念カバレッジ・リワード,事実整合性を高めるファクチュアリティ検証・リワード,意味密度を最大化するための簡潔性制約という,3つの相補的な柱による報酬システムを構築した。 さらに、高品質なMVRCap-SFTデータセットをキュレートし、6つのキー次元にわたる構造化アノテーションを提供し、このトレーニングパイプラインにおけるRLポリシーの堅牢な初期化を提供する。 大規模な実験により、MVRCapはVDC、CAPability、VC4VGなどの権威ベンチマークで最先端のパフォーマンスを達成した。

関連論文リスト

• VCap: Hypergeometric Rewards for Weak-to-Strong Visual Captioning [57.588999592609646]
  本稿では,参照キャプション(証人)と視覚信号(代弁者)とをペアにする,証人-代弁者報酬であるVCapを提案する。 VCapは、キャプションの品質検証のための超幾何分布レベルの精度を持つ報酬信号を提供する。 実験では,VCapでトレーニングした8Bモデルは,複数の画像およびビデオキャプションベンチマーク上で,オープンソースおよびクローズドソースSOTAモデルより優れていた。
  論文  参考訳（メタデータ） (2026-05-27T06:27:04Z)
• StepVAR: Structure-Texture Guided Pruning for Visual Autoregressive Models [98.72926158261937]
  本稿では,Visual AutoRegressive モデルのためのトレーニングフリートークン解析フレームワークを提案する。 我々は局所的なテクスチャの詳細を捉えるために軽量なハイパスフィルタを使用し、グローバルな構造情報を保存するために主成分分析(PCA)を活用している。 スパーストークンの下で有効な次世代の予測を維持するために,近接した特徴伝達戦略を導入する。
  論文  参考訳（メタデータ） (2026-03-02T11:35:05Z)
• PREGEN: Uncovering Latent Thoughts in Composed Video Retrieval [9.493866391853723]
  Composed Video Retrieval (CoVR)は、クエリビデオと修正テキストに基づいてビデオを取得することを目的としている。 現在のCoVR法は、現代のビジョンランゲージモデル(VLM)を完全に活用できない これらの制限を克服する効率的で強力なCoVRフレームワークであるPregenを紹介します。
  論文  参考訳（メタデータ） (2026-01-20T09:57:04Z)
• VQRAE: Representation Quantization Autoencoders for Multimodal Understanding, Generation and Reconstruction [83.50898344094153]
  VQRAEは、イメージ理解のための連続的セマンティック機能と、統一トークン化器内での視覚生成のためのトークンを生成する。 デザインは、多モーダル理解、離散トークンの能力を維持するために、無視可能な意味情報を可能にする。 VQRAEは、視覚的理解、生成、再構築のベンチマークで競合性能を示す。
  論文  参考訳（メタデータ） (2025-11-28T17:26:34Z)
• Top-Down Semantic Refinement for Image Captioning [15.716415599823243]
  大きな視覚言語モデル(VLM)は、画像キャプションに固有の矛盾に直面している。 その強力なシングルステップ生成能力は、しばしばミオピックな意思決定プロセスに繋がる。 生成過程をマルコフ決定過程(MDP)としてモデル化したTDSR(Top-Down Semantic Refinement)という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-25T18:27:00Z)
• CIR-CoT: Towards Interpretable Composed Image Retrieval via End-to-End Chain-of-Thought Reasoning [93.05917922306196]
  Composed Image Retrieval (CIR) は、参照画像と修正テキストから対象画像を見つけることを目的としている。 CIR-CoTは、明示的なChain-of-Thought (CoT)推論を統合するために設計された最初のエンドツーエンド検索指向MLLMである。
  論文  参考訳（メタデータ） (2025-10-09T09:41:45Z)
• ReCon-GS: Continuum-Preserved Gaussian Streaming for Fast and Compact Reconstruction of Dynamic Scenes [41.108974064267436]
  ReCon-GSは、高忠実なオンライン動的シーン再構築とリアルタイムレンダリングを可能にするストレージ対応フレームワークである。 本稿では,ReCon-GSがトレーニング効率を約15%向上し,FVV合成品質が向上することを示す。 同等のレンダリング品質では、ReCon-GSは最先端の方法と比較して、メモリ要求を50%以上削減する。
  論文  参考訳（メタデータ） (2025-09-29T06:23:47Z)
• Low-Light Video Enhancement via Spatial-Temporal Consistent Decomposition [52.89441679581216]
  低照度ビデオエンハンスメント(LLVE)は、激しい視認性とノイズに悩まされる動的または静的なシーンの復元を目指している。 本稿では、ビューに依存しない、ビューに依存しないコンポーネントを組み込んだ革新的なビデオ分解戦略を提案する。 我々のフレームワークは、既存のメソッドを一貫して上回り、新しいSOTAパフォーマンスを確立します。
  論文  参考訳（メタデータ） (2024-05-24T15:56:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。