論文の概要: OACap: Caption-Guided Active Observation for Detailed Video Captioning
- arxiv url: http://arxiv.org/abs/2610.29327v1
- Date: Wed, 21 Oct 2026 07:26:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 09:50:43.2335
- Title: OACap: Caption-Guided Active Observation for Detailed Video Captioning
- Title（参考訳）: OACap:詳細なビデオキャプションのためのキャプションガイドによるアクティブな観察
- Abstract要約: Video Captioner (OA-Cap) はキャプション中心のエージェントで、サポート対象または欠落した情報を観察要求に変換する。
OA-Capは、固定テキストのみのリーダを使用して、一般的なビデオ理解ベンチマークのパフォーマンスを一貫して改善する。
- 参考スコア（独自算出の注目度）: 29.90796250390582
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Unlike question answering, where a query specifies a perceptual target, open-ended detailed captioning must determine what evidence to acquire and how to integrate it into a coherent global description. We propose Observation-Adaptive Video Captioner (OACap), a caption-centered agent that turns unsupported or missing information into targeted observation requests, uses spatiotemporal tools to acquire evidence, and iteratively verifies and revises the caption. OACap captions consistently improve performance across general video-understanding benchmarks using a fixed text-only reader. To better diagnose the information they preserve, we introduce Factual-Semantic Captioning Bench (FSCap-Bench). Its Core-Support Factuality Score (CSFS) combines claim precision with importance-aware fact coverage and responds as expected to four controlled perturbation types on 93.0-98.3% of valid caption pairs. Its Cross-Modal Semantic Round-Trip Score (CSRS) measures semantic preservation through a video-caption-video-caption round trip by matching atomic facts from source and recovered captions. Together, they connect downstream textual-memory utility with factual and semantic preservation.
- Abstract（参考訳）: 質問応答とは異なり、クエリが知覚的ターゲットを指定する場合、オープンエンドの詳細なキャプションは、どのエビデンスを取得し、それを一貫性のあるグローバルな記述にどのように組み込むかを決定する必要がある。
提案するキャプション中心の動画キャプション・アダプティブ・ビデオキャプション・カウンタ(OACap)は,サプレッション情報や欠落した情報を対象の観察要求に変換し,時空間ツールを用いて証拠を収集し,キャプションを反復的に検証し,修正する。
OACapのキャプションは、固定テキスト専用リーダーを使用して、一般的なビデオ理解ベンチマークのパフォーマンスを継続的に改善する。
保存した情報をよりよく診断するために,Factual-Semantic Captioning Bench (FSCap-Bench)を紹介する。
CSFS(Core-Support Factuality Score)は、クレーム精度と重要な事実のカバレッジを組み合わせ、有効なキャプションペアの93.0-98.3%で4つの制御された摂動タイプに対応する。
CSRS(Cross-Modal Semantic Round-Trip Score)は、ビデオキャプチャーとビデオキャプチャーのラウンドトリップを通じて、ソースとリカバリされたキャプションからの原子情報とを一致させることで意味保存を測定する。
それらは、下流のテキストメモリユーティリティと、事実と意味保存を結びつける。
関連論文リスト
- CAPEval: A Decoupled Caption Evaluation across Understanding and Generation [29.355541032573285]
そこで我々は,人間による接頭辞文と人間による検証済みの原子チェックリスト項目を用いた,分離された字幕評価ベンチマークCAPEvalを設計した。
カバレッジは、パフォーマンスを理解するための強い相関関係として機能し、Precisionは、生成パフォーマンスの主要な予測器として機能します。
論文 参考訳（メタデータ） (2026-08-03T17:57:03Z) - PercepCap: Video Captioner with Structured Spatio-Temporal Perception [36.12023031205435]
最終キャプション作成前に知覚的証拠を明確にする認識対応ビデオキャプションフレームワークを提案する。
PerSuperviseCapcepは知覚記述生成チェーンに従っており、まずモデルがオブジェクトと時間イベントからなる時間的知覚トレースを生成し、次に認識された証拠に基づいて最終的な空間的なキャプションを生成する。
論文 参考訳（メタデータ） (2026-07-22T17:17:33Z) - SGCap: Decoding Semantic Group for Zero-shot Video Captioning [14.484825416367338]
ゼロショットビデオキャプションは、ビデオテキストペアのモデルをトレーニングすることなく、ビデオを記述するための文を生成することを目的としている。
ゼロショットビデオキャプションのためのセマンティックグループキャプション(SGCap)手法を提案する。
論文 参考訳（メタデータ） (2025-08-02T09:05:45Z) - ScaleCap: Inference-Time Scalable Image Captioning via Dual-Modality Debiasing [128.8346376825612]
高品質画像キャプションの主な課題は、LVLMの固有のバイアスにある。
本稿では,キャプションを継続的に強化・校正し,推論予算を増大させる,スケーラブルなデバイアス付きキャプション戦略を提案する。
450KイメージにScaleCapをアノテートし、LVLMプレトレーニングに使用することで、11の広く使用されているベンチマークで一貫したパフォーマンス向上を実現している。
論文 参考訳（メタデータ） (2025-06-24T17:59:55Z) - CAPability: A Comprehensive Visual Caption Benchmark for Evaluating Both Correctness and Thoroughness [30.44039177018447]
CAPabilityは、6つの重要なビューにまたがる12次元にわたる視覚的キャプションを評価するための総合的なベンチマークである。
我々は、生成したキャプションを評価するために、視覚要素アノテーションで1万1千近い人注画像や動画をキュレートした。
論文 参考訳（メタデータ） (2025-02-19T07:55:51Z) - Progress-Aware Video Frame Captioning [55.23366888264651]
本稿では,アクションシーケンス内の微細な時間的ダイナミクスをキャプチャするキャプションモデルであるProgressCaptionerを提案する。
我々は、トレーニングをサポートするFrameCapデータセットと、キャプションの品質を評価するFrameCapEvalベンチマークを開発する。
結果は、ProgressCaptionerが主要なキャプションモデルを大幅に上回っていることを示している。
論文 参考訳（メタデータ） (2024-12-03T01:21:28Z) - Exploiting Auxiliary Caption for Video Grounding [66.77519356911051]
ビデオグラウンディングは、あるクエリ文にマッチする興味のある瞬間を、トリミングされていないビデオから見つけることを目的としている。
以前の作業では、潜在的なイベントとデータセット内のクエリ文の間のコンテキスト情報の提供に失敗する、ビデオアノテーションの疎度ジレンマを無視していた。
具体的には、まず高密度なキャプションを生成し、次に非補助的なキャプション抑制(NACS)によって補助的なキャプションを得る。
補助キャプションにおける潜在的な情報を取得するために,補助キャプション間の意味的関係を計画するキャプションガイド注意(CGA)を提案する。
論文 参考訳（メタデータ） (2023-01-15T02:04:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。