論文の概要: Seeing Before Synthesizing: VLM-Guided Transition Event Discovery for Weakly-Supervised Dense Video Captioning
- arxiv url: http://arxiv.org/abs/2609.04183v1
- Date: Thu, 03 Sep 2026 17:58:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-04 18:28:39.198594
- Title: Seeing Before Synthesizing: VLM-Guided Transition Event Discovery for Weakly-Supervised Dense Video Captioning
- Title（参考訳）: 合成前に見る:VLM誘導遷移イベント発見による低速度高画質ビデオキャプション
- Abstract要約: Weakly-Supervised Video Captioningは、ビデオごとのイベントレベルのキャプションのみを順序付けした未トリミングビデオ内の複数のイベントをローカライズし、記述することを目的としている。
最近の研究は、LCMを介して補助的な遷移キャプションを合成し、視覚言語アライメントを提供するが、これらのキャプションは視覚的接地を欠いている。
SBS(Seeeing Before Synthesizing)は,視覚的基盤を持つ言語指導を保証された場所のみに適応的に提供するフレームワークである。
- 参考スコア（独自算出の注目度）: 8.547456564908423
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Weakly-Supervised Dense Video Captioning aims to localize and describe multiple events in untrimmed videos given only an ordered set of event-level captions per video. Recent work synthesizes auxiliary transition captions via LLM to provide additional vision-language alignment, but these captions lack visual grounding and are rigidly assigned to every inter-event gap at a fixed location and duration. To address these, we propose Seeing Before Synthesizing (SBS), a framework that adaptively provides visually grounded linguistic guidance only where warranted. Leveraging a VLM, we generate frame-level narratives for the inter-event gaps and detect transitions from the semantic variation across them. For identified transitions, we then refine inter-event temporal masks by blending the temporal midpoint with the semantic change point and selecting the width that maximizes vision-language alignment. Experiments on ActivityNet Captions and YouCook2 demonstrate state-of-the-art performance in both captioning and localization.
- Abstract（参考訳）: Weakly-Supervised Dense Video Captioningは、ビデオごとのイベントレベルのキャプションのみを指定すれば、未トリミングビデオ内の複数のイベントをローカライズし、記述することを目的としている。
最近の研究は、LCMを介して補助的な遷移キャプションを合成し、視覚言語によるアライメントを提供するが、これらのキャプションは視覚的接地がなく、固定された位置と持続時間におけるすべてのイベント間ギャップに厳格に割り当てられている。
これらの課題に対処するために,視覚的基礎言語指導を行うフレームワークであるSeeing Before Synthesizing (SBS)を提案する。
VLMを活用することで、イベント間ギャップに対するフレームレベルの物語を生成し、それら間のセマンティックな変動から遷移を検出する。
次に,時間的中点と意味的変化点とを混合し,視覚言語アライメントを最大化する幅を選択することにより,時間間仮面を洗練する。
ActivityNet CaptionsとYouCook2の実験は、キャプションとローカライゼーションの両方で最先端のパフォーマンスを示している。
関連論文リスト
- SAIL: Similarity-Aware Guidance and Inter-Caption Augmentation-based Learning for Weakly-Supervised Dense Video Captioning [8.976074934042071]
Weakly-Supervised Video Captioningは、時間境界のないキャプションアノテーションだけで訓練されたビデオ内のイベントをローカライズし、記述することを目的としている。
横断的なアライメントによって意味的に認識されたマスクを構成するSAILを提案する。
類似性を認識したトレーニング対象は,イベントキャプションと高い類似性を持つ映像領域を強調するためにマスクをガイドする。
論文 参考訳（メタデータ） (2026-03-05T17:59:58Z) - TA-Prompting: Enhancing Video Large Language Models for Dense Video Captioning via Temporal Anchors [40.48528326378281]
デンスビデオキャプションは、入力ビデオ全体の時間的局所化イベントを解釈し、記述することを目的としている。
近年の最先端技術は,ビデオデータに詳細なモーメント記述を提供するために,大規模言語モデル(LLM)を活用している。
本稿では,TA-Promptingを提案する。TA-Promptingはテンポラルアンカーを介し,イベントを正確にローカライズし,ビデオLLMに時間対応のビデオイベント理解を促す。
論文 参考訳（メタデータ） (2026-01-06T10:45:53Z) - Explicit Temporal-Semantic Modeling for Dense Video Captioning via Context-Aware Cross-Modal Interaction [33.79474114703357]
我々は,CACMI (Context-Aware Cross-Modal Interaction) という,時間-意味の明示的なモデリングフレームワークを提案する。
本モデルは,クロスモーダルフレームアグリゲーションとコンテキスト認識機能拡張という,2つのコアコンポーネントから構成される。
ActivityNet CaptionsとYouCook2データセットの実験は、CACMIが高密度ビデオキャプションタスクで最先端のパフォーマンスを達成することを示した。
論文 参考訳（メタデータ） (2025-11-13T09:48:12Z) - DynaStride: Dynamic Stride Windowing with MMCoT for Instructional Multi-Scene Captioning [3.47287766500271]
インストラクショナルビデオにおけるシーンレベルのキャプションは、視覚的手がかりと時間的構造の両方を理解することで学習を強化することができる。
手動シーンセグメンテーションを必要とせずに、コヒーレントなシーンレベルのキャプションを生成するパイプラインDynaStrideを導入する。
我々はDynaStrideが時間的コヒーレントで情報的なキャプションを生成することを示し、AIによる指導コンテンツ生成を改善するための有望な方向性を示唆している。
論文 参考訳（メタデータ） (2025-10-27T22:29:08Z) - Dense Video Captioning using Graph-based Sentence Summarization [80.52481563888459]
本稿では,高密度映像キャプションのためのグラフベースの分割・要約フレームワークを提案する。
本稿では,要約の段階に着目し,要約のための意味語間の関係を効果的に活用する枠組みを提案する。
論文 参考訳（メタデータ） (2025-06-25T16:23:43Z) - Show, Tell and Summarize: Dense Video Captioning Using Visual Cue Aided Sentence Summarization [83.7571144192515]
本稿では,高密度映像キャプションのための分割・要約(DaS)フレームワークを提案する。
生成した文が豊富な意味的記述を含むことを考慮し,映像の字幕化タスクを視覚的キュー支援文要約問題として定式化する。
ActivityNet Captionsデータセットに関する実験により,我々は新たに提案したDASフレームワークの高密度動画キャプションへの応用を実証した。
論文 参考訳（メタデータ） (2025-06-25T16:02:04Z) - FOCUS: Unified Vision-Language Modeling for Interactive Editing Driven by Referential Segmentation [55.01077993490845]
最近のLVLM(Large Vision Language Models)は、視覚的理解と生成的モデリングを統一する有望な能力を示している。
本稿では,分割認識と制御可能なオブジェクト中心生成をエンドツーエンドフレームワークに統合した統合LVLMであるFOCUSを紹介する。
論文 参考訳（メタデータ） (2025-06-20T07:46:40Z) - Label-anticipated Event Disentanglement for Audio-Visual Video Parsing [61.08434062821899]
我々は新しいデコードパラダイムであるアンダーライン・サンダーライン・エンダーライン・アンダーライン・インダーライン・プロジェクション(LEAP)を導入する。
LEAPは、音声/視覚セグメントの符号化された潜在機能を意味的に独立したラベル埋め込みに反復的に投影する。
LEAPパラダイムを促進するために,新しい音声・視覚的類似性損失関数を含むセマンティック・アウェア・最適化戦略を提案する。
論文 参考訳（メタデータ） (2024-07-11T01:57:08Z) - Learning Grounded Vision-Language Representation for Versatile
Understanding in Untrimmed Videos [57.830865926459914]
本稿では,情報イベントを自動的に検出する未編集ビデオのための視覚言語学習フレームワークを提案する。
粗いレベルのビデオ言語アライメントの代わりに、細かなセグメントレベルのアライメントを促進するために、2つの二重プレテキストタスクを提示する。
我々のフレームワークは、視覚的な言語理解と生成のタスクに容易に対応できる。
論文 参考訳（メタデータ） (2023-03-11T11:00:16Z) - DVCFlow: Modeling Information Flow Towards Human-like Video Captioning [163.71539565491113]
既存の手法は主に個々のビデオセグメントからキャプションを生成するが、グローバルな視覚的コンテキストへの適応が欠如している。
映像のシーケンスやキャプションによって変化するプログレッシブな情報をモデル化するために,情報フローの概念を導入する。
提案手法は, 競争基準を著しく上回り, 主観的, 客観的なテストにより, より人間的なテキストを生成する。
論文 参考訳（メタデータ） (2021-11-19T10:46:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。