論文の概要: PIGEONS: Incremental Long-Video Captioning with Persistent Identity Gallery and Evolving Overarching Narrative Summary

• arxiv url: http://arxiv.org/abs/2610.16066v1
• Date: Mon, 12 Oct 2026 02:11:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 07:51:54.647037
• Title: PIGEONS: Incremental Long-Video Captioning with Persistent Identity Gallery and Evolving Overarching Narrative Summary
• Title（参考訳）: PIGEONS: Persistent Identity Galleryによるインクリメンタルロングビデオキャプションと物語概要の展開
• Abstract要約: PIGEONS は Persistent Identity Gallery と Evolving Overarching Narrative Summary 上に構築された,インクリメンタルなロングビデオキャプションモデルである。 PIGEONSは、従来の方法よりも優れた精度、完全性、主観的参照整合性を達成し、長時間のキャプション性能を著しく向上させる。
• 参考スコア（独自算出の注目度）: 42.70886977605951
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Detailed video captioning has become an essential semantic interface for multi-modal understanding and generation. While existing methods mainly target short videos, extending them to long videos remains challenging, primarily due to limited context windows of current video understanding models. A naive solution is to adopt segment-wise captioning followed by concatenation, yet this paradigm often suffers from inconsistent subject references and fragmented long-range narratives. To mitigate these issues, we introduce PIGEONS, an incremental long-video captioning model built upon a Persistent Identity Gallery and an Evolving Overarching Narrative Summary. Before caption generation, PIGEONS scans the entire video to construct an identity gallery that captures key subjects along with their visual references, thereby providing a stable referential anchor. The model then performs clip-by-clip captioning conditioned on the persistent gallery and an evolving overarching narrative summary, which compactly maintains and updates essential long-range contextual information after each captioning step. To enable these capabilities, we develop a three-stage training strategy that integrates supervised fine-tuning and reinforcement learning. Extensive experiments demonstrate that PIGEONS markedly improves long-video captioning performance, achieving superior accuracy, completeness, and subject referential consistency over existing methods, while maintaining competitive performance on short-video captioning.
• Abstract（参考訳）: 詳細なビデオキャプションは、マルチモーダル理解と生成に不可欠なセマンティックインターフェースとなっている。 既存の手法は主にショートビデオをターゲットにしているが、現在のビデオ理解モデルのコンテキストウィンドウが限られているため、長いビデオに拡張することは依然として困難である。 直感的な解決策は、分節的なキャプションの後に連結を導入することであるが、このパラダイムは、矛盾した主題の参照や、断片化された長距離の物語に悩まされることが多い。 これらの問題を緩和するために, PIGEONSを導入し, 永続的アイデンティティ・ギャラリーと進化的包括的ナラティブ・サプリメントをベースとした, インクリメンタルな長ビデオキャプションモデルを提案する。 PIGEONSはキャプション生成前にビデオ全体をスキャンして、主要な対象と視覚的参照をキャプチャするアイデンティティギャラリーを構築し、安定した参照アンカーを提供する。 モデルは、永続的なギャラリーに条件付きクリップ・バイ・クリップキャプションと進化する物語要約を実行し、各キャプションステップ後に必須の長距離コンテキスト情報をコンパクトに維持・更新する。 これらの機能を実現するために,教師付き微調整と強化学習を統合した3段階の訓練戦略を開発した。 実験の結果,PIGEONSは長時間のキャプション性能を著しく向上し,既存の手法よりも精度,完全性,主観的参照整合性を向上し,短時間のキャプションにおける競争性能を維持した。

関連論文リスト

• Advancing Video-Text Pretraining with Multi-View Captions [48.24501901598919]
  既存のWebスケールデータセットは、リッチなセマンティクスをキャプチャできない、ビデオ毎に1つのスパースキャプションのみを提供する。 本稿では,多モーダル言語モデルに基づく大規模監視フレームワークを提案する。 提案手法は,既存の手法よりも小さい事前学習コーパスを用いて,ゼロショットと微調整の両方の性能を一貫して改善する。
  論文  参考訳（メタデータ） (2026-09-28T13:04:53Z)
• Toward Scalable Video Narration: A Training-free Approach Using Multimodal Large Language Models [10.585096070697348]
  本稿では,ビデオキャプションを高密度に生成する新しいトレーニングフリーパイプラインであるVideoNarratorを紹介する。 VideoNarratorは、既製のMLLMとビジュアル言語モデルがキャプションジェネレータとして機能する柔軟なパイプラインを活用することで、課題に対処する。 実験の結果,これらの成分の相乗的相互作用はビデオナレーションの品質と精度を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2025-07-22T22:16:37Z)
• Fine-Grained Captioning of Long Videos through Scene Graph Consolidation [44.30028794237688]
  グラフ統合に基づく長大なビデオキャプションのための新しいフレームワークを提案する。 提案手法はまず,個々のフレームや短いビデオ間隔に対応するセグメントレベルのキャプションを生成する。 軽量なグラフからテキストへのデコーダが最後にビデオレベルのキャプションを生成する。
  論文  参考訳（メタデータ） (2025-02-23T03:59:05Z)
• Progress-Aware Video Frame Captioning [55.23366888264651]
  本稿では,アクションシーケンス内の微細な時間的ダイナミクスをキャプチャするキャプションモデルであるProgressCaptionerを提案する。 我々は、トレーニングをサポートするFrameCapデータセットと、キャプションの品質を評価するFrameCapEvalベンチマークを開発する。 結果は、ProgressCaptionerが主要なキャプションモデルを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2024-12-03T01:21:28Z)
• SALOVA: Segment-Augmented Long Video Assistant for Targeted Retrieval and Routing in Long-Form Video Analysis [52.050036778325094]
  本稿では,SALOVA: Segment-Augmented Video Assistantを紹介する。 87.8Kビデオの高品質なコレクションをセグメントレベルで高密度にキャプションし、シーンの連続性を捕捉し、リッチなコンテキストを維持する。 本フレームワークは,クエリに応答して,関連ビデオセグメントの正確な識別と検索を可能にすることで,現在のビデオLMMの限界を緩和する。
  論文  参考訳（メタデータ） (2024-11-25T08:04:47Z)
• MLLM as Video Narrator: Mitigating Modality Imbalance in Video Moment Retrieval [53.417646562344906]
  Video Moment Retrieval (VMR) は、自然言語クエリが与えられた未トリミング長ビデオ内の特定の時間セグメントをローカライズすることを目的としている。 既存の方法は、しばしば不十分なトレーニングアノテーションに悩まされる。つまり、文は通常、単語の多様性が制限された前景の顕著なビデオ内容のごく一部と一致する。 この本質的なモダリティの不均衡は、視覚情報のかなりの部分がテキストと一致しないまま残されている。 本研究では,MLLMをビデオナレーターとして用いて,ビデオのテキスト記述を多用し,モダリティの不均衡を緩和し,時間的局所化を促進させる。
  論文  参考訳（メタデータ） (2024-06-25T18:39:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。