論文の概要: Parallelized Autoregressive Decoding for Omni-Modal Dense Video Captioning

• arxiv url: http://arxiv.org/abs/2607.02963v1
• Date: Fri, 03 Jul 2026 05:13:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.47613
• Title: Parallelized Autoregressive Decoding for Omni-Modal Dense Video Captioning
• Title（参考訳）: Omni-Modal Dense Video Captioningのための並列自己回帰デコード
• Abstract要約: デンスビデオキャプションは、ビデオイベントの時間的根拠による記述を生成することを目的としている。 トークン・バイ・トークンのパラダイムの下で密度の高いキャプションを生成することは、推論効率を著しく制限します。 本稿では,生成効率を向上するだけでなく,時間的背景のキャプション性能を向上させる並列化自己回帰フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 69.23508415203749
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Dense video captioning aims to generate temporally grounded descriptions of video events, benefiting both event-level video understanding and generation. In this domain, autoregressive video large language models have emerged as a prevalent paradigm due to their strong generative and cross-modal modeling capacity. However, generating dense captions under the token-by-token paradigm severely limits inference efficiency and hinders scalability as video length and event density increase. In this work, we propose a parallelized autoregressive framework that not only improves generation efficiency but also enhances temporally grounded captioning performance. Our key insight is to exploit the weak local dependencies across temporally distinct events to restructure the causal dependency graph, thereby enabling lossless parallel generation. Specifically, tokens with weak cross-event dependencies can be decoded in parallel, while tightly coupled tokens within each event retain sequential decoding to preserve local semantic coherence. To realize this insight, we introduce two key components for lossless parallel decoding: (1) a latent global planning mechanism that automatically learns the event-level structure and produces compact tokens encoding global inter-event causality while adaptively aggregating event-level audio-visual semantics, guiding subsequent dependency restructuring and parallel decoding; and (2) an event-factorized parallel decoding mechanism that effectively balances local focus with global inter-event awareness. Experiments on various benchmarks demonstrate the clear advantage of our approach in both efficiency and performance in omni-modal event grounding and captioning. Project website: https://github.com/showlab/PadCaptioner.
• Abstract（参考訳）: デンスビデオキャプションは、ビデオイベントを時間的に基礎づけた記述を生成することを目的としており、イベントレベルのビデオ理解と生成の両方に役立っている。 この領域では、自己回帰型ビデオ大言語モデルは、その強力な生成および相互モーダルモデリング能力のために、広く普及しているパラダイムとして現れている。 しかし、トークン・バイ・トークンのパラダイムの下で高密度キャプションを生成することは、推論効率を著しく制限し、ビデオ長とイベント密度が増加するにつれてスケーラビリティを阻害する。 本研究では,生成効率を向上するだけでなく,時間的に接頭したキャプション性能を向上させる並列化された自己回帰フレームワークを提案する。 我々の重要な洞察は、時間的に異なるイベント間の弱いローカル依存関係を利用して因果依存性グラフを再構成し、損失のない並列生成を可能にすることである。 具体的には、弱い相互依存関係を持つトークンは並列にデコードでき、各イベント内で密結合されたトークンは、局所的なセマンティックコヒーレンスを保持するためにシーケンシャルなデコードを保持する。 この知見を実現するために,(1) イベントレベルの構造を自動的に学習し,グローバルなイベント間の因果関係をコードするコンパクトトークンを生成する潜在グローバル計画機構,(2) イベントレベルの音声視覚意味論を適応的に集約し,その後の依存関係の再構築と並列復号を導くこと,(2) グローバルなイベント間の認識と局所的な焦点を効果的にバランスさせるイベントリファクタリング並列復号機構,の2つの重要な要素を紹介した。 各種ベンチマーク実験により, オールニモーダルイベントの接地とキャプションにおける効率, 性能の両面でのアプローチの利点が明らかとなった。 プロジェクトウェブサイト: https://github.com/showlab/PadCaptioner.com

関連論文リスト

• Neural Events: Discrete Asynchronous Autoencoders for Event-Based Vision [33.23552175352345]
  イベントカメラは、例外的な時間的忠実さでダイナミックなシーンをキャプチャする。 意味のある信号を導き出すには、下流のアルゴリズムは、低情報事象の巨大なトレントから素早く統合する必要がある。 本稿では,イベントストリームを高情報なテクストニューラルイベントの小さなセットに再構成するフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-18T06:26:25Z)
• Hierarchical Semantic-Constrained Heterogeneous Graph for Audio-Visual Event Localization [69.67186845167568]
  Open-vocabulary Audio-visual Event Localization (OV-AVEL) は、音声と視覚のキューを共同でモデル化し、イベントを認識および時間的にローカライズする。 既存の手法は主にユークリッド空間における共同視覚表現を学習する。 音声・視覚イベントの局所化のための階層的セマンティック制約ヘテロジニアスグラフ(HSCHG)を提案する。
  論文  参考訳（メタデータ） (2026-06-05T08:23:58Z)
• Event-Causal RAG: A Retrieval-Augmented Generation Framework for Long Video Reasoning in Complex Scenarios [9.729442664774988]
  Event-Causal RAGは、無限長ビデオ推論のための軽量な検索拡張フレームワークである。 ストリーミングビデオを意味的に一貫性のあるイベントにセグメントし、各イベントを構造化されたステート-イベント-ステートグラフとして表現する。 このメモリ上に、最も関連性の高いイベント因果連鎖を効率的に識別するための双方向検索戦略を設計する。
  論文  参考訳（メタデータ） (2026-05-07T13:01:28Z)
• Token Reduction via Local and Global Contexts Optimization for Efficient Video Large Language Models [61.11154533305096]
  ビデオ大言語モデル(VLLM)は、強力なビデオ理解を示すが、冗長な視覚トークンによる非効率性に悩まされる。 フレーム内およびフレーム間コンテキスト内でトークン textbfAnchors を詳述する新しい視点を提案する。 提案するAOTは,先行するビデオLLMのショート・ビデオベンチマークとロング・ビデオベンチマークの競合性能を比較検討する。
  論文  参考訳（メタデータ） (2026-03-02T03:06:40Z)
• Fast SAM2 with Text-Driven Token Pruning [52.8350457627401]
  Segment Anything Model 2 (SAM2) では、視覚計算モデルがプロンプト駆動のビデオオブジェクトセグメンテーションにおいて大幅に進歩している。 SAM2パイプラインは、イメージエンコーダが生成するすべての視覚トークンを、ターゲットオブジェクトとの関係にかかわらず、下流の時間的推論モジュールを通じて伝達する。 本稿では,時間的伝播に先立ってトークン密度を選択的に低減し,推論効率を向上させるためのテキスト誘導型トークンプルーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-24T18:59:05Z)
• LET-US: Long Event-Text Understanding of Scenes [23.376693904132786]
  イベントカメラは、マイクロ秒レベルの時間分解能を備えたスパースで非同期なデータとしてイベントストリームを出力する。 長いイベントストリーム・テキスト理解のためのフレームワークであるLET-USを紹介する。 適応圧縮機構を用いて、重要な視覚的詳細を保存しながら入力イベントの量を削減する。
  論文  参考訳（メタデータ） (2025-08-10T16:02:41Z)
• FullDiT2: Efficient In-Context Conditioning for Video Diffusion Transformers [63.788600404496115]
  FullDiT2は、ビデオ生成と編集の両方における一般的な制御性のための効率的なコンテキスト内条件付けフレームワークである。 FullDiT2は、拡散ステップ当たりの平均時間コストにおいて、計算の大幅な削減と2～3倍の高速化を実現している。
  論文  参考訳（メタデータ） (2025-06-04T17:57:09Z)
• Leveraging the Video-level Semantic Consistency of Event for Audio-visual Event Localization [8.530561069113716]
  AVEローカライゼーションタスクのためのビデオレベルのセマンティック・コンセンサス・ガイダンス・ネットワークを提案する。 クロスモーダルなイベント表現抽出器と、モーダル内のセマンティック一貫性向上器の2つのコンポーネントから構成される。 我々は、パブリックなAVVデータセット上で広範な実験を行い、完全に教師された設定と弱い設定の両方において最先端の手法より優れています。
  論文  参考訳（メタデータ） (2022-10-11T08:15:57Z)
• End-to-End Dense Video Captioning with Parallel Decoding [53.34238344647624]
  パラレルデコーディング(PDVC)を用いたエンドツーエンドの高精細動画キャプションのための簡易かつ効果的なフレームワークを提案する。 PDVCは、ビデオをビデオの内容の全体的理解の下で、正確にいくつかのイベントに分類する。 ActivityNet CaptionsとYouCook2の実験は、PDVCが高品質なキャプション結果を生成することができることを示している。
  論文  参考訳（メタデータ） (2021-08-17T17:39:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。