論文の概要: Long-form Video-to-Text Summarization using Recursive Language Models

• arxiv url: http://arxiv.org/abs/2610.26431v1
• Date: Mon, 19 Oct 2026 13:56:33 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:35:18.80348
• Title: Long-form Video-to-Text Summarization using Recursive Language Models
• Title（参考訳）: 再帰的言語モデルを用いた長文ビデオとテキストの要約
• Abstract要約: RVLSMは、ビデオを意味的に一貫性のあるセグメントに分解し、ビデオLLMサブモデルと外部ツールにチャンクレベルの推論を委譲する。 VideoXumとMixTyVSumベンチマークの実験では、RVLSMはゼロショットのVideoLLMベースラインよりも一貫して改善されている。
• 参考スコア（独自算出の注目度）: 9.633750082345577
• License:
• Abstract: While VideoLLMs have made significant progress in understanding short video benchmarks, they often struggle to summarize long-form ones. This is mainly due to performance degradation caused by long-context prompts, the inherent difficulty of preserving temporal continuity and a lack of semantically rich concepts in event descriptions. To tackle these issues, this paper introduces the first recursive Video Language Summarization Model (RVLSM) designed for video processing and tailored to long-form video-to-text summarization. RVLSM recursively decomposes videos into semantically coherent segments and delegates chunk-level reasoning to VideoLLM sub-models and external tools. It employs (1) Semantic Temporal Decomposition (STD), which preserves temporal coherence and continuity through a scene-aware chunking strategy that dynamically partitions videos according to semantic boundaries, and (2) Adaptive Multimodal Tool Calling (AMTC), which ensures semantic richness of the summary via a routing mechanism that selectively invokes auxiliary modules such as action recognition, optical character recognition, automatic speech recognition, and object detection. Experiments on the VideoXum and MixTyVSum benchmarks show that RVLSM consistently improves over zero-shot VideoLLM baselines across multiple model settings and performance metrics, and is competitive with a state-of-the-art fine-tuned model for video-to-text summarization. Importantly, the named entities in the RVLSM's summaries align more closely with those detected in the ground-truth summaries than those detected by baseline and state-of-the-art methods, confirming the saliency of the event descriptions it generates.
• Abstract（参考訳）: VideoLLMは短いビデオベンチマークの理解に大きな進歩を遂げているが、長文のベンチマークを要約するのに苦労することが多い。 これは主に、長いコンテキストのプロンプトによって引き起こされるパフォーマンス劣化、時間的連続性を維持するのに固有の困難さ、イベント記述における意味的に豊かな概念の欠如によるものである。 これらの課題に対処するために,ビデオ処理用に設計され,長大なビデオからテキストへの要約に適した,最初の再帰的ビデオ言語要約モデル(RVLSM)を提案する。 RVLSMはビデオを再帰的に意味的に一貫性のあるセグメントに分解し、ビデオLLMサブモデルと外部ツールにチャンクレベルの推論を委譲する。 本手法は,(1)映像をセマンティック境界に従って動的に分割するシーン認識チャンキング戦略を通じて時間的コヒーレンスと連続性を保存するセマンティックテンポラル分解(STD)と,(2)アクション認識,光学的文字認識,自動音声認識,オブジェクト検出などの補助モジュールを選択的に呼び出すルーティング機構により,要約のセマンティックリッチ性を確保するアダプティブマルチモーダルツール呼び出し(AMTC)を用いる。 VideoXumとMixTyVSumベンチマークの実験では、RVLSMは複数のモデル設定とパフォーマンスメトリクスでゼロショットのVideoLLMベースラインよりも一貫して改善されており、ビデオとテキストの要約のための最先端の微調整モデルと競合している。 重要なことに、RVLSMのサマリーの命名されたエンティティは、ベースラインや最先端の手法によって検出されたものよりも、地底のサマリーで検出されたエンティティとより密に一致し、それが生成するイベント記述の正当性を確認する。

関連論文リスト

• Mamba-VMR: Multimodal Query Augmentation via Generated Videos for Precise Temporal Grounding [19.92734717848329]
  テキスト駆動ビデオモーメント検索(VMR)は、未トリミングビデオに隠された時間的ダイナミクスが限られているため、依然として困難である。 既存のアプローチでは、サブタイトルコンテキストと時間的事前生成を効果的に統合できない。 時間的接地強化のための新しい2段階フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-23T15:44:48Z)
• Episodic Memory Representation for Long-form Video Understanding [52.33907540905242]
  大きなビデオ言語モデルは、一般的なビデオ理解において優れているが、長い形式のコンテキストウィンドウの制限に苦労する。 人間の記憶の原理にインスパイアされたトレーニングフリーのフレームワークであるVideo-EMを紹介する。 Video-EMでは、各ベースラインに対して4-9%のパフォーマンス向上を実現し、フレームの削減を実現している。
  論文  参考訳（メタデータ） (2025-08-13T04:33:07Z)
• CoT-RVS: Zero-Shot Chain-of-Thought Reasoning Segmentation for Videos [59.391265901911005]
  本稿では,MLLMのゼロショット・チェーン・オブ・ソート(CoT)機能を利用して,時間-意味的推論による複雑な問題に対処する新しいフレームワークであるCoT-RVSを提案する。 CoT-RVSは、言語クエリ(セマンティック)にマッチする可能性のある特定のフレーム内の可視オブジェクトを分析し、すべてのフレーム(一時)の中で、懸命に観察できる各オブジェクトに対して対応するオブジェクトを選択する。 当社のフレームワークのトレーニングフリー機能は,テスト時にCoTを使用して,よりよいターゲットが出現し始めると関心の対象を更新するオンラインビデオストリーム処理の拡張も可能にしています。
  論文  参考訳（メタデータ） (2025-05-24T07:01:31Z)
• Enhanced Partially Relevant Video Retrieval through Inter- and Intra-Sample Analysis with Coherence Prediction [18.24629930062925]
  部分的に関連のあるビデオ検索は、テキストクエリに関連するターゲットビデオを取得することを目的としている。 既存の手法は、セマンティック空間を構築するために、ペア化されたビデオとテキストクエリを粗く整列する。 サンプル間相関とサンプル内冗長性を体系的に活用する新しいPRVRフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-28T09:52:46Z)
• Everything Can Be Described in Words: A Simple Unified Multi-Modal Framework with Semantic and Temporal Alignment [0.0]
  大規模言語モデルのための構造化テキストとして視覚と聴覚の入力を統一するフレームワークであるUMaTを提案する。 最新技術であるLong Video Question Answeringの精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-03-12T05:28:24Z)
• Bridging Vision and Language: Modeling Causality and Temporality in Video Narratives [0.0]
  本稿では,Causal-Temporal Reasoning Moduleを最先端のLVLMに統合する拡張フレームワークを提案する。 CTRMはCausal Dynamics(CDE)とTemporal Learner(TRL)の2つの重要なコンポーネントから構成される。 大規模ビデオテキストデータセットの事前学習を併用して,モデル最適化のための多段階学習戦略を設計する。
  論文  参考訳（メタデータ） (2024-12-14T07:28:38Z)
• MLLM as Video Narrator: Mitigating Modality Imbalance in Video Moment Retrieval [53.417646562344906]
  Video Moment Retrieval (VMR) は、自然言語クエリが与えられた未トリミング長ビデオ内の特定の時間セグメントをローカライズすることを目的としている。 既存の方法は、しばしば不十分なトレーニングアノテーションに悩まされる。つまり、文は通常、単語の多様性が制限された前景の顕著なビデオ内容のごく一部と一致する。 この本質的なモダリティの不均衡は、視覚情報のかなりの部分がテキストと一致しないまま残されている。 本研究では,MLLMをビデオナレーターとして用いて,ビデオのテキスト記述を多用し,モダリティの不均衡を緩和し,時間的局所化を促進させる。
  論文  参考訳（メタデータ） (2024-06-25T18:39:43Z)
• Temporally Consistent Referring Video Object Segmentation with Hybrid Memory [98.80249255577304]
  本稿では,参照セグメンテーションとともに時間的一貫性を明示的にモデル化する,エンドツーエンドなR-VOSパラダイムを提案する。 自動生成された高品質の参照マスクを有するフレームの特徴は、残りのフレームをセグメント化するために伝播される。 大規模な実験により,本手法は時間的整合性を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2024-03-28T13:32:49Z)
• Improving Video Corpus Moment Retrieval with Partial Relevance Enhancement [72.7576395034068]
  Video Corpus Moment Retrieval(VCMR)は、テキストクエリを使って、大量の未トリミングビデオから関連する瞬間を検索するための、新しいビデオ検索タスクである。 我々は、VCMRタスクにおいて、クエリとビデオの間の部分的関係を効果的に捉えることが不可欠であると主張している。 ビデオ検索には,2つのモーダルに対して異なる問合せ表現を生成するマルチモーダル・コラボレーティブ・ビデオレトリバーを導入する。 そこで本研究では,モータリティ特異的なゲートを用いたモーメントローカライザを提案する。
  論文  参考訳（メタデータ） (2024-02-21T07:16:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。