論文の概要: Measure Twice, Cut Once: Grasping Video Structures and Event Semantics with LLMs for Video Temporal Localization

• arxiv url: http://arxiv.org/abs/2503.09027v1
• Date: Wed, 12 Mar 2025 03:33:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-13 15:39:23.603913
• Title: Measure Twice, Cut Once: Grasping Video Structures and Event Semantics with LLMs for Video Temporal Localization
• Title（参考訳）: ビデオ構造とイベントセマンティクスをLLMで解析してビデオの時間的ローカライゼーション
• Authors: Zongshang Pang, Mayu Otani, Yuta Nakashima,
• Abstract要約: 時間的局所化タスクのためのタイムスタンプのないフレームワークであるMeCoを紹介する。 MeCoは、提案された構造トークン生成とグラウンドパイプラインに基づいて、ビデオを全体的なイベントとトランジションセグメントに分割する。 本稿では,LLMを補完するクエリ中心のキャプションタスクを提案する。
• 参考スコア（独自算出の注目度）: 22.46313255627877
• License:
• Abstract: Localizing user-queried events through natural language is crucial for video understanding models. Recent methods predominantly adapt Video LLMs to generate event boundary timestamps to handle temporal localization tasks, which struggle to leverage LLMs' powerful semantic understanding. In this work, we introduce MeCo, a novel timestamp-free framework that enables video LLMs to fully harness their intrinsic semantic capabilities for temporal localization tasks. Rather than outputting boundary timestamps, MeCo partitions videos into holistic event and transition segments based on the proposed structural token generation and grounding pipeline, derived from video LLMs' temporal structure understanding capability. We further propose a query-focused captioning task that compels the LLM to extract fine-grained, event-specific details, bridging the gap between localization and higher-level semantics and enhancing localization performance. Extensive experiments on diverse temporal localization tasks show that MeCo consistently outperforms boundary-centric methods, underscoring the benefits of a semantic-driven approach for temporal localization with video LLMs.
• Abstract（参考訳）: 自然言語によるユーザクエリイベントのローカライズは、ビデオ理解モデルにとって不可欠である。 近年,ビデオLLMを時間的局所化タスクの処理にイベント境界タイムスタンプを生成する手法が主流で,LLMの強力なセマンティック理解の活用に苦慮している。 本研究では,ビデオLLMが時間的ローカライゼーションタスクに固有のセマンティック機能を完全に活用することのできる,タイムスタンプのない新しいフレームワークであるMeCoを紹介する。 境界タイムスタンプを出力する代わりに、MeCoは、ビデオLLMの時間構造理解能力から派生した、提案された構造トークンの生成とグラウンドングパイプラインに基づいて、ビデオを全体的イベントとトランジションセグメントに分割する。 さらに,LLMを補完するクエリ中心のキャプションタスクを提案し,よりきめ細かなイベント固有の詳細を抽出し,局所化と高レベルのセマンティクスのギャップを埋めるとともに,局所化性能を向上させる。 多様な時間的ローカライゼーションタスクに関する広範な実験により、MeCoは境界中心の手法を一貫して上回り、ビデオLLMによる時間的ローカライゼーションのための意味駆動アプローチの利点を裏付けている。

関連論文リスト

• Do Language Models Understand Time? [2.290956583394892]
  大規模言語モデル(LLM)は、アクション認識、異常検出、要約を含む、ビデオベースのコンピュータビジョンアプリケーションに革命をもたらした。 本研究は,ビデオ処理におけるLLMの役割を,時間的推論能力に着目して批判的に考察する。 LLMの時間的理解を制限するため、バイアス、時間的アノテーションの欠如、ドメイン固有の制限など、既存のビデオデータセットによる課題を分析します。
  論文  参考訳（メタデータ） (2024-12-18T13:38:06Z)
• MLLM as Video Narrator: Mitigating Modality Imbalance in Video Moment Retrieval [53.417646562344906]
  Video Moment Retrieval (VMR) は、自然言語クエリが与えられた未トリミング長ビデオ内の特定の時間セグメントをローカライズすることを目的としている。 既存の方法は、しばしば不十分なトレーニングアノテーションに悩まされる。つまり、文は通常、単語の多様性が制限された前景の顕著なビデオ内容のごく一部と一致する。 この本質的なモダリティの不均衡は、視覚情報のかなりの部分がテキストと一致しないまま残されている。 本研究では,MLLMをビデオナレーターとして用いて,ビデオのテキスト記述を多用し,モダリティの不均衡を緩和し,時間的局所化を促進させる。
  論文  参考訳（メタデータ） (2024-06-25T18:39:43Z)
• LITA: Language Instructed Temporal-Localization Assistant [71.68815100776278]
  ビデオ長に対してタイムスタンプをエンコードするタイムトークンを導入し,ビデオ中のタイムスタンプをよりよく表現する。 また、アーキテクチャにSlowFastトークンを導入し、微細な時間分解能で時間情報をキャプチャする。 時間的ローカライゼーションに重点を置くことで,既存のビデオLLMに比べて映像ベースのテキスト生成が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2024-03-27T22:50:48Z)
• Momentor: Advancing Video Large Language Model with Fine-Grained Temporal Reasoning [102.54669633984278]
  本稿では,微細な時間的理解作業を実現するためのビデオLLMであるMomentorを提案する。 Moment-10MでMomentorをトレーニングし、セグメントレベルの推論とローカライゼーションを可能にします。
  論文  参考訳（メタデータ） (2024-02-18T03:04:38Z)
• Structured Video-Language Modeling with Temporal Grouping and Spatial Grounding [112.3913646778859]
  簡単なビデオ言語モデリングフレームワークであるS-ViLMを提案する。 これには、学習領域オブジェクトのアライメントと時間認識機能を促進するために、クリップ間の空間的接地と、クリップ内の時間的グループ化という、2つの新しい設計が含まれている。 S-ViLMは4つの下流タスクにおいて、最先端の手法を大幅に超えている。
  論文  参考訳（メタデータ） (2023-03-28T22:45:07Z)
• Fine-grained Semantic Alignment Network for Weakly Supervised Temporal Language Grounding [148.46348699343991]
  時間的言語接地は、自然言語記述に基づいてビデオセグメントを未編集ビデオにローカライズすることを目的としている。 既存の弱教師付きメソッドのほとんどは、候補セグメントを生成し、MILベースのフレームワークを通じて、相互アライメントを学ぶ。 我々は、弱い教師付きTLGのための新しい候補のないフレームワーク、細粒度セマンティックアライメントネットワーク(FSAN)を提案する。
  論文  参考訳（メタデータ） (2022-10-21T13:10:27Z)
• Learning to Combine the Modalities of Language and Video for Temporal Moment Localization [4.203274985072923]
  時間的モーメントローカライゼーションは、クエリによって指定されたモーメントにマッチする最適なビデオセグメントを検索することを目的としている。 本稿では,時間的モーメントを局所化する認知過程を模倣して,新たな繰り返し単位であるクロスモーダル長短期記憶(CM-LSTM)を導入する。 また、入出力クエリーにより、入出力された映像特徴と未入出力映像特徴の両方に対する2ストリームの注意機構を考案し、必要な視覚情報が無視されるのを防ぐ。
  論文  参考訳（メタデータ） (2021-09-07T08:25:45Z)
• Progressive Localization Networks for Language-based Moment Localization [56.54450664871467]
  本稿では,言語に基づくモーメントローカライゼーションの課題に焦点を当てる。 既存のほとんどの手法は、まず時間長の候補モーメントをサンプリングし、そのモーメントを決定するために与えられたクエリとマッチングする。 本稿では,ターゲットモーメントを粗い方法で段階的に局所化する多段階プログレッシブ・ローカライゼーション・ネットワーク(PLN)を提案する。
  論文  参考訳（メタデータ） (2021-02-02T03:45:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。