論文の概要: Enrich and Detect: Video Temporal Grounding with Multimodal LLMs

• arxiv url: http://arxiv.org/abs/2510.17023v1
• Date: Sun, 19 Oct 2025 22:12:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 00:56:39.254129
• Title: Enrich and Detect: Video Temporal Grounding with Multimodal LLMs
• Title（参考訳）: エンリッチと検出:マルチモーダルLLMによるビデオ時間グラウンド
• Authors: Shraman Pramanick, Effrosyni Mavroudi, Yale Song, Rama Chellappa, Lorenzo Torresani, Triantafyllos Afouras,
• Abstract要約: ED-VTGは,マルチモーダルな大言語モデルを用いた微細なビデオ時間的グラウンド化手法である。 提案手法は,テキストと動画を共同処理するマルチモーダルLLMの機能を利用する。 我々は,時間的ビデオグラウンドと段落グラウンドの設定において,様々なベンチマークにおいて最先端の結果を示す。
• 参考スコア（独自算出の注目度）: 60.224522472631776
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce ED-VTG, a method for fine-grained video temporal grounding utilizing multi-modal large language models. Our approach harnesses the capabilities of multimodal LLMs to jointly process text and video, in order to effectively localize natural language queries in videos through a two-stage process. Rather than being directly grounded, language queries are initially transformed into enriched sentences that incorporate missing details and cues to aid in grounding. In the second stage, these enriched queries are grounded, using a lightweight decoder, which specializes at predicting accurate boundaries conditioned on contextualized representations of the enriched queries. To mitigate noise and reduce the impact of hallucinations, our model is trained with a multiple-instance-learning objective that dynamically selects the optimal version of the query for each training sample. We demonstrate state-of-the-art results across various benchmarks in temporal video grounding and paragraph grounding settings. Experiments reveal that our method significantly outperforms all previously proposed LLM-based temporal grounding approaches and is either superior or comparable to specialized models, while maintaining a clear advantage against them in zero-shot evaluation scenarios.
• Abstract（参考訳）: ED-VTGは,マルチモーダルな大言語モデルを用いた微細なビデオ時間的グラウンド化手法である。 提案手法は,テキストと動画を協調的に処理するマルチモーダルLLMの機能を利用して,2段階のプロセスで動画中の自然言語クエリを効果的にローカライズする。 直接接地されるのではなく、言語クエリは最初、接地を支援するために欠落した詳細と手がかりを含むリッチな文に変換される。 第2段階では、これらのリッチ化されたクエリは、軽量なデコーダを使用して、拡張されたクエリのコンテキスト化された表現に基づいて、正確な境界を予測できる。 ノイズを軽減し,幻覚の影響を低減するため,本モデルでは,各トレーニングサンプルに対するクエリの最適バージョンを動的に選択するマルチスタンス学習目標を用いて訓練を行った。 我々は,時間的ビデオグラウンドや段落グラウンドの設定において,様々なベンチマークにおいて最先端の結果を示す。 実験の結果,提案手法は従来提案されていたLCMに基づく時間的接地手法よりも優れており,ゼロショット評価シナリオにおいて,それに対して明らかな優位性を維持しつつも,特殊モデルに優れているか同等かのどちらかであることがわかった。

関連論文リスト

• A Survey on Video Temporal Grounding with Multimodal Large Language Model [107.24431595873808]
  時間的グラウンドリング(VTG)の最近の進歩は、きめ細かいビデオ理解を著しく向上させた。 より優れたマルチモーダル理解と推論能力により、MLLM(VTG-MLLM)に基づくVTGアプローチは、従来の微調整手法を徐々に超えつつある。 一般的なビデオ言語理解に関する広範な調査にもかかわらず、VTG-MLLMに関する包括的なレビューは乏しいままである。
  論文  参考訳（メタデータ） (2025-08-07T08:52:11Z)
• TSPO: Temporal Sampling Policy Optimization for Long-form Video Language Understanding [25.675553077419274]
  MLLM(Multimodal Language Models)は、視覚タスクにおいて大きな進歩を見せている。 本稿では、MLLMの長文ビデオ言語理解を強化学習により促進する時間サンプリングポリシー最適化(TSPO)を提案する。 我々のTSPOは、複数の長いビデオ理解ベンチマークにまたがって最先端のビデオMLLM間での転送能力を示す。
  論文  参考訳（メタデータ） (2025-08-06T12:03:36Z)
• Training-free Video Temporal Grounding using Large-scale Pre-trained Models [41.71055776623368]
  ビデオの時間的グラウンドは、与えられた自然言語クエリに最も関係のある、トリミングされていないビデオ内のビデオセグメントを特定することを目的としている。 既存のビデオ時間的ローカライゼーションモデルは、トレーニングのために特定のデータセットに依存しており、データ収集コストが高い。 本研究では,事前学習型大規模モデルの能力を活用したトレーニングフリービデオ時間グラウンド手法を提案する。
  論文  参考訳（メタデータ） (2024-08-29T02:25:12Z)
• Aligning Language Models with Demonstrated Feedback [58.834937450242975]
  Demonstration ITerated Task Optimization (DITTO)は、言語モデルの出力とユーザの実証された振る舞いを直接調整する。 我々は,DITTOがニュース記事やメール,ブログ記事などのドメイン間できめ細かいスタイルやタスクアライメントを学習する能力を評価する。
  論文  参考訳（メタデータ） (2024-06-02T23:13:56Z)
• Harnessing Large Language Models for Training-free Video Anomaly Detection [34.76811491190446]
  ビデオ異常検出(VAD)は、ビデオ内の異常事象を時間的に検出することを目的としている。 トレーニングベースのメソッドはドメイン固有のものになりがちなので、実践的なデプロイメントにはコストがかかる。 Language-based VAD (LAVAD)を提案する。
  論文  参考訳（メタデータ） (2024-04-01T09:34:55Z)
• Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Grounding [108.79026216923984]
  ビデオグラウンドイングは、入力テキストクエリに対応するビデオ内の時間セクションをローカライズすることを目的としている。 本稿では,現在のビデオグラウンドリング手法において,オープン語彙時空間ビデオグラウンドニングタスクを導入することにより,限界に対処する。
  論文  参考訳（メタデータ） (2023-12-31T13:53:37Z)
• Language-free Training for Zero-shot Video Grounding [50.701372436100684]
  ビデオグラウンディングは、テキストと動画を同時に理解することで、時間間隔をローカライズすることを目的としている。 最も難しい問題のひとつは、非常に時間とコストのかかるアノテーションの収集です。 ゼロショット設定におけるビデオグラウンドティングのための,シンプルかつ斬新なトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-24T06:55:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。