論文の概要: Grounding in the Dark: Text-Only Training for Zero-Shot Video Temporal Localization

• arxiv url: http://arxiv.org/abs/2611.06149v1
• Date: Wed, 04 Nov 2026 08:31:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:58.027612
• Title: Grounding in the Dark: Text-Only Training for Zero-Shot Video Temporal Localization
• Title（参考訳）: 暗黒の接地: ゼロショットビデオ時間定位のためのテキストオンリートレーニング
• Abstract要約: ビデオLLMは通常、時間的タスクのためにペア化されたビデオテキストデータでトレーニングされるが、正確な時間的アノテーションの収集と大規模ビデオデータセットのトレーニングはどちらもコストがかかる。 テキストのみのLLMは、視覚言語による事前学習をしないが、テキストによるビデオ記述だけで、時間的グラウンドを実行し、推論時にのみビデオを受け取ることができるかどうかを検討する。
• 参考スコア（独自算出の注目度）: 4.211094055539418
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video-LLMs are typically trained on paired video-text data for temporal tasks, yet collecting precise temporal annotations and training on large-scale video datasets are both costly. We investigate whether a text-only LLM, with no vision-language pretraining, can be trained on textual video descriptions alone to perform temporal grounding and receive video only at inference time. This setting removes paired video data from training altogether and is a step toward training multimodal models without paired annotations. We generate a 134K-example corpus of textual sequences with up to 100 time steps, adapt Qwen3-8B with LoRA on CLIP or LLM2CLIP text embeddings, and evaluate on Charades-STA and QV-Highlights without training on videos from either benchmark. LLM2CLIP, whose text encoder supports longer inputs, represents detailed descriptions better than CLIP (61.54 versus 53.86 mtIoU on Temporal-TextVid) and transfers them better to video. Still, replacing text with frame embeddings at inference yields only 4.99 mtIoU on Charades-STA and 11.12 on QV-Highlights, revealing a large modality gap. To bridge it, we propose Nearest Entity Replacement (NER), a training-free mapping that represents each video frame by the normalized mean of its nearest text-entity embeddings, so that the model receives the kind of input it was trained on. NER reaches 14.45 mtIoU on Charades-STA and 20.72 on QV-Highlights, outperforming the strongest of four families of modality-gap baselines by 5.00 and 1.71 points. NER thus enables partial transfer from text to video, while more reliable grounding will likely require encoders with better-aligned text and visual representations.
• Abstract（参考訳）: ビデオLLMは通常、時間的タスクのためにペア化されたビデオテキストデータでトレーニングされるが、正確な時間的アノテーションの収集と大規模ビデオデータセットのトレーニングはどちらもコストがかかる。 テキストのみのLLMは、視覚言語による事前学習をしないが、テキストによるビデオ記述だけで、時間的グラウンドを実行し、推論時にのみビデオを受け取ることができるかどうかを検討する。 この設定は、ペア化されたビデオデータを完全にトレーニングから取り除き、ペア化されたアノテーションなしでマルチモーダルモデルのトレーニングを行うためのステップである。 最大100ステップのテキストシーケンスの134Kサンプルコーパスを生成し、CLIPまたはLLM2CLIPテキスト埋め込みにLoRAでQwen3-8Bを適応させ、両方のベンチマークから動画をトレーニングすることなくCharades-STAおよびQV-Highlightsで評価する。 LLM2CLIPはテキストエンコーダが長い入力をサポートするが、CLIP (61.54 対 53.86 mtIoU on Temporal-TextVid) よりも詳細な記述を表現し、ビデオに転送する。 それでも、テキストをフレーム埋め込みに置き換えると、Charades-STAで4.99 mtIoU、QV-Highlightsで11.12 mtIoUしか得られず、大きなモダリティギャップが明らかになる。 そこで我々は,Nearest Entity Replacement (NER) を提案する。Nearest Entity Replacement (NER) は,各ビデオフレームを最も近いテキストエンタテリティー埋め込みの正規化平均で表現し,トレーニング対象の入力の種類をモデルが受け取ります。 NERはチャラデス-STAで14.45 mtIoU、QV-Highlightsで20.72 mtIoUに達し、モダリティギャップベースラインの4つのファミリーで5.00点と1.71点を上回っている。 したがって、NERはテキストからビデオへの部分的な転送を可能にする一方で、より信頼性の高いグラウンドは、より整列したテキストと視覚表現を持つエンコーダを必要とする可能性が高い。

関連論文リスト

• Reversed in Time: A Novel Temporal-Emphasized Benchmark for Cross-Modal Video-Text Retrieval [49.44777976302792]
  クロスモーダル検索(例えば、画像テキスト、ビデオテキスト)は、情報検索およびマルチモーダル視覚言語理解分野において重要なタスクである。 本稿では,新しい時間強調ビデオテキスト検索データセットRTimeを紹介する。 私たちのRTimeデータセットは、現在1ビデオにつき10キャプションの21Kビデオで構成されており、合計で約122時間です。
  論文  参考訳（メタデータ） (2024-12-26T11:32:00Z)
• TOPA: Extending Large Language Models for Video Understanding via Text-Only Pre-Alignment [42.557643515992005]
  ビデオの理解は、相当量のWebビデオテキストデータが利用できるにもかかわらず、依然として課題である。 ビデオ理解のための大規模言語モデル(LLM)を拡張する新しいアプローチであるテキストオンリー・プレアライメント(TOPA)を導入する。
  論文  参考訳（メタデータ） (2024-05-22T18:35:10Z)
• A Recipe for Scaling up Text-to-Video Generation with Text-free Videos [72.59262815400928]
  拡散ベースのテキスト・ツー・ビデオ世代は、過去1年で目覚ましい進歩をみせたが、それでもテキスト・ツー・画像世代には及ばない。 我々はTF-T2Vと呼ばれる新しいテキスト・ビデオ生成フレームワークを考案した。
  論文  参考訳（メタデータ） (2023-12-25T16:37:39Z)
• VicTR: Video-conditioned Text Representations for Activity Recognition [73.09929391614266]
  より優れたビデオVLMは、視覚情報よりもテキストの強化に重点を置くことで設計できる、と我々は主張する。 本稿では,ビデオ条件付きテキスト表現(VicTR)を紹介する。 我々のモデルは、視覚的に接地された補助テキストという形で、自由に利用できるセマンティック情報を利用することができる。
  論文  参考訳（メタデータ） (2023-04-05T16:30:36Z)
• Contrastive Video-Language Learning with Fine-grained Frame Sampling [54.542962813921214]
  FineCoは、ビデオフレーム上で操作する微妙なコントラスト対象で、ビデオと言語表現をよりよく学習するアプローチである。 テキストと意味的に等価なフレームを選択することで、ビデオの削除を支援し、クロスモーダル対応を改善する。
  論文  参考訳（メタデータ） (2022-10-10T22:48:08Z)
• Align and Prompt: Video-and-Language Pre-training with Entity Prompts [111.23364631136339]
  ビデオと言語による事前トレーニングは、様々なダウンストリームタスクに有望な改善を示している。 Align and Prompt: クロスモーダルアライメントを改良した,効率的かつ効果的なビデオ・言語事前学習フレームワークを提案する。 私たちのコードと事前訓練されたモデルはリリースされます。
  論文  参考訳（メタデータ） (2021-12-17T15:55:53Z)
• CLIP2Video: Mastering Video-Text Retrieval via Image CLIP [13.270902407320005]
  本稿では、CLIP2Videoネットワークを用いて、画像言語学習モデルをエンドツーエンドでビデオテキスト検索に転送する。 我々は,テキスト・ツー・ビデオ・トゥ・テキスト・検索ベンチマークにおいて,徹底的なアブレーション研究を行い,最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-06-21T13:30:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。