論文の概要: Toward Scalable Video Narration: A Training-free Approach Using Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2507.17050v1
• Date: Tue, 22 Jul 2025 22:16:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-24 22:33:14.790916
• Title: Toward Scalable Video Narration: A Training-free Approach Using Multimodal Large Language Models
• Title（参考訳）: スケーラブルなビデオナレーションに向けて:マルチモーダル大言語モデルを用いたトレーニング不要アプローチ
• Authors: Tz-Ying Wu, Tahani Trigui, Sharath Nittur Sridhar, Anand Bodas, Subarna Tripathi,
• Abstract要約: 本稿では,ビデオキャプションを高密度に生成する新しいトレーニングフリーパイプラインであるVideoNarratorを紹介する。 VideoNarratorは、既製のMLLMとビジュアル言語モデルがキャプションジェネレータとして機能する柔軟なパイプラインを活用することで、課題に対処する。 実験の結果,これらの成分の相乗的相互作用はビデオナレーションの品質と精度を著しく向上させることが示された。
• 参考スコア（独自算出の注目度）: 10.585096070697348
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we introduce VideoNarrator, a novel training-free pipeline designed to generate dense video captions that offer a structured snapshot of video content. These captions offer detailed narrations with precise timestamps, capturing the nuances present in each segment of the video. Despite advancements in multimodal large language models (MLLMs) for video comprehension, these models often struggle with temporally aligned narrations and tend to hallucinate, particularly in unfamiliar scenarios. VideoNarrator addresses these challenges by leveraging a flexible pipeline where off-the-shelf MLLMs and visual-language models (VLMs) can function as caption generators, context providers, or caption verifiers. Our experimental results demonstrate that the synergistic interaction of these components significantly enhances the quality and accuracy of video narrations, effectively reducing hallucinations and improving temporal alignment. This structured approach not only enhances video understanding but also facilitates downstream tasks such as video summarization and video question answering, and can be potentially extended for advertising and marketing applications.
• Abstract（参考訳）: 本稿では,ビデオコンテンツの構造化スナップショットを提供する高密度なビデオキャプションを生成するための,新しいトレーニングフリーパイプラインであるVideoNarratorを紹介する。 これらのキャプションは正確なタイムスタンプで詳細なナレーションを提供し、ビデオの各セグメントに存在するニュアンスをキャプチャする。 ビデオ理解のためのマルチモーダル大言語モデル(MLLM)の進歩にもかかわらず、これらのモデルは時間的に整列したナレーションに苦しむことが多く、特に馴染みの無いシナリオでは幻覚する傾向がある。 VideoNarratorは、既製のMLLMとビジュアル言語モデル(VLM)がキャプションジェネレータ、コンテキストプロバイダ、キャプション検証として機能する柔軟なパイプラインを活用することで、これらの課題に対処する。 実験の結果,これらの成分の相乗的相互作用はビデオナレーションの品質と精度を著しく向上させ,幻覚を効果的に低減し,時間的アライメントを改善することが示唆された。 この構造化されたアプローチは、ビデオ理解を強化するだけでなく、ビデオ要約やビデオ質問応答といった下流タスクも促進し、広告やマーケティングアプリケーションにも拡張できる可能性がある。

関連論文リスト

• Controllable Hybrid Captioner for Improved Long-form Video Understanding [0.24578723416255746]
  ビデオデータは極めて密度が高く、高次元である。 テキストベースの動画コンテンツの要約は、生よりはるかにコンパクトな方法でコンテンツを表現する方法を提供する。 静的なシーン記述でメモリを豊かにするビジョン言語モデル(VLM)を導入する。
  論文  参考訳（メタデータ） (2025-07-22T22:09:00Z)
• Realizing Video Summarization from the Path of Language-based Semantic Understanding [19.825666473712197]
  本稿では,Mixture of Experts(MoE)パラダイムに触発された新しいビデオ要約フレームワークを提案する。 提案手法は,複数のビデオLLMを統合し,包括的で一貫性のあるテキスト要約を生成する。
  論文  参考訳（メタデータ） (2024-10-06T15:03:22Z)
• MMTrail: A Multimodal Trailer Video Dataset with Language and Music Descriptions [69.9122231800796]
  MMTrailは,2000万回以上のトレーラークリップと視覚的キャプションを組み込んだ大規模マルチモーダルビデオ言語データセットである。 本稿では,27.1k時間以上のトレーラービデオで様々なモダリティアノテーションを実現するシステムキャプションフレームワークを提案する。 我々のデータセットは、大きめのマルチモーダル言語モデルトレーニングのためのパスを舗装する可能性がある。
  論文  参考訳（メタデータ） (2024-07-30T16:43:24Z)
• MLLM as Video Narrator: Mitigating Modality Imbalance in Video Moment Retrieval [53.417646562344906]
  Video Moment Retrieval (VMR) は、自然言語クエリが与えられた未トリミング長ビデオ内の特定の時間セグメントをローカライズすることを目的としている。 既存の方法は、しばしば不十分なトレーニングアノテーションに悩まされる。つまり、文は通常、単語の多様性が制限された前景の顕著なビデオ内容のごく一部と一致する。 この本質的なモダリティの不均衡は、視覚情報のかなりの部分がテキストと一致しないまま残されている。 本研究では,MLLMをビデオナレーターとして用いて,ビデオのテキスト記述を多用し,モダリティの不均衡を緩和し,時間的局所化を促進させる。
  論文  参考訳（メタデータ） (2024-06-25T18:39:43Z)
• Video-LaVIT: Unified Video-Language Pre-training with Decoupled Visual-Motional Tokenization [52.63845811751936]
  ダイナミックスビデオのモデリングのため、ビデオ事前トレーニングは難しい。 本稿では,ビデオ事前学習におけるこのような制限を,効率的なビデオ分解によって解決する。 筆者らのフレームワークは,13のマルチモーダルベンチマークにおいて,画像と映像のコンテントの理解と生成が可能であることを実証した。
  論文  参考訳（メタデータ） (2024-02-05T16:30:49Z)
• VidCoM: Fast Video Comprehension through Large Language Models with Multimodal Tools [44.78291853329394]
  textbfVidCoMは、Large Language Models (LLM)を活用して、軽量なビジュアルツールを使用して動画を推論する高速適応フレームワークである。 InsOVERアルゴリズムは、言語命令の分解とビデオイベントの間の効率的なハンガリー語マッチングに基づいて、対応するビデオイベントを特定する。
  論文  参考訳（メタデータ） (2023-10-16T17:05:56Z)
• HowToCaption: Prompting LLMs to Transform Video Annotations at Scale [72.69268311756082]
  本稿では,大言語モデル(LLM)の能力を活用して,大規模ビデオに対応する高品質な映像記述を実現することを提案する。 本稿では,より長い字幕テキストを考慮に入れたプロンプト手法を提案する。 我々は、HowTo100Mデータセットの字幕にメソッドを適用し、新しい大規模データセット、HowToCaptionを作成します。
  論文  参考訳（メタデータ） (2023-10-07T19:32:55Z)
• HierVL: Learning Hierarchical Video-Language Embeddings [108.77600799637172]
  HierVLは階層的なビデオ言語埋め込みであり、長期および短期の関連を同時に扱う。 クリップレベルとビデオレベルの両方でテキストと視覚のアライメントを促進する階層的なコントラストトレーニングの目標を導入する。 我々の階層的スキームは、SotAを達成した長期的なビデオ表現と同様に、その単一レベルよりも優れたクリップ表現をもたらす。
  論文  参考訳（メタデータ） (2023-01-05T21:53:19Z)
• Language Models with Image Descriptors are Strong Few-Shot Video-Language Learners [167.0346394848718]
  画像と言語モデルを用いたビデオ言語学習システムVidILを提案する。 画像言語モデルを用いて、映像コンテンツをフレームキャプション、オブジェクト、属性、イベントフレーズに変換する。 次に、いくつかのインコンテキスト例を含むプロンプトを持つ言語モデルに指示して、合成されたコンテンツからターゲット出力を生成する。
  論文  参考訳（メタデータ） (2022-05-22T05:18:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。