論文の概要: Towards Retrieval Augmented Generation over Large Video Libraries

• arxiv url: http://arxiv.org/abs/2406.14938v1
• Date: Fri, 21 Jun 2024 07:52:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-24 14:23:19.110779
• Title: Towards Retrieval Augmented Generation over Large Video Libraries
• Title（参考訳）: 大規模ビデオライブラリの検索向上に向けて
• Authors: Yannis Tevissen, Khalil Guetari, Frédéric Petitpont,
• Abstract要約: 本稿では,相互運用可能なアーキテクチャによるVLQA(Video Library Question Answering)の課題を紹介する。 本稿では,大規模言語モデル(LLM)を用いて検索クエリを生成し,関連ビデオモーメントを検索するシステムを提案する。 回答生成モジュールは、ユーザクエリとメタデータを統合して、特定のビデオタイムスタンプでレスポンスを生成する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video content creators need efficient tools to repurpose content, a task that often requires complex manual or automated searches. Crafting a new video from large video libraries remains a challenge. In this paper we introduce the task of Video Library Question Answering (VLQA) through an interoperable architecture that applies Retrieval Augmented Generation (RAG) to video libraries. We propose a system that uses large language models (LLMs) to generate search queries, retrieving relevant video moments indexed by speech and visual metadata. An answer generation module then integrates user queries with this metadata to produce responses with specific video timestamps. This approach shows promise in multimedia content retrieval, and AI-assisted video content creation.
• Abstract（参考訳）: ビデオコンテンツのクリエーターは、複雑な手作業や自動検索を必要とするタスクであるコンテンツを再利用するための効率的なツールを必要としている。 巨大なビデオライブラリーから新しいビデオを作るのはまだ難しい。 本稿では,ビデオライブラリにRAG(Retrieval Augmented Generation)を適用した相互運用型アーキテクチャによるVLQA(Video Library Question Answering)の課題を紹介する。 本稿では,大規模言語モデル(LLM)を用いて検索クエリを生成し,音声と視覚メタデータによってインデックス付けされた関連ビデオモーメントを検索するシステムを提案する。 回答生成モジュールは、ユーザクエリとメタデータを統合して、特定のビデオタイムスタンプでレスポンスを生成する。 このアプローチは、マルチメディアコンテンツ検索とAI支援ビデオコンテンツ作成において有望であることを示す。

関連論文リスト

• SALOVA: Segment-Augmented Long Video Assistant for Targeted Retrieval and Routing in Long-Form Video Analysis [52.050036778325094]
  本稿では,SALOVA: Segment-Augmented Video Assistantを紹介する。 87.8Kビデオの高品質なコレクションをセグメントレベルで高密度にキャプションし、シーンの連続性を捕捉し、リッチなコンテキストを維持する。 本フレームワークは,クエリに応答して,関連ビデオセグメントの正確な識別と検索を可能にすることで,現在のビデオLMMの限界を緩和する。
  論文  参考訳（メタデータ） (2024-11-25T08:04:47Z)
• GQE: Generalized Query Expansion for Enhanced Text-Video Retrieval [56.610806615527885]
  本稿では,テキストとビデオ間の固有情報不均衡に対処するため,新しいデータ中心型アプローチであるGeneralized Query Expansion (GQE)を提案する。 ビデオをショートクリップにアダプティブに分割し、ゼロショットキャプションを採用することで、GQEはトレーニングデータセットを総合的なシーン記述で強化する。 GQEは、MSR-VTT、MSVD、SMDC、VATEXなど、いくつかのベンチマークで最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-08-14T01:24:09Z)
• Needle In A Video Haystack: A Scalable Synthetic Evaluator for Video MLLMs [20.168429351519055]
  ビデオ理解はマルチモーダル大言語モデル(LMLM)にとって重要な次のステップである 合成ビデオ生成によるベンチマーク構築フレームワークであるVideoNIAH(Video Needle In A Haystack)を提案する。 我々は、プロプライエタリモデルとオープンソースモデルの両方を包括的に評価し、ビデオ理解能力の重大な違いを明らかにする。
  論文  参考訳（メタデータ） (2024-06-13T17:50:05Z)
• iRAG: Advancing RAG for Videos with an Incremental Approach [3.486835161875852]
  大規模なビデオコーパス内のすべてのコンテンツをテキスト記述に一回、前もって変換することは、高い処理時間を必要とする。 iRAGと呼ばれるインクリメンタルなRAGシステムを提案し、RAGを新たなインクリメンタルなワークフローで拡張し、ビデオデータのインタラクティブなクエリを可能にする。 iRAGは、大規模なビデオコーパスの効率的なインタラクティブクエリをサポートするインクリメンタルワークフローでRAGを拡張する最初のシステムである。
  論文  参考訳（メタデータ） (2024-04-18T16:38:02Z)
• LongVLM: Efficient Long Video Understanding via Large Language Models [55.813206751150716]
  LongVLMはビデオ理解のためのシンプルだが強力なビデオLLMである。 ローカル情報とグローバル情報の両方を含むビデオ表現をエンコードする。 我々のモデルは、長いビデオ理解のためのより正確な応答を生成する。
  論文  参考訳（メタデータ） (2024-04-04T11:33:29Z)
• Improving Video Corpus Moment Retrieval with Partial Relevance Enhancement [72.7576395034068]
  Video Corpus Moment Retrieval(VCMR)は、テキストクエリを使って、大量の未トリミングビデオから関連する瞬間を検索するための、新しいビデオ検索タスクである。 我々は、VCMRタスクにおいて、クエリとビデオの間の部分的関係を効果的に捉えることが不可欠であると主張している。 ビデオ検索には,2つのモーダルに対して異なる問合せ表現を生成するマルチモーダル・コラボレーティブ・ビデオレトリバーを導入する。 そこで本研究では,モータリティ特異的なゲートを用いたモーメントローカライザを提案する。
  論文  参考訳（メタデータ） (2024-02-21T07:16:06Z)
• InternVid: A Large-scale Video-Text Dataset for Multimodal Understanding and Generation [90.71796406228265]
  InternVidは大規模なビデオ中心のマルチモーダルデータセットで、強力で転送可能なビデオテキスト表現の学習を可能にする。 InternVidデータセットは700万本以上のビデオが760万時間近く持続し、合計4.1Bワードの詳細な記述を伴う234万本のビデオクリップが生成される。
  論文  参考訳（メタデータ） (2023-07-13T17:58:32Z)
• Hierarchical Video-Moment Retrieval and Step-Captioning [68.4859260853096]
  HiRESTは、インストラクショナルビデオデータセットから3.4Kのテキストビデオペアで構成されている。 我々の階層的ベンチマークは、ビデオ検索、モーメント検索、2つの新しいモーメントセグメンテーション、ステップキャプションタスクからなる。
  論文  参考訳（メタデータ） (2023-03-29T02:33:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。