論文の概要: Zero-shot Audio Topic Reranking using Large Language Models

• arxiv url: http://arxiv.org/abs/2309.07606v2
• Date: Tue, 10 Sep 2024 13:39:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-11 23:57:26.367321
• Title: Zero-shot Audio Topic Reranking using Large Language Models
• Title（参考訳）: 大規模言語モデルを用いたゼロショット音声トピックの再評価
• Authors: Mengjie Qian, Rao Ma, Adian Liusie, Erfan Loweimi, Kate M. Knill, Mark J. F. Gales,
• Abstract要約: 実例によるマルチモーダルビデオ検索 (MVSE) では, ビデオクリップを情報検索の問合せ語として利用する。 本研究の目的は,この高速アーカイブ検索による性能損失を,再ランク付け手法を検証することによって補償することである。 パブリックなビデオアーカイブであるBBC Rewind corpusでトピックベースの検索のパフォーマンスを評価する。
• 参考スコア（独自算出の注目度）: 42.774019015099704
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal Video Search by Examples (MVSE) investigates using video clips as the query term for information retrieval, rather than the more traditional text query. This enables far richer search modalities such as images, speaker, content, topic, and emotion. A key element for this process is highly rapid and flexible search to support large archives, which in MVSE is facilitated by representing video attributes with embeddings. This work aims to compensate for any performance loss from this rapid archive search by examining reranking approaches. In particular, zero-shot reranking methods using large language models (LLMs) are investigated as these are applicable to any video archive audio content. Performance is evaluated for topic-based retrieval on a publicly available video archive, the BBC Rewind corpus. Results demonstrate that reranking significantly improves retrieval ranking without requiring any task-specific in-domain training data. Furthermore, three sources of information (ASR transcriptions, automatic summaries and synopses) as input for LLM reranking were compared. To gain a deeper understanding and further insights into the performance differences and limitations of these text sources, we employ a fact-checking approach to analyse the information consistency among them.
• Abstract（参考訳）: MVSE(Multimodal Video Search by Examples)は、従来のテキストクエリではなく、情報検索のクエリ語としてビデオクリップを使用することを調査する。 これにより、画像、話者、コンテンツ、トピック、感情など、はるかにリッチな検索モダリティが可能になる。 このプロセスの重要な要素は、大規模なアーカイブをサポートするための高速で柔軟な検索である。 本研究の目的は,この高速アーカイブ検索による性能損失を,再ランク付け手法を検証することによって補償することである。 特に,大規模言語モデル (LLM) を用いたゼロショット復位法について,ビデオアーカイブ音声コンテンツに適用可能であるとして検討した。 パブリックなビデオアーカイブであるBBC Rewind corpusでトピックベースの検索のパフォーマンスを評価する。 その結果、再ランク付けはタスク固有のドメイン内トレーニングデータを必要とせずに、検索ランク付けを大幅に改善することを示した。 さらに, LLM再分類のための入力として, 3つの情報源(ASR転写, 自動要約, シナプス)を比較した。 これらのテキストソースのパフォーマンスの違いや制限について、より深い理解とさらなる洞察を得るために、情報一貫性の分析にファクトチェックのアプローチを採用する。

関連論文リスト

• VideoRAG: Retrieval-Augmented Generation over Video Corpus [57.68536380621672]
  VideoRAGは、クエリと関連性に基づいて関連動画を動的に検索する新しいフレームワークである。 我々は,ビデオRAGの有効性を実験的に検証し,関連するベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-01-10T11:17:15Z)
• Fine-grained Video-Text Retrieval: A New Benchmark and Method [25.2967056489715]
  FIBERは,FineActionデータセットから生成した1,000本のビデオを含むビデオ検索に,テキスト用の微細なbenchmarkである。 FIBERベンチマークでは,ビデオ毎の詳細な空間アノテーションと時間アノテーションが提供されている。 実験の結果,従来のベンチマークにおいて,ビデオ大言語(VLLE)はCLIPベースのモデルと相容れない性能を示した。
  論文  参考訳（メタデータ） (2024-12-31T15:53:50Z)
• Query-centric Audio-Visual Cognition Network for Moment Retrieval, Segmentation and Step-Captioning [56.873534081386]
  ビデオ検索、モーメント検索、モーメントセグメンテーション、ステップキャプションを含む新しいトピックHIRESTが紹介されている。 3つのタスクに対して信頼性の高いマルチモーダル表現を構築するために,クエリ中心の音声視覚認知ネットワークを提案する。 これにより、ユーザが優先するコンテンツを認識し、3つのタスクに対してクエリ中心の音声視覚表現を実現することができる。
  論文  参考訳（メタデータ） (2024-12-18T06:43:06Z)
• GQE: Generalized Query Expansion for Enhanced Text-Video Retrieval [56.610806615527885]
  本稿では,テキストとビデオ間の固有情報不均衡に対処するため,新しいデータ中心型アプローチであるGeneralized Query Expansion (GQE)を提案する。 ビデオをショートクリップにアダプティブに分割し、ゼロショットキャプションを採用することで、GQEはトレーニングデータセットを総合的なシーン記述で強化する。 GQEは、MSR-VTT、MSVD、SMDC、VATEXなど、いくつかのベンチマークで最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-08-14T01:24:09Z)
• Improving Video Corpus Moment Retrieval with Partial Relevance Enhancement [72.7576395034068]
  Video Corpus Moment Retrieval(VCMR)は、テキストクエリを使って、大量の未トリミングビデオから関連する瞬間を検索するための、新しいビデオ検索タスクである。 我々は、VCMRタスクにおいて、クエリとビデオの間の部分的関係を効果的に捉えることが不可欠であると主張している。 ビデオ検索には,2つのモーダルに対して異なる問合せ表現を生成するマルチモーダル・コラボレーティブ・ビデオレトリバーを導入する。 そこで本研究では,モータリティ特異的なゲートを用いたモーメントローカライザを提案する。
  論文  参考訳（メタデータ） (2024-02-21T07:16:06Z)
• Synergistic Interplay between Search and Large Language Models for Information Retrieval [141.18083677333848]
  InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。 InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
  論文  参考訳（メタデータ） (2023-05-12T11:58:15Z)
• Deep Learning for Video-Text Retrieval: a Review [13.341694455581363]
  Video-Text Retrieval (VTR) は、ある文のセマンティクスに関連する最も関連性の高いビデオを探すことを目的としている。 本稿では,VTRに関する100以上の研究論文をレビューし,要約する。
  論文  参考訳（メタデータ） (2023-02-24T10:14:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。