論文の概要: Simple Baselines for Interactive Video Retrieval with Questions and Answers

• arxiv url: http://arxiv.org/abs/2308.10402v1
• Date: Mon, 21 Aug 2023 00:32:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-22 15:38:41.665707
• Title: Simple Baselines for Interactive Video Retrieval with Questions and Answers
• Title（参考訳）: 質問と回答を伴うインタラクティブビデオ検索のための簡易ベースライン
• Authors: Kaiqu Liang, Samuel Albanie
• Abstract要約: 本稿では,質問応答による対話型ビデオ検索のための,シンプルで効果的なベースラインを提案する。 ユーザインタラクションをシミュレートするためにビデオQAモデルを用い,対話型検索タスクの生産性向上を可能にすることを示す。 MSR-VTT, MSVD, AVSDによる実験により, 問合せに基づくインタラクションを用いたフレームワークは, テキストベースのビデオ検索システムの性能を大幅に向上させることが示された。
• 参考スコア（独自算出の注目度）: 33.17722358007974
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To date, the majority of video retrieval systems have been optimized for a "single-shot" scenario in which the user submits a query in isolation, ignoring previous interactions with the system. Recently, there has been renewed interest in interactive systems to enhance retrieval, but existing approaches are complex and deliver limited gains in performance. In this work, we revisit this topic and propose several simple yet effective baselines for interactive video retrieval via question-answering. We employ a VideoQA model to simulate user interactions and show that this enables the productive study of the interactive retrieval task without access to ground truth dialogue data. Experiments on MSR-VTT, MSVD, and AVSD show that our framework using question-based interaction significantly improves the performance of text-based video retrieval systems.
• Abstract（参考訳）: これまで、ほとんどのビデオ検索システムは、ユーザが単独でクエリを提出する「単発」シナリオに最適化されており、システムとの以前のインタラクションを無視している。 近年,検索機能向上のためのインタラクティブシステムへの関心が高まっているが,既存のアプローチは複雑であり,性能的にも限界がある。 本稿では,このトピックを再考し,質問応答によるインタラクティブなビデオ検索のための,シンプルかつ効果的なベースラインを提案する。 本研究では,ユーザインタラクションをシミュレートするvideoqaモデルを用いて,対話的な検索タスクを,真理対話データにアクセスせずに生産的に研究できることを示す。 MSR-VTT, MSVD, AVSDによる実験により, 問合せに基づくインタラクションにより, テキストベースのビデオ検索システムの性能が大幅に向上することが示された。

関連論文リスト

• Enhancing Multimodal Query Representation via Visual Dialogues for End-to-End Knowledge Retrieval [26.585985828583304]
  本稿では,マルチモーダルクエリを理解可能なテキスト検索機能を実現するために,エンドツーエンドのマルチモーダル検索システムRet-XKnowを提案する。 マルチモーダルインタラクションを効果的に学習するために、視覚対話データセットから構築したVisual Dialogue-to-Retrievalデータセットも導入する。 提案手法は,ゼロショット設定における検索性能を大幅に向上するだけでなく,微調整シナリオの大幅な改善も達成できることを示す。
  論文  参考訳（メタデータ） (2024-11-13T04:32:58Z)
• GQE: Generalized Query Expansion for Enhanced Text-Video Retrieval [56.610806615527885]
  本稿では,テキストとビデオ間の固有情報不均衡に対処するため,新しいデータ中心型アプローチであるGeneralized Query Expansion (GQE)を提案する。 ビデオをショートクリップにアダプティブに分割し、ゼロショットキャプションを採用することで、GQEはトレーニングデータセットを総合的なシーン記述で強化する。 GQEは、MSR-VTT、MSVD、SMDC、VATEXなど、いくつかのベンチマークで最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-08-14T01:24:09Z)
• Interactive Text-to-Image Retrieval with Large Language Models: A Plug-and-Play Approach [33.231639257323536]
  本稿では,対話型テキスト・画像検索タスクにおける対話型コンテキストクエリの問題に対処する。 対話形式のコンテキストを再構成することにより、既存の視覚的対話データから検索モデルを微調整する必要がなくなる。 対象画像の属性に関する非冗長な質問を生成するために,LLM質問機を構築した。
  論文  参考訳（メタデータ） (2024-06-05T16:09:01Z)
• Text-Video Retrieval with Global-Local Semantic Consistent Learning [122.15339128463715]
  我々は,シンプルで効果的なグローバル局所意味的一貫性学習(GLSCL)を提案する。 GLSCLは、テキストビデオ検索のためのモダリティをまたいだ潜在共有セマンティクスを活用する。 本手法はSOTAと同等の性能を実現し,計算コストの約220倍の高速化を実現している。
  論文  参考訳（メタデータ） (2024-05-21T11:59:36Z)
• DVIS-DAQ: Improving Video Segmentation via Dynamic Anchor Queries [60.09774333024783]
  動的アンカークエリ(DAQ)を導入し、アンカーとターゲットクエリ間の遷移ギャップを短くする。 また,クエリレベルのオブジェクトEmergence and Disappearance Simulation(EDS)戦略を導入する。 実験により、DVIS-DAQは5つの主流ビデオセグメンテーションベンチマーク上で、新しい最先端(SOTA)性能を達成することが示された。
  論文  参考訳（メタデータ） (2024-03-29T17:58:50Z)
• VaQuitA: Enhancing Alignment in LLM-Assisted Video Understanding [63.075626670943116]
  本稿では,映像情報とテキスト情報の相乗効果を向上するための最先端フレームワークであるVaQuitAを紹介する。 データレベルでは、フレームを均一にサンプリングする代わりに、CLIPスコアランキングでガイドされるサンプリング手法を実装している。 機能レベルでは、Visual-Query Transformerと一緒にトレーニング可能なVideo Perceiverを統合します。
  論文  参考訳（メタデータ） (2023-12-04T19:48:02Z)
• Zero-shot Audio Topic Reranking using Large Language Models [42.774019015099704]
  実例によるマルチモーダルビデオ検索 (MVSE) では, ビデオクリップを情報検索の問合せ語として利用する。 本研究の目的は,この高速アーカイブ検索による性能損失を,再ランク付け手法を検証することによって補償することである。 パブリックなビデオアーカイブであるBBC Rewind corpusでトピックベースの検索のパフォーマンスを評価する。
  論文  参考訳（メタデータ） (2023-09-14T11:13:36Z)
• Collaborative Reasoning on Multi-Modal Semantic Graphs for Video-Grounded Dialogue Generation [53.87485260058957]
  本研究では,対話コンテキストと関連ビデオに基づいて応答を生成するビデオグラウンド・ダイアログ生成について検討する。 本課題の主な課題は,(1)事前学習言語モデル(PLM)に映像データを統合することの難しさである。 異なるモーダルの推論を協調的に行うマルチエージェント強化学習法を提案する。
  論文  参考訳（メタデータ） (2022-10-22T14:45:29Z)
• Learning to Retrieve Videos by Asking Questions [29.046045230398708]
  本稿では,ダイアログ(ViReD)を用いたビデオ検索のための新しいフレームワークを提案する。 このフレームワークの主な貢献は、その後のビデオ検索性能を最大化する質問を学習する、新しいマルチモーダル質問生成器である。 AVSDデータセット上での対話型ViReDフレームワークの有効性を検証し,従来の非対話型ビデオ検索システムよりも対話型手法の方が優れた性能を示した。
  論文  参考訳（メタデータ） (2022-05-11T19:14:39Z)
• Part2Whole: Iteratively Enrich Detail for Cross-Modal Retrieval with Partial Query [25.398090300086302]
  本稿では,この問題に対処する対話型検索フレームワークPart2Wholeを提案する。 Interactive Retrieval Agentは、初期クエリを洗練するための最適なポリシーを構築するために訓練される。 テキスト画像データセット以外の人手による注釈データを必要としない弱教師付き強化学習法を提案する。
  論文  参考訳（メタデータ） (2021-03-02T11:27:05Z)
• Tree-Augmented Cross-Modal Encoding for Complex-Query Video Retrieval [98.62404433761432]
  インターネット上のユーザ生成ビデオの急速な増加により、テキストベースのビデオ検索システムの必要性が高まっている。 従来の手法は主に単純なクエリによる検索における概念に基づくパラダイムを好んでいる。 木を増設したクロスモーダルを提案する。 クエリの言語構造とビデオの時間表現を共同で学習する手法。
  論文  参考訳（メタデータ） (2020-07-06T02:50:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。