論文の概要: MTVR: Multilingual Moment Retrieval in Videos

• arxiv url: http://arxiv.org/abs/2108.00061v1
• Date: Fri, 30 Jul 2021 20:01:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-03 15:42:21.489742
• Title: MTVR: Multilingual Moment Retrieval in Videos
• Title（参考訳）: MTVR:ビデオの多言語モーメント検索
• Authors: Jie Lei, Tamara L. Berg, Mohit Bansal
• Abstract要約: 大規模な多言語ビデオモーメント検索データセットであるmTVRを導入し、21.8Kのテレビ番組ビデオクリップから218Kの英語と中国語のクエリを含む。 データセットは、人気のTVRデータセット(英語)を中国語クエリと字幕のペアで拡張することで収集される。 両言語からのデータを学習し,操作する多言語モーメント検索モデルであるmXMLを提案する。
• 参考スコア（独自算出の注目度）: 89.24431389933703
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce mTVR, a large-scale multilingual video moment retrieval dataset, containing 218K English and Chinese queries from 21.8K TV show video clips. The dataset is collected by extending the popular TVR dataset (in English) with paired Chinese queries and subtitles. Compared to existing moment retrieval datasets, mTVR is multilingual, larger, and comes with diverse annotations. We further propose mXML, a multilingual moment retrieval model that learns and operates on data from both languages, via encoder parameter sharing and language neighborhood constraints. We demonstrate the effectiveness of mXML on the newly collected MTVR dataset, where mXML outperforms strong monolingual baselines while using fewer parameters. In addition, we also provide detailed dataset analyses and model ablations. Data and code are publicly available at https://github.com/jayleicn/mTVRetrieval
• Abstract（参考訳）: 大規模な多言語ビデオモーメント検索データセットであるmTVRを導入し、21.8Kのテレビ番組ビデオクリップから218Kの英語と中国語のクエリを含む。 データセットは、人気のTVRデータセット(英語)を中国語クエリと字幕のペアで拡張することで収集される。 既存のモーメント検索データセットと比較して、mTVRは多言語で大きく、多様なアノテーションが付属している。 さらに,エンコーダパラメータの共有と言語近傍の制約を通じて,両言語からデータを学習し,操作する多言語モーメント検索モデルであるmxmlを提案する。 本研究では,新たに収集したmtvrデータセットにおけるmxmlの有効性を実証する。 さらに,詳細なデータセット解析とモデルアブレーションも提供する。 データとコードはhttps://github.com/jayleicn/mTVRetrievalで公開されている。

関連論文リスト

• Leveraging LLMs for Synthesizing Training Data Across Many Languages in Multilingual Dense Retrieval [56.65147231836708]
  SWIM-IRは, 微調整多言語高密度検索のための33言語を含む合成検索訓練データセットである。 SAPは、ターゲット言語における情報クエリの生成において、大きな言語モデル(LLM)を支援する。 我々のモデルはSWIM-Xと呼ばれ、人間に指示された高密度検索モデルと競合する。
  論文  参考訳（メタデータ） (2023-11-10T00:17:10Z)
• The Belebele Benchmark: a Parallel Reading Comprehension Dataset in 122 Language Variants [80.4837840962273]
  私たちは122の言語変種にまたがるデータセットであるBelebeleを紹介します。 このデータセットは、高、中、低リソース言語におけるテキストモデルの評価を可能にする。
  論文  参考訳（メタデータ） (2023-08-31T17:43:08Z)
• XTREME-UP: A User-Centric Scarce-Data Benchmark for Under-Represented Languages [105.54207724678767]
  データ不足は、多言語NLPシステムの開発において重要な問題である。 我々はXTREME-UPを提案する。XTREME-UPはゼロショットではなく、希少なデータシナリオに焦点を当てたベンチマークである。 XTREME-UPは、88言語にまたがる言語モデルが、9つのキーとなるユーザー中心技術上で機能する能力を評価する。
  論文  参考訳（メタデータ） (2023-05-19T18:00:03Z)
• MuMUR : Multilingual Multimodal Universal Retrieval [19.242056928318913]
  マルチ言語モデルからの知識伝達を利用して,マルチモーダル(画像とビデオ)検索の性能を向上させるフレームワーク MuMUR を提案する。 まず、最先端の機械翻訳モデルを用いて、擬似基底構造多言語視覚テキストペアを構築する。 次に、このデータを用いて、英語と非英語のテキストクエリが共通の埋め込み空間で表現される共同視覚テキスト表現を学習する。
  論文  参考訳（メタデータ） (2022-08-24T13:55:15Z)
• Multilingual Coreference Resolution in Multiparty Dialogue [29.92954906275944]
  そこで我々は,テレビの文字起こしに基づく大規模データセットであるMultilingual Multiparty Corefを構築した。 複数の言語でゴールド品質の字幕が利用できるため、他の言語で銀のコア参照解決データを作成するためにアノテーションを再利用することを提案する。 データ拡張とゼロショットの言語間設定を効果的にシミュレートするスクラッチからのトレーニングの両方に使用することに成功したのです。
  論文  参考訳（メタデータ） (2022-08-02T08:27:00Z)
• MFAQ: a Multilingual FAQ Dataset [9.625301186732598]
  本稿では,最初の多言語FAQデータセットを公開する。 21の異なる言語で、Webから約6万のFAQペアを収集しました。 Dense Passage Retrieval(DPR)と同様のセットアップを採用し、このデータセット上でさまざまなバイエンコーダをテストする。
  論文  参考訳（メタデータ） (2021-09-27T08:43:25Z)
• Multilingual Multimodal Pre-training for Zero-Shot Cross-Lingual Transfer of Vision-Language Models [144.85290716246533]
  視覚言語モデルのゼロショット言語間移動について検討する。 本稿では,文脈化多言語マルチモーダル埋め込みを学習するトランスフォーマティブモデルを提案する。
  論文  参考訳（メタデータ） (2021-03-16T04:37:40Z)
• TVR: A Large-Scale Dataset for Video-Subtitle Moment Retrieval [111.93601253692165]
  テレビ番組 Retrieval (TVR) は、新しいマルチモーダル検索データセットである。 TVRはビデオとそれに関連するサブタイトル(対話)のテキストの両方を理解する必要がある。 データセットには、さまざまなジャンルの6つのテレビ番組から21.8Kビデオで収集された109Kクエリが含まれている。
  論文  参考訳（メタデータ） (2020-01-24T17:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。