論文の概要: MultiVENT: Multilingual Videos of Events with Aligned Natural Text

• arxiv url: http://arxiv.org/abs/2307.03153v1
• Date: Thu, 6 Jul 2023 17:29:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-07 13:07:53.744666
• Title: MultiVENT: Multilingual Videos of Events with Aligned Natural Text
• Title（参考訳）: MultiVENT: 自然文を付加したイベントの多言語ビデオ
• Authors: Kate Sanders, David Etter, Reno Kriz, Benjamin Van Durme
• Abstract要約: MultiVENTは、5つのターゲット言語にまたがるテキストドキュメントに基づくマルチリンガルなイベント中心のビデオのデータセットである。 オンラインニュースビデオの状況と、それらをどのように活用して、堅牢で事実的に正確なモデルを構築するかを分析する。
• 参考スコア（独自算出の注目度）: 29.266266741468055
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Everyday news coverage has shifted from traditional broadcasts towards a wide range of presentation formats such as first-hand, unedited video footage. Datasets that reflect the diverse array of multimodal, multilingual news sources available online could be used to teach models to benefit from this shift, but existing news video datasets focus on traditional news broadcasts produced for English-speaking audiences. We address this limitation by constructing MultiVENT, a dataset of multilingual, event-centric videos grounded in text documents across five target languages. MultiVENT includes both news broadcast videos and non-professional event footage, which we use to analyze the state of online news videos and how they can be leveraged to build robust, factually accurate models. Finally, we provide a model for complex, multilingual video retrieval to serve as a baseline for information retrieval using MultiVENT.
• Abstract（参考訳）: ニュースの報道は、従来の放送から、手書きで未編集のビデオ映像など、幅広いプレゼンテーション形式に移行している。 オンラインで利用可能な多言語多言語ニュースソースの多種多様な配列を反映したデータセットは、このシフトの恩恵を受けるモデルを教えるのに使用できるが、既存のニュースビデオデータセットは、英語話者向けの伝統的なニュースブロードキャストに焦点を当てている。 この制限に対処するため、5つのターゲット言語にまたがるテキスト文書に基づく多言語・イベント中心ビデオのデータセットであるMultiVENTを構築した。 MultiVENTには、ニュースブロードキャストビデオとプロでないイベント映像の両方が含まれており、オンラインニュースビデオの状態を分析し、それらを利用して、堅牢で事実的に正確なモデルを構築することができる。 最後に,MultiVENTを用いた情報検索のベースラインとして,複雑な多言語ビデオ検索のためのモデルを提案する。

関連論文リスト

• MultiVENT 2.0: A Massive Multilingual Benchmark for Event-Centric Video Retrieval [57.891157692501345]
  $textbfMultiVENT 2.0$は、大規模かつ多言語なイベント中心のビデオ検索ベンチマークである。 218,000以上のニュースビデオと、特定の世界イベントを対象とした3,906のクエリが提供されている。 予備的な結果は、最先端のビジョン言語モデルは、この課題にかなり苦労していることを示している。
  論文  参考訳（メタデータ） (2024-10-15T13:56:34Z)
• Multi-modal News Understanding with Professionally Labelled Videos (ReutersViLNews) [25.78619140103048]
  我々はReuters ViLNewsデータセットと呼ばれるReuters News Agencyが収集した社内データセットを大規模に分析した。 このデータセットは、長文ニュースに重点を置いて、ハイレベルなビデオ言語理解に焦点を当てている。 その結果,ニュース指向ビデオは現在のビデオ言語理解アルゴリズムにとって大きな課題であることが示唆された。
  論文  参考訳（メタデータ） (2024-01-23T00:42:04Z)
• InternVid: A Large-scale Video-Text Dataset for Multimodal Understanding and Generation [90.71796406228265]
  InternVidは大規模なビデオ中心のマルチモーダルデータセットで、強力で転送可能なビデオテキスト表現の学習を可能にする。 InternVidデータセットは700万本以上のビデオが760万時間近く持続し、合計4.1Bワードの詳細な記述を伴う234万本のビデオクリップが生成される。
  論文  参考訳（メタデータ） (2023-07-13T17:58:32Z)
• C2KD: Cross-Lingual Cross-Modal Knowledge Distillation for Multilingual Text-Video Retrieval [39.41224716332499]
  多言語テキスト・ビデオ検索を改善するために,言語間クロスモーダル知識蒸留法を提案する。 英語のテキストビデオ検索が他の言語より優れているという事実に触発されて、異なる言語の入力テキストを用いて学生モデルを訓練する。 我々は、YouCook2ビデオデータセットの英語キャプションを8言語に翻訳することで、新しい多言語ビデオデータセット、Multi-YouCook2を導入する。
  論文  参考訳（メタデータ） (2022-10-07T15:30:24Z)
• MuMUR : Multilingual Multimodal Universal Retrieval [19.242056928318913]
  マルチ言語モデルからの知識伝達を利用して,マルチモーダル(画像とビデオ)検索の性能を向上させるフレームワーク MuMUR を提案する。 まず、最先端の機械翻訳モデルを用いて、擬似基底構造多言語視覚テキストペアを構築する。 次に、このデータを用いて、英語と非英語のテキストクエリが共通の埋め込み空間で表現される共同視覚テキスト表現を学習する。
  論文  参考訳（メタデータ） (2022-08-24T13:55:15Z)
• Towards Fast Adaptation of Pretrained Contrastive Models for Multi-channel Video-Language Retrieval [70.30052749168013]
  マルチチャンネルビデオ言語検索は、異なるチャンネルからの情報を理解するためにモデルを必要とする。 対照的なマルチモーダルモデルは、画像やビデオやテキストのエンティティの整合に非常に効果的であることが示されている。 これら2つの行を、限られたデータとリソースを持つマルチチャンネルビデオ言語検索に迅速に適応する方法は、明らかではない。
  論文  参考訳（メタデータ） (2022-06-05T01:43:52Z)
• 3MASSIV: Multilingual, Multimodal and Multi-Aspect dataset of Social Media Short Videos [72.69052180249598]
  ソーシャルメディアプラットフォームであるMojから抽出した多言語・多言語・多言語・多言語・多言語・多言語・専門的な短いビデオのデータセットである3MASSIVを提示する。 3MASSIVは、11言語で50Kのショートビデオ(平均20秒)と100Kの未ラベルビデオで構成されている。 本稿では,3MASSIVにおけるソーシャルメディアの内容がどのように動的かつ時間的であり,意味理解タスクや言語間分析に利用することができるかを示す。
  論文  参考訳（メタデータ） (2022-03-28T02:47:01Z)
• Multilingual Multimodal Pre-training for Zero-Shot Cross-Lingual Transfer of Vision-Language Models [144.85290716246533]
  視覚言語モデルのゼロショット言語間移動について検討する。 本稿では,文脈化多言語マルチモーダル埋め込みを学習するトランスフォーマティブモデルを提案する。
  論文  参考訳（メタデータ） (2021-03-16T04:37:40Z)
• QuerYD: A video dataset with high-quality text and audio narrations [85.6468286746623]
  ビデオの検索とイベントのローカライゼーションのための大規模データセットQuerYDを紹介する。 データセットのユニークな特徴は、ビデオ毎に2つのオーディオトラック(オリジナルオーディオと高品質な音声記述)が利用可能であることです。 YouDescribeは、既存のYouTubeビデオに音声ナレーションを付加することで視覚障害者を支援するボランティアプロジェクトだ。
  論文  参考訳（メタデータ） (2020-11-22T17:33:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。