論文の概要: Tree-based Text-Vision BERT for Video Search in Baidu Video Advertising
- arxiv url: http://arxiv.org/abs/2209.08759v1
- Date: Mon, 19 Sep 2022 04:49:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-20 19:40:29.806050
- Title: Tree-based Text-Vision BERT for Video Search in Baidu Video Advertising
- Title(参考訳): バイドゥビデオ広告における映像検索のためのツリーベーステキストビジョンbert
- Authors: Tan Yu and Jie Liu and Yi Yang and Yi Li and Hongliang Fei and Ping Li
- Abstract要約: ビデオ広告とユーザー検索をどう組み合わせるかがBaiduビデオ広告の中核となる課題だ。
モダリティのギャップのため、従来のクエリ・ツー・ビデオ検索よりも、クエリ・ツー・ビデオ検索の方がはるかに難しい。
我々は最近Baiduのダイナミックビデオ広告プラットフォームで開始されたツリーベースのコンボアテンションネットワーク(TCAN)について紹介する。
- 参考スコア(独自算出の注目度): 58.09698019028931
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The advancement of the communication technology and the popularity of the
smart phones foster the booming of video ads. Baidu, as one of the leading
search engine companies in the world, receives billions of search queries per
day. How to pair the video ads with the user search is the core task of Baidu
video advertising. Due to the modality gap, the query-to-video retrieval is
much more challenging than traditional query-to-document retrieval and
image-to-image search. Traditionally, the query-to-video retrieval is tackled
by the query-to-title retrieval, which is not reliable when the quality of
tiles are not high. With the rapid progress achieved in computer vision and
natural language processing in recent years, content-based search methods
becomes promising for the query-to-video retrieval. Benefited from pretraining
on large-scale datasets, some visionBERT methods based on cross-modal attention
have achieved excellent performance in many vision-language tasks not only in
academia but also in industry. Nevertheless, the expensive computation cost of
cross-modal attention makes it impractical for large-scale search in industrial
applications. In this work, we present a tree-based combo-attention network
(TCAN) which has been recently launched in Baidu's dynamic video advertising
platform. It provides a practical solution to deploy the heavy cross-modal
attention for the large-scale query-to-video search. After launching tree-based
combo-attention network, click-through rate gets improved by 2.29\% and
conversion rate get improved by 2.63\%.
- Abstract(参考訳): 通信技術の進歩とスマートフォンの人気は、ビデオ広告のブームを後押ししている。
Baiduは、世界有数の検索エンジン企業の一つで、毎日何十億もの検索クエリを受け取っている。
ビデオ広告とユーザー検索をどう組み合わせるかがBaiduビデオ広告の中核となる課題だ。
モダリティのギャップのため、従来のクエリ・ツー・ビデオ検索やイメージ・ツー・イメージ検索よりもはるかに難しい。
伝統的に、クェリ・トゥ・ビデオ検索はクェリ・トゥ・タイトル検索によって取り組まれており、タイルの品質が高くない場合は信頼性に欠ける。
近年、コンピュータビジョンや自然言語処理で急速に進歩し、コンテンツベースの検索手法がクエリーからビデオへの検索に有望になりつつある。
大規模データセットの事前トレーニングに特化して、クロスモーダルな注意に基づくビジョンBERT手法は、学術だけでなく産業においても多くの視覚言語タスクにおいて優れたパフォーマンスを達成している。
それにもかかわらず、クロスモーダル注意の高価な計算コストは、産業応用における大規模探索には実用的でない。
本稿では、Baiduの動的ビデオ広告プラットフォームで最近開始された、ツリーベースのコンボアテンションネットワーク(TCAN)を紹介する。
大規模な問合せからビデオへの検索に重くクロスモーダルな注意を向ける実用的なソリューションを提供する。
木ベースのコンボアテンションネットワークを立ち上げると、クリックスルー率が2.29\%改善し、変換率が2.63\%向上する。
関連論文リスト
- Zero-shot Audio Topic Reranking using Large Language Models [45.3240272898503]
The Multimodal Video Search by Examples project investigateds using video clips as the query term for information search。
本研究は,この高速アーカイブ検索によるパフォーマンス損失の軽減を目的とした手法である。
パブリックなビデオアーカイブであるBBC Rewind corpusでトピックベースの検索のパフォーマンスを評価する。
論文 参考訳(メタデータ) (2023-09-14T11:13:36Z) - Hybrid Contrastive Quantization for Efficient Cross-View Video Retrieval [55.088635195893325]
クロスビュービデオ検索のための最初の量子化表現学習法,すなわちHybrid Contrastive Quantization(HCQ)を提案する。
HCQは、粗粒度と微粒度の両方を変換器で学習し、テキストやビデオの補完的な理解を提供する。
3つのWebビデオベンチマークデータセットの実験により、HCQは最先端の非圧縮検索手法と競合する性能を示す。
論文 参考訳(メタデータ) (2022-02-07T18:04:10Z) - BridgeFormer: Bridging Video-text Retrieval with Multiple Choice
Questions [38.843518809230524]
我々は、Multiple Choice Questions (MCQ) と呼ばれる新しいプレテキストタスクを導入する。
BridgeFormerモジュールは、ビデオ機能に頼ってテキスト機能によって構築された"クエスト"に答えるように訓練されている。
質問や回答の形式では、ローカルなビデオテキストの特徴間の意味的関連を適切に確立することができる。
提案手法は,5つのデータセットにおいて,人気テキスト・ビデオ検索タスクにおける最先端の手法よりも優れる。
論文 参考訳(メタデータ) (2022-01-13T09:33:54Z) - CONQUER: Contextual Query-aware Ranking for Video Corpus Moment
Retrieval [24.649068267308913]
ビデオ検索アプリケーションは、ユーザーが大きなビデオコーパスから正確な瞬間を検索できるようにする。
本稿では,効率的なモーメントローカライゼーションとランキングのための新しいモデルを提案する。
クローズドワールドTVエピソードのTVRと、オープンワールドのユーザ生成ビデオのDiDeMoの2つのデータセットについて研究する。
論文 参考訳(メタデータ) (2021-09-21T08:07:27Z) - TEACHTEXT: CrossModal Generalized Distillation for Text-Video Retrieval [103.85002875155551]
本研究では,大規模言語前訓練を利用した一般化蒸留法TeachTextを提案する。
提案手法をビデオ側モダリティに拡張し,テスト時に使用するモダリティの数を効果的に削減できることを示す。
提案手法は,いくつかのビデオ検索ベンチマークの精度を著しく向上させ,テスト時の計算オーバーヘッドを増加させない。
論文 参考訳(メタデータ) (2021-04-16T17:55:28Z) - Fine-grained Iterative Attention Network for TemporalLanguage
Localization in Videos [63.94898634140878]
ビデオ中の時間的言語ローカライゼーションは、与えられた文クエリに基づいて、ビデオセグメントの1つを未トリミングビデオにグラウンドすることを目的としている。
本稿では,2つのクエリ・ビデオ・インフォーム抽出のための反復的注意モジュールからなる細粒度反復注意ネットワーク(FIAN)を提案する。
本稿では,Ac-tivityNet Captions,TACoS,Charades-STAの3つのベンチマークで提案手法を評価した。
論文 参考訳(メタデータ) (2020-08-06T04:09:03Z) - Convolutional Hierarchical Attention Network for Query-Focused Video
Summarization [74.48782934264094]
本稿では、ユーザのクエリと長いビデオを入力として取り込む、クエリ中心のビデオ要約の課題に対処する。
本稿では,特徴符号化ネットワークとクエリ関連計算モジュールの2つの部分からなる畳み込み階層型注意ネットワーク(CHAN)を提案する。
符号化ネットワークでは,局所的な自己認識機構と問合せ対応のグローバルアテンション機構を備えた畳み込みネットワークを用いて,各ショットの視覚情報を学習する。
論文 参考訳(メタデータ) (2020-01-31T04:30:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。