論文の概要: Tree-based Text-Vision BERT for Video Search in Baidu Video Advertising
- arxiv url: http://arxiv.org/abs/2209.08759v1
- Date: Mon, 19 Sep 2022 04:49:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-20 19:40:29.806050
- Title: Tree-based Text-Vision BERT for Video Search in Baidu Video Advertising
- Title（参考訳）: バイドゥビデオ広告における映像検索のためのツリーベーステキストビジョンbert
- Authors: Tan Yu and Jie Liu and Yi Yang and Yi Li and Hongliang Fei and Ping Li
- Abstract要約: ビデオ広告とユーザー検索をどう組み合わせるかがBaiduビデオ広告の中核となる課題だ。
モダリティのギャップのため、従来のクエリ・ツー・ビデオ検索よりも、クエリ・ツー・ビデオ検索の方がはるかに難しい。
我々は最近Baiduのダイナミックビデオ広告プラットフォームで開始されたツリーベースのコンボアテンションネットワーク(TCAN)について紹介する。
- 参考スコア（独自算出の注目度）: 58.09698019028931
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The advancement of the communication technology and the popularity of the
smart phones foster the booming of video ads. Baidu, as one of the leading
search engine companies in the world, receives billions of search queries per
day. How to pair the video ads with the user search is the core task of Baidu
video advertising. Due to the modality gap, the query-to-video retrieval is
much more challenging than traditional query-to-document retrieval and
image-to-image search. Traditionally, the query-to-video retrieval is tackled
by the query-to-title retrieval, which is not reliable when the quality of
tiles are not high. With the rapid progress achieved in computer vision and
natural language processing in recent years, content-based search methods
becomes promising for the query-to-video retrieval. Benefited from pretraining
on large-scale datasets, some visionBERT methods based on cross-modal attention
have achieved excellent performance in many vision-language tasks not only in
academia but also in industry. Nevertheless, the expensive computation cost of
cross-modal attention makes it impractical for large-scale search in industrial
applications. In this work, we present a tree-based combo-attention network
(TCAN) which has been recently launched in Baidu's dynamic video advertising
platform. It provides a practical solution to deploy the heavy cross-modal
attention for the large-scale query-to-video search. After launching tree-based
combo-attention network, click-through rate gets improved by 2.29\% and
conversion rate get improved by 2.63\%.
- Abstract（参考訳）: 通信技術の進歩とスマートフォンの人気は、ビデオ広告のブームを後押ししている。
Baiduは、世界有数の検索エンジン企業の一つで、毎日何十億もの検索クエリを受け取っている。
ビデオ広告とユーザー検索をどう組み合わせるかがBaiduビデオ広告の中核となる課題だ。
モダリティのギャップのため、従来のクエリ・ツー・ビデオ検索やイメージ・ツー・イメージ検索よりもはるかに難しい。
伝統的に、クェリ・トゥ・ビデオ検索はクェリ・トゥ・タイトル検索によって取り組まれており、タイルの品質が高くない場合は信頼性に欠ける。
近年、コンピュータビジョンや自然言語処理で急速に進歩し、コンテンツベースの検索手法がクエリーからビデオへの検索に有望になりつつある。
大規模データセットの事前トレーニングに特化して、クロスモーダルな注意に基づくビジョンBERT手法は、学術だけでなく産業においても多くの視覚言語タスクにおいて優れたパフォーマンスを達成している。
それにもかかわらず、クロスモーダル注意の高価な計算コストは、産業応用における大規模探索には実用的でない。
本稿では、Baiduの動的ビデオ広告プラットフォームで最近開始された、ツリーベースのコンボアテンションネットワーク(TCAN)を紹介する。
大規模な問合せからビデオへの検索に重くクロスモーダルな注意を向ける実用的なソリューションを提供する。
木ベースのコンボアテンションネットワークを立ち上げると、クリックスルー率が2.29\%改善し、変換率が2.63\%向上する。
関連論文リスト
- MultiVENT 2.0: A Massive Multilingual Benchmark for Event-Centric Video Retrieval [57.891157692501345]
$textbfMultiVENT 2.0$は、大規模かつ多言語なイベント中心のビデオ検索ベンチマークである。
218,000以上のニュースビデオと、特定の世界イベントを対象とした3,906のクエリが提供されている。
予備的な結果は、最先端のビジョン言語モデルは、この課題にかなり苦労していることを示している。
論文 参考訳（メタデータ） (2024-10-15T13:56:34Z) - MOBIUS: Towards the Next Generation of Query-Ad Matching in Baidu's Sponsored Search [27.752810150893552]
Mobiusプロジェクトは、クエリ-ad関連性に加えて、CPMをさらなる最適化目標として考えるために、マッチングレイヤをトレーニングすることを目的としている。
本稿では、マッチング層におけるクリック履歴の欠如を克服するために、アクティブラーニングをどのように導入するかについて詳述する。
次世代クエリ-アドマッチングシステムの最初のバージョンとしてMobius-V1にソリューションをコントリビュートする。
論文 参考訳（メタデータ） (2024-09-05T11:56:40Z) - T2VIndexer: A Generative Video Indexer for Efficient Text-Video Retrieval [30.48217069475297]
本稿では,ビデオ識別子を直接生成するシーケンス・ツー・シーケンス生成モデルであるT2VIndexerというモデルに基づくビデオインデクサを提案する。
T2VIndexerは高い精度を維持しながら検索時間を短縮することを目的としている。
論文 参考訳（メタデータ） (2024-08-21T08:40:45Z) - GQE: Generalized Query Expansion for Enhanced Text-Video Retrieval [56.610806615527885]
本稿では,テキストとビデオ間の固有情報不均衡に対処するため,新しいデータ中心型アプローチであるGeneralized Query Expansion (GQE)を提案する。
ビデオをショートクリップにアダプティブに分割し、ゼロショットキャプションを採用することで、GQEはトレーニングデータセットを総合的なシーン記述で強化する。
GQEは、MSR-VTT、MSVD、SMDC、VATEXなど、いくつかのベンチマークで最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2024-08-14T01:24:09Z) - Zero-shot Audio Topic Reranking using Large Language Models [42.774019015099704]
実例によるマルチモーダルビデオ検索 (MVSE) では, ビデオクリップを情報検索の問合せ語として利用する。
本研究の目的は,この高速アーカイブ検索による性能損失を,再ランク付け手法を検証することによって補償することである。
パブリックなビデオアーカイブであるBBC Rewind corpusでトピックベースの検索のパフォーマンスを評価する。
論文 参考訳（メタデータ） (2023-09-14T11:13:36Z) - Hybrid Contrastive Quantization for Efficient Cross-View Video Retrieval [55.088635195893325]
クロスビュービデオ検索のための最初の量子化表現学習法,すなわちHybrid Contrastive Quantization(HCQ)を提案する。
HCQは、粗粒度と微粒度の両方を変換器で学習し、テキストやビデオの補完的な理解を提供する。
3つのWebビデオベンチマークデータセットの実験により、HCQは最先端の非圧縮検索手法と競合する性能を示す。
論文 参考訳（メタデータ） (2022-02-07T18:04:10Z) - BridgeFormer: Bridging Video-text Retrieval with Multiple Choice
Questions [38.843518809230524]
我々は、Multiple Choice Questions (MCQ) と呼ばれる新しいプレテキストタスクを導入する。
BridgeFormerモジュールは、ビデオ機能に頼ってテキスト機能によって構築された"クエスト"に答えるように訓練されている。
質問や回答の形式では、ローカルなビデオテキストの特徴間の意味的関連を適切に確立することができる。
提案手法は,5つのデータセットにおいて,人気テキスト・ビデオ検索タスクにおける最先端の手法よりも優れる。
論文 参考訳（メタデータ） (2022-01-13T09:33:54Z) - Fine-grained Iterative Attention Network for TemporalLanguage
Localization in Videos [63.94898634140878]
ビデオ中の時間的言語ローカライゼーションは、与えられた文クエリに基づいて、ビデオセグメントの1つを未トリミングビデオにグラウンドすることを目的としている。
本稿では,2つのクエリ・ビデオ・インフォーム抽出のための反復的注意モジュールからなる細粒度反復注意ネットワーク(FIAN)を提案する。
本稿では,Ac-tivityNet Captions,TACoS,Charades-STAの3つのベンチマークで提案手法を評価した。
論文 参考訳（メタデータ） (2020-08-06T04:09:03Z) - Convolutional Hierarchical Attention Network for Query-Focused Video
Summarization [74.48782934264094]
本稿では、ユーザのクエリと長いビデオを入力として取り込む、クエリ中心のビデオ要約の課題に対処する。
本稿では,特徴符号化ネットワークとクエリ関連計算モジュールの2つの部分からなる畳み込み階層型注意ネットワーク(CHAN)を提案する。
符号化ネットワークでは,局所的な自己認識機構と問合せ対応のグローバルアテンション機構を備えた畳み込みネットワークを用いて,各ショットの視覚情報を学習する。
論文 参考訳（メタデータ） (2020-01-31T04:30:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。