論文の概要: ContextIQ: A Multimodal Expert-Based Video Retrieval System for Contextual Advertising

• arxiv url: http://arxiv.org/abs/2410.22233v2
• Date: Wed, 06 Nov 2024 19:52:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-09 00:48:57.256094
• Title: ContextIQ: A Multimodal Expert-Based Video Retrieval System for Contextual Advertising
• Title（参考訳）: ContextIQ: コンテキスト広告のためのマルチモーダルエキスパートによるビデオ検索システム
• Authors: Ashutosh Chaubey, Anoubhav Agarwaal, Sartaki Sinha Roy, Aayush Agrawal, Susmita Ghose,
• Abstract要約: コンテキスト広告は、ユーザーが見ているコンテンツに沿った広告を提供する。 共同マルチモーダルトレーニングに基づく現在のテキスト・ビデオ検索モデルでは,大規模なデータセットと計算資源が要求される。 本研究では,コンテキスト広告に特化して設計されたマルチモーダル専門家によるビデオ検索システムであるContextIQを紹介する。
• 参考スコア（独自算出の注目度）: 2.330164376631038
• License:
• Abstract: Contextual advertising serves ads that are aligned to the content that the user is viewing. The rapid growth of video content on social platforms and streaming services, along with privacy concerns, has increased the need for contextual advertising. Placing the right ad in the right context creates a seamless and pleasant ad viewing experience, resulting in higher audience engagement and, ultimately, better ad monetization. From a technology standpoint, effective contextual advertising requires a video retrieval system capable of understanding complex video content at a very granular level. Current text-to-video retrieval models based on joint multimodal training demand large datasets and computational resources, limiting their practicality and lacking the key functionalities required for ad ecosystem integration. We introduce ContextIQ, a multimodal expert-based video retrieval system designed specifically for contextual advertising. ContextIQ utilizes modality-specific experts-video, audio, transcript (captions), and metadata such as objects, actions, emotion, etc.-to create semantically rich video representations. We show that our system, without joint training, achieves better or comparable results to state-of-the-art models and commercial solutions on multiple text-to-video retrieval benchmarks. Our ablation studies highlight the benefits of leveraging multiple modalities for enhanced video retrieval accuracy instead of using a vision-language model alone. Furthermore, we show how video retrieval systems such as ContextIQ can be used for contextual advertising in an ad ecosystem while also addressing concerns related to brand safety and filtering inappropriate content.
• Abstract（参考訳）: コンテキスト広告は、ユーザーが見ているコンテンツに沿った広告を提供する。 ソーシャルプラットフォームやストリーミングサービスにおけるビデオコンテンツの急速な成長とプライバシーの懸念により、コンテキスト広告の必要性が高まっている。 適切なコンテキストで適切な広告を配置すると、シームレスで快適な広告視聴体験が生まれ、より高いオーディエンスエンゲージメントが得られ、最終的には広告収益化が向上する。 技術の観点からは、効果的な文脈広告は、複雑な映像コンテンツを非常に粒度の細かいレベルで理解できるビデオ検索システムを必要とする。 共同マルチモーダルトレーニングに基づく現在のテキスト・ビデオ検索モデルは、大規模なデータセットと計算資源を必要とし、その実用性を制限し、広告エコシステムの統合に必要な重要な機能を欠いている。 本研究では,コンテキスト広告に特化して設計されたマルチモーダル専門家によるビデオ検索システムであるContextIQを紹介する。 ContextIQは、モダリティ固有の専門家(ビデオ、音声、文字起こし(キャプション))と、オブジェクト、アクション、感情などのメタデータを利用して、セマンティックにリッチなビデオ表現を作成する。 共同学習なしでは,複数のテキスト・ビデオ検索ベンチマークにおいて,最先端モデルや商用ソリューションよりも優れた,あるいは同等の結果が得られることを示す。 我々のアブレーション研究は、視覚言語モデルのみを使用するのではなく、複数のモダリティを改良されたビデオ検索精度に活用することの利点を強調した。 さらに,広告エコシステムにおけるコンテキスト広告にはContextIQなどのビデオ検索システムが利用でき,ブランドの安全性や不適切なコンテンツのフィルタリングに関する懸念にも対処できることを示す。

関連論文リスト

• Prompting Video-Language Foundation Models with Domain-specific Fine-grained Heuristics for Video Question Answering [71.62961521518731]
  HeurVidQAは、ドメイン固有のエンティティアクションを利用して、事前訓練されたビデオ言語基盤モデルを洗練するフレームワークである。 我々のアプローチでは、これらのモデルを暗黙の知識エンジンとして扱い、ドメイン固有のエンティティアクションプロンサを使用して、推論を強化する正確な手がかりにモデルを焦点を向けます。
  論文  参考訳（メタデータ） (2024-10-12T06:22:23Z)
• GQE: Generalized Query Expansion for Enhanced Text-Video Retrieval [56.610806615527885]
  本稿では,テキストとビデオ間の固有情報不均衡に対処するため,新しいデータ中心型アプローチであるGeneralized Query Expansion (GQE)を提案する。 ビデオをショートクリップにアダプティブに分割し、ゼロショットキャプションを採用することで、GQEはトレーニングデータセットを総合的なシーン記述で強化する。 GQEは、MSR-VTT、MSVD、SMDC、VATEXなど、いくつかのベンチマークで最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-08-14T01:24:09Z)
• How Good is my Video LMM? Complex Video Reasoning and Robustness Evaluation Suite for Video-LMMs [98.37571997794072]
  CVRR-ES(Complex Video Reasoning and Robustness Evaluation Suite)について紹介する。 CVRR-ESは、11種類の実世界のビデオ次元にわたるビデオLMMの性能を包括的に評価する。 我々の発見は、次世代の人間中心AIシステムを構築する上で貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2024-05-06T17:59:45Z)
• Improving Video Corpus Moment Retrieval with Partial Relevance Enhancement [72.7576395034068]
  Video Corpus Moment Retrieval(VCMR)は、テキストクエリを使って、大量の未トリミングビデオから関連する瞬間を検索するための、新しいビデオ検索タスクである。 我々は、VCMRタスクにおいて、クエリとビデオの間の部分的関係を効果的に捉えることが不可欠であると主張している。 ビデオ検索には,2つのモーダルに対して異なる問合せ表現を生成するマルチモーダル・コラボレーティブ・ビデオレトリバーを導入する。 そこで本研究では,モータリティ特異的なゲートを用いたモーメントローカライザを提案する。
  論文  参考訳（メタデータ） (2024-02-21T07:16:06Z)
• MM-AU:Towards Multimodal Understanding of Advertisement Videos [38.117243603403175]
  複数のWebソースから8.4Kビデオ(147時間)をキュレートしたマルチモーダルマルチ言語ベンチマークMM-AUを導入する。 広告書き起こしに対する大規模言語モデルの適用を通して,複数のゼロショット推論ベースラインについて検討する。
  論文  参考訳（メタデータ） (2023-08-27T09:11:46Z)
• A Video Is Worth 4096 Tokens: Verbalize Videos To Understand Them In Zero Shot [67.00455874279383]
  そこで本研究では,自然言語による記述を生成するために長編動画を音声化し,生成したストーリーの映像理解タスクを実行することを提案する。 提案手法は,ゼロショットであるにもかかわらず,ビデオ理解のための教師付きベースラインよりもはるかに優れた結果が得られる。 ストーリー理解ベンチマークの欠如を緩和するため,我々は,説得戦略の識別に関する計算社会科学における重要な課題に関する最初のデータセットを公開している。
  論文  参考訳（メタデータ） (2023-05-16T19:13:11Z)
• Multi-modal Representation Learning for Video Advertisement Content Structuring [10.45050088240847]
  ビデオ広告コンテンツ構造化は、所定のビデオ広告を分割し、各セグメントを様々な次元にラベル付けすることを目的としている。 ビデオ広告は、キャプションやスピーチのような十分かつ有用なマルチモーダルコンテンツを含んでいる。 ビデオ音声とテキストの対話により,ビデオ広告からマルチモーダル表現を学習するためのマルチモーダルエンコーダを提案する。
  論文  参考訳（メタデータ） (2021-09-04T09:08:29Z)
• A Multimodal Framework for Video Ads Understanding [64.70769354696019]
  広告ビデオコンテンツの構造化分析能力を向上させるためのマルチモーダルシステムの開発を行う。 2021年のTAAC最終リーダーボードでは, 位置推定と予測精度を考慮した0.2470のスコアを得た。
  論文  参考訳（メタデータ） (2021-08-29T16:06:00Z)
• Fashion Focus: Multi-modal Retrieval System for Video Commodity Localization in E-commerce [18.651201334846352]
  ファッションフォーカス(Fashion Focus)と呼ばれるマルチモーダル検索システムの革新的実証について述べる。 オンラインビデオのプロダクトイメージを、焦点として正確にローカライズすることができる。 本システムでは,ビデオコンテンツ構造化とマルチモーダル検索という2つの手法を用いて,高精度なビデオ・ツー・ショップマッチングを実現する。
  論文  参考訳（メタデータ） (2021-02-09T09:45:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。