論文の概要: CommerceMM: Large-Scale Commerce MultiModal Representation Learning with Omni Retrieval

• arxiv url: http://arxiv.org/abs/2202.07247v1
• Date: Tue, 15 Feb 2022 08:23:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-20 14:40:28.074355
• Title: CommerceMM: Large-Scale Commerce MultiModal Representation Learning with Omni Retrieval
• Title（参考訳）: CommerceMM: Omni Retrievalによる大規模マルチモーダル表現学習
• Authors: Licheng Yu, Jun Chen, Animesh Sinha, Mengjiao MJ Wang, Hugo Chen, Tamara L. Berg, Ning Zhang
• Abstract要約: CommerceMMは、コンテンツに関連するコマーストピックを多種多様な粒度の理解を提供するマルチモーダルモデルである。 我々は、Omni-Retrieval pre-trainingと呼ばれる9つの新しいクロスモーダル・クロスペア検索タスクを提案する。 本モデルでは,微調整後,7つの商取引関連下流タスクにおける最先端のパフォーマンスを実現する。
• 参考スコア（独自算出の注目度）: 30.607369837039904
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: We introduce CommerceMM - a multimodal model capable of providing a diverse and granular understanding of commerce topics associated to the given piece of content (image, text, image+text), and having the capability to generalize to a wide range of tasks, including Multimodal Categorization, Image-Text Retrieval, Query-to-Product Retrieval, Image-to-Product Retrieval, etc. We follow the pre-training + fine-tuning training regime and present 5 effective pre-training tasks on image-text pairs. To embrace more common and diverse commerce data with text-to-multimodal, image-to-multimodal, and multimodal-to-multimodal mapping, we propose another 9 novel cross-modal and cross-pair retrieval tasks, called Omni-Retrieval pre-training. The pre-training is conducted in an efficient manner with only two forward/backward updates for the combined 14 tasks. Extensive experiments and analysis show the effectiveness of each task. When combining all pre-training tasks, our model achieves state-of-the-art performance on 7 commerce-related downstream tasks after fine-tuning. Additionally, we propose a novel approach of modality randomization to dynamically adjust our model under different efficiency constraints.
• Abstract（参考訳）: 我々は,あるコンテンツ(画像,テキスト,画像+テキスト)に関連する商業トピックを多様かつきめ細かな理解を提供し,マルチモーダル分類,画像-テキスト検索,クエリ・ツー・プロダクト検索,画像-to-Product Retrievalなど,幅広いタスクに一般化する機能を備えたマルチモーダルモデルであるCommerceMMを紹介した。 我々は、事前訓練+微調整訓練体制を踏襲し、画像テキストペア上で5つの効果的な事前訓練課題を提示する。 テキスト対マルチモーダル,イメージ対マルチモーダル,マルチモーダル対マルチモーダルマッピングを用いた,より一般的かつ多様な商業データを取り込むため,新たな9つのクロスモーダル・クロスペア検索タスクであるomni-retrieval pre-trainingを提案する。 プレトレーニングは、合計14タスクに対して2つの前方/後方更新のみを効率よく行う。 広範囲な実験と分析が各タスクの有効性を示している。 トレーニング前のタスクをすべて組み合わせたモデルでは、微調整後の7つのコマース関連下流タスクにおける最先端のパフォーマンスを実現している。 さらに,異なる効率制約下で動的にモデルを調整するモダリティ確率化の新しい手法を提案する。

関連論文リスト

• MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training [103.72844619581811]
  MLLM(Performant Multimodal Large Language Models)を構築する。 特に,さまざまなアーキテクチャコンポーネントとデータ選択の重要性について検討する。 本稿では,画像キャプチャ,インターリーブ画像テキスト,テキストのみのデータを組み合わせた大規模マルチモーダル事前学習について述べる。
  論文  参考訳（メタデータ） (2024-03-14T17:51:32Z)
• Generative Multimodal Models are In-Context Learners [60.50927925426832]
  我々は37億のパラメータを持つ生成的マルチモーダルモデルであるEmu2を紹介し、大規模マルチモーダルシーケンスで訓練する。 Emu2は、マルチモーダルなインコンテキスト学習能力を示し、オンザフライ推論を必要とするタスクを解決しようとさえしている。
  論文  参考訳（メタデータ） (2023-12-20T18:59:58Z)
• Unified Multi-modal Unsupervised Representation Learning for Skeleton-based Action Understanding [62.70450216120704]
  教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。 我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。 UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
  論文  参考訳（メタデータ） (2023-11-06T13:56:57Z)
• MoMo: A shared encoder Model for text, image and multi-Modal representations [4.812718493682455]
  本稿では,複数の視覚,言語,マルチモーダルベンチマークにおいて,強力な結果が得られる自己教師付き共有エンコーダモデルを提案する。 我々は、すべてのエンコーダ層がテキストと画像のモダリティの両方を処理する単一のトランスフォーマーを使用する。
  論文  参考訳（メタデータ） (2023-04-11T22:26:10Z)
• OFASys: A Multi-Modal Multi-Task Learning System for Building Generalist Models [72.8156832931841]
  ジェネリストモデルは、単一のモデル内でタスクに依存しない方法で多様なマルチモーダルタスクを実行することができる。 マルチモーダル命令と呼ばれる宣言型タスクインタフェース上に構築された汎用モデル学習システムOFASysをリリースする。
  論文  参考訳（メタデータ） (2022-12-08T17:07:09Z)
• FaD-VLP: Fashion Vision-and-Language Pre-training towards Unified Retrieval and Captioning [66.38951790650887]
  ファッション分野におけるマルチモーダルタスクは、eコマースにとって大きな可能性を秘めている。 本稿では,ファッションとテクストのペアから構築した弱教師付き三つ組に基づく,ファッション特有の事前学習フレームワークを提案する。 3重項に基づくタスクは、標準的なマルチモーダル事前学習タスクに有効な追加であることを示す。
  論文  参考訳（メタデータ） (2022-10-26T21:01:19Z)
• Multimodal Contrastive Learning via Uni-Modal Coding and Cross-Modal Prediction for Multimodal Sentiment Analysis [19.07020276666615]
  本稿では,マルチモーダル表現のためのMMCL(MultiModal Contrastive Learning)というフレームワークを提案する。 また、予測のプロセスを促進し、感情に関連するよりインタラクティブな情報を学ぶために、事例ベースと感情ベースのコントラスト学習という2つのコントラスト学習タスクを設計する。
  論文  参考訳（メタデータ） (2022-10-26T08:24:15Z)
• Knowledge Perceived Multi-modal Pretraining in E-commerce [12.012793707741562]
  画像とテキストのモダリティに対する現在のマルチモーダル事前学習法は、モダリティの欠如やモダリティノイズに直面して頑健さを欠いている。 我々は,マルチモーダル事前学習における知識モダリティを導入し,ノイズを補正し,画像とテキストのモダリティの欠如を補うK3Mを提案する。
  論文  参考訳（メタデータ） (2021-08-20T08:01:28Z)
• InterBERT: Vision-and-Language Interaction for Multi-modal Pretraining [76.32065400614162]
  我々は,本シリーズのマルチモーダル事前学習手法M6の最初のモデルであるInterBERT(BERT for Interaction)を提案する。 モデルは、異なるモダリティの情報フロー間の相互作用をモデル化する強力な能力を持っている。 中国語におけるマルチモーダル事前学習のための大規模データセットを提案し,中国初のマルチモーダル事前学習モデルである中国語InterBERTを開発した。
  論文  参考訳（メタデータ） (2020-03-30T03:13:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。