論文の概要: Cross-Modal Alignment with Mixture Experts Neural Network for
Intral-City Retail Recommendation
- arxiv url: http://arxiv.org/abs/2009.09926v1
- Date: Thu, 17 Sep 2020 02:36:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-17 08:08:06.919223
- Title: Cross-Modal Alignment with Mixture Experts Neural Network for
Intral-City Retail Recommendation
- Title（参考訳）: 都市内リコメンデーションのための混合エキスパートニューラルネットワークを用いたクロスモーダルアライメント
- Authors: Po Li, Lei Li, Yan Fu, Jun Rong, Yu Zhang
- Abstract要約: 本稿では,都市内小売業におけるニューラルネットワーク(CameNN)推奨モデルを用いたクロスモーダルアライメントを提案する。
本稿では,画像からテキストへのアライメント(ITA)タスク,テキストから画像へのアライメント(TIA)タスク,CVR予測タスクの3つのタスクを備えたマルチタスクモデルであるCameNNを提案する。
実験では、CameNNがベースラインを上回り、画像とテキスト表現を大幅に改善した。
- 参考スコア（独自算出の注目度）: 12.419656944866832
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we introduce Cross-modal Alignment with mixture experts Neural
Network (CameNN) recommendation model for intral-city retail industry, which
aims to provide fresh foods and groceries retailing within 5 hours delivery
service arising for the outbreak of Coronavirus disease (COVID-19) pandemic
around the world. We propose CameNN, which is a multi-task model with three
tasks including Image to Text Alignment (ITA) task, Text to Image Alignment
(TIA) task and CVR prediction task. We use pre-trained BERT to generate the
text embedding and pre-trained InceptionV4 to generate image patch embedding
(each image is split into small patches with the same pixels and treat each
patch as an image token). Softmax gating networks follow to learn the weight of
each transformer expert output and choose only a subset of experts conditioned
on the input. Then transformer encoder is applied as the share-bottom layer to
learn all input features' shared interaction. Next, mixture of transformer
experts (MoE) layer is implemented to model different aspects of tasks. At top
of the MoE layer, we deploy a transformer layer for each task as task tower to
learn task-specific information. On the real word intra-city dataset,
experiments demonstrate CameNN outperform baselines and achieve significant
improvements on the image and text representation. In practice, we applied
CameNN on CVR prediction in our intra-city recommender system which is one of
the leading intra-city platforms operated in China.
- Abstract（参考訳）: 本稿では,世界中のコロナウイルス(COVID-19)パンデミックの発生に伴う5時間以内の配送サービスを実現することを目的とした,都市内小売業におけるニューラルネットワーク(CameNN)レコメンデーションモデルを用いたクロスモーダルアライメントを提案する。
本稿では,画像からテキストへのアライメント(ITA)タスク,テキストから画像へのアライメント(TIA)タスク,CVR予測タスクの3つのタスクを備えたマルチタスクモデルであるCameNNを提案する。
我々は,事前学習したbertを用いてテキスト埋め込みとインセプションv4を生成し,画像パッチ埋め込みを生成する(各画像は同じ画素の小さなパッチに分割され,各パッチを画像トークンとして扱う)。
ソフトマックスゲーティングネットワークは、各トランスフォーマーの専門家出力の重みを学習し、入力に条件付けられた専門家のサブセットのみを選択する。
次に、共有ボット層としてトランスフォーマーエンコーダを適用し、すべての入力特徴の共有インタラクションを学習する。
次に、タスクの異なる側面をモデル化するために、トランスフォーマーエキスパート(MoE)の混合層が実装される。
MoE層の上に各タスクをタスクタワーとしてトランスフォーマー層を配置し,タスク固有の情報を学習する。
実際の単語イントラシティデータセットでは、実験によってcamnnがベースラインを上回っており、画像とテキスト表現の大幅な改善を達成している。
実際に,中国における主要な都市内プラットフォームの一つである都市内推薦システムにおいて,CmeNNをCVR予測に適用した。
関連論文リスト
- Deformable Mixer Transformer with Gating for Multi-Task Learning of
Dense Prediction [126.34551436845133]
CNNとTransformerには独自の利点があり、MTL(Multi-task Learning)の高密度予測に広く使われている。
本稿では,変形可能なCNNと問合せベースのTransformerの長所を共用したMTLモデルを提案する。
論文 参考訳（メタデータ） (2023-08-10T17:37:49Z) - DeMT: Deformable Mixer Transformer for Multi-Task Learning of Dense
Prediction [40.447092963041236]
変形可能なCNNとクエリベースのTransformerの利点を組み合わせた新しいMTLモデルを提案する。
提案手法は, 単純かつ効率的なエンコーダ・デコーダアーキテクチャに基づいている。
我々のモデルはGFLOPを少なくし、現在のTransformerやCNNベースの競合モデルよりも大幅に優れています。
論文 参考訳（メタデータ） (2023-01-09T16:00:15Z) - Multi-scale Transformer Network with Edge-aware Pre-training for
Cross-Modality MR Image Synthesis [52.41439725865149]
クロスモダリティ磁気共鳴(MR)画像合成は、与えられたモダリティから欠落するモダリティを生成するために用いられる。
既存の(教師付き学習)手法は、効果的な合成モデルを訓練するために、多くのペア化されたマルチモーダルデータを必要とすることが多い。
マルチスケールトランスフォーマーネットワーク(MT-Net)を提案する。
論文 参考訳（メタデータ） (2022-12-02T11:40:40Z) - MulT: An End-to-End Multitask Learning Transformer [66.52419626048115]
我々はMulTと呼ばれるエンドツーエンドのマルチタスク学習トランスフォーマフレームワークを提案し、複数のハイレベル視覚タスクを同時に学習する。
本フレームワークは,入力画像を共有表現にエンコードし,タスク固有のトランスフォーマーベースのデコーダヘッドを用いて各視覚タスクの予測を行う。
論文 参考訳（メタデータ） (2022-05-17T13:03:18Z) - Two-Stream Graph Convolutional Network for Intra-oral Scanner Image
Segmentation [133.02190910009384]
本稿では,2ストリームグラフ畳み込みネットワーク(TSGCN)を提案する。
TSGCNは3次元歯(表面)セグメンテーションにおいて最先端の方法よりも優れています。
論文 参考訳（メタデータ） (2022-04-19T10:41:09Z) - UNetFormer: A Unified Vision Transformer Model and Pre-Training
Framework for 3D Medical Image Segmentation [14.873473285148853]
UNetFormerと呼ばれる2つのアーキテクチャで構成され,3D Swin TransformerベースのエンコーダとConal Neural Network(CNN)とTransformerベースのデコーダを備えている。
提案モデルでは, 5つの異なる解像度でのスキップ接続により, エンコーダをデコーダにリンクする。
本稿では,ランダムにマスクされたトークンを予測する学習を通じて,エンコーダバックボーンの自己教師付き事前学習手法を提案する。
論文 参考訳（メタデータ） (2022-04-01T17:38:39Z) - TransformNet: Self-supervised representation learning through predicting
geometric transformations [0.8098097078441623]
入力データに適用された幾何変換の認識のための教師なし意味特徴学習手法について述べる。
我々のアプローチの基本概念は、画像中の物体を知らない人が、それらに適用された幾何学的変換を定量的に予測できないことである。
論文 参考訳（メタデータ） (2022-02-08T22:41:01Z) - UFO: A UniFied TransfOrmer for Vision-Language Representation Learning [54.82482779792115]
視覚言語(VL)表現学習において、単文入力(画像や言語など)または多モーダル入力(画像と質問の連結など)を処理できる単一のUniFied TransfOrmer(UFO)を提案する。
既存のアプローチは、通常、各モダリティのための個別のネットワークを設計し、マルチモーダルタスクのための特定の融合ネットワークを設計する。
論文 参考訳（メタデータ） (2021-11-19T03:23:10Z) - Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation [63.46694853953092]
Swin-Unetは、医用画像セグメンテーション用のUnetライクなトランスフォーマーである。
トークン化されたイメージパッチは、TransformerベースのU字型デコーダデコーダアーキテクチャに供給される。
論文 参考訳（メタデータ） (2021-05-12T09:30:26Z) - CrossViT: Cross-Attention Multi-Scale Vision Transformer for Image
Classification [17.709880544501758]
異なるサイズの画像パッチを組み合わせて、より強力な画像特徴を生成するデュアルブランチトランスを提案します。
我々のアプローチは、異なる計算複雑性の2つの別々の分岐を持つ小さなパッチトークンと大きなパッチトークンを処理します。
私たちの提案するクロスアテンションは、計算とメモリの複雑さの両方に線形時間しか必要としない。
論文 参考訳（メタデータ） (2021-03-27T13:03:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。