論文の概要: Crocodile: Cross Experts Covariance for Disentangled Learning in Multi-Domain Recommendation

• arxiv url: http://arxiv.org/abs/2405.12706v2
• Date: Wed, 20 Nov 2024 09:35:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-21 16:09:18.893049
• Title: Crocodile: Cross Experts Covariance for Disentangled Learning in Multi-Domain Recommendation
• Title（参考訳）: Crocodile: マルチドメインレコメンデーションにおける分散学習のためのクロスエキスパートの共分散
• Authors: Zhutian Lin, Junwei Pan, Haibin Yu, Xi Xiao, Ximei Wang, Zhixiang Feng, Shifeng Wen, Shudong Huang, Dapeng Liu, Lei Xiao,
• Abstract要約: 直交学習モデル(Crocodile)のためのクロスエキスパート共分散損失を提案する。 モデル内のほとんどのパラメータからなる埋め込みにおいて、モデルドメインを認識させるために、複数の埋め込みテーブルを使用する。 クロコダイルは主要な広告シナリオで0.72%のCTRリフトと0.73%のGMVリフトを達成する。
• 参考スコア（独自算出の注目度）: 23.010588147317623
• License:
• Abstract: Multi-domain learning (MDL) has become a prominent topic in enhancing the quality of personalized services. It's critical to learn commonalities between domains and preserve the distinct characteristics of each domain. However, this leads to a challenging dilemma in MDL. On the one hand, a model needs to leverage domain-aware modules such as experts or embeddings to preserve each domain's distinctiveness. On the other hand, real-world datasets often exhibit long-tailed distributions across domains, where some domains may lack sufficient samples to effectively train their specific modules. Unfortunately, nearly all existing work falls short of resolving this dilemma. To this end, we propose a novel Cross-experts Covariance Loss for Disentangled Learning model (Crocodile), which employs multiple embedding tables to make the model domain-aware at the embeddings which consist most parameters in the model, and a covariance loss upon these embeddings to disentangle them, enabling the model to capture diverse user interests among domains. Empirical analysis demonstrates that our method successfully addresses both challenges and outperforms all state-of-the-art methods on public datasets. During online A/B testing in Tencent's advertising platform, Crocodile achieves 0.72% CTR lift and 0.73% GMV lift on a primary advertising scenario.
• Abstract（参考訳）: マルチドメイン学習(MDL)は、パーソナライズされたサービスの品質向上において重要なトピックとなっている。 ドメイン間の共通点を学び、各ドメインの特徴を個別に保持することが重要です。 しかし、これはMDLの難しいジレンマに繋がる。 一方、モデルは各ドメインの特有性を維持するために、専門家や埋め込みのようなドメイン認識モジュールを活用する必要があります。 一方、現実世界のデータセットはドメイン間で長い尾の分布を示すことが多く、特定のモジュールを効果的に訓練するのに十分なサンプルが不足しているドメインもある。 残念ながら、既存の作業のほとんどは、このジレンマを解決するには不十分です。 そこで本研究では,モデル内のほとんどのパラメータからなる埋め込みにおいてモデルドメインを認識させるために,複数の埋め込みテーブルを利用するクロスエキスパート型非分散学習モデル(Crocodile)を提案する。 実証分析により,本手法は課題の解決に成功し,公開データセット上での最先端の手法よりも優れていることが示された。 Tencentの広告プラットフォームにおけるオンラインA/Bテスト中、Crocodileは主要な広告シナリオで0.72%のCTRリフトと0.73%のGMVリフトを達成した。

関連論文リスト

• FISC: Federated Domain Generalization via Interpolative Style Transfer and Contrastive Learning [5.584498171854557]
  フェデレーテッド・ラーニング(FL)は、プライバシの保護と協調学習の実現を約束している。 本稿では、クライアント間のより複雑なドメイン分散を処理する新しいFLドメイン一般化パラダイムであるFISCを紹介する。 本手法は, 未確認領域における3.64%から57.22%の精度向上を実現する。
  論文  参考訳（メタデータ） (2024-10-30T00:50:23Z)
• MLoRA: Multi-Domain Low-Rank Adaptive Network for CTR Prediction [18.524017579108044]
  CTR予測のためのMulti-domain Low-Rank Adaptive Network (MLoRA)を提案する。 実験により,MLoRA法は最先端のベースラインに比べて大幅に改善された。 MLoRAのコードは公開されています。
  論文  参考訳（メタデータ） (2024-08-14T05:53:02Z)
• Decoupled Training: Return of Frustratingly Easy Multi-Domain Learning [20.17925272562433]
  マルチドメイン学習は、複数の重複するが識別できないドメインにわたって、最小限の平均リスクでモデルをトレーニングすることを目的としている。 本稿では,D-Train(Decoupled Training, D-Train)を提案する。 D-Trainは、まずルートモデルを温めるためにすべてのドメインで事前訓練を行い、その後、複数のヘッドに分割して各ドメインでトレーニングを行い、最後にバックボーンを固定して頭部を微調整する3段階の総合訓練戦略である。
  論文  参考訳（メタデータ） (2023-09-19T04:06:41Z)
• Multi-Domain Long-Tailed Learning by Augmenting Disentangled Representations [80.76164484820818]
  多くの現実世界の分類問題には、避けられない長い尾のクラスバランスの問題がある。 本稿では,この多領域長鎖学習問題について検討し,すべてのクラスとドメインにまたがってよく一般化されたモデルを作成することを目的とする。 TALLYは、選択的均衡サンプリング戦略に基づいて、ある例のセマンティック表現と別の例のドメイン関連ニュアンスを混合することでこれを達成している。
  論文  参考訳（メタデータ） (2022-10-25T21:54:26Z)
• ME-D2N: Multi-Expert Domain Decompositional Network for Cross-Domain Few-Shot Learning [95.78635058475439]
  クロスドメインのFew-Shot Learningは、異なるドメインにわたるFew-Shot Learning問題に対処することを目的としている。 本稿では,ME-D2N(Multi-Expert Domain Decompositional Network)を技術的に貢献する。 本稿では,学生モデルを2つの領域関連部分に分解する新しい領域分解モジュールを提案する。
  論文  参考訳（メタデータ） (2022-10-11T09:24:47Z)
• Forget Less, Count Better: A Domain-Incremental Self-Distillation Learning Benchmark for Lifelong Crowd Counting [51.44987756859706]
  オフザシェルフ法は複数のドメインを扱うのにいくつかの欠点がある。 生涯クラウドカウンティングは、壊滅的な忘れを緩和し、一般化能力を改善することを目的としている。
  論文  参考訳（メタデータ） (2022-05-06T15:37:56Z)
• META: Mimicking Embedding via oThers' Aggregation for Generalizable Person Re-identification [68.39849081353704]
  Domain Generalizable (DG) Person Re-identification (ReID)は、トレーニング時に対象のドメインデータにアクセスすることなく、見えないドメインをまたいでテストすることを目的としている。 本稿では,DG ReID のための OThers' Aggregation (META) を用いた Mimicking Embedding という新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-12-16T08:06:50Z)
• Generalizable Person Re-identification with Relevance-aware Mixture of Experts [45.13716166680772]
  我々はRaMoE(Relevance-Aware Mixed of Expert)と呼ばれる新しい手法を提案する。 RaMoEは、効率的な投票に基づく混合メカニズムを使用して、モデル一般化を改善するために、ソースドメインの様々な特性を動的に活用する。 対象ドメインの学習時の視認性を考慮し,新たな学習学習アルゴリズムと関係アライメント損失を組み合わせることで,投票ネットワークを更新する手法を提案する。
  論文  参考訳（メタデータ） (2021-05-19T14:19:34Z)
• Inferring Latent Domains for Unsupervised Deep Domain Adaptation [54.963823285456925]
  Unsupervised Domain Adaptation (UDA)は、ラベル付きデータが利用できないターゲットドメインでモデルを学習する問題を指す。 本稿では,視覚データセット中の潜在ドメインを自動的に発見することにより,udaの問題に対処する新しい深層アーキテクチャを提案する。 提案手法を公開ベンチマークで評価し,最先端のドメイン適応手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-03-25T14:33:33Z)
• Learning to Combine: Knowledge Aggregation for Multi-Source Domain Adaptation [56.694330303488435]
  マルチソースドメイン適応(LtC-MSDA)フレームワークを併用する学習法を提案する。 簡単に言うと、知識グラフは様々なドメインのプロトタイプ上に構築され、セマンティックに隣接した表現間の情報伝達を実現する。 我々のアプローチは、既存の手法よりも顕著なマージンで優れています。
  論文  参考訳（メタデータ） (2020-07-17T07:52:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。