論文の概要: An Unified Search and Recommendation Foundation Model for Cold-Start Scenario

• arxiv url: http://arxiv.org/abs/2309.08939v1
• Date: Sat, 16 Sep 2023 10:00:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-19 18:34:15.354636
• Title: An Unified Search and Recommendation Foundation Model for Cold-Start Scenario
• Title（参考訳）: コールドスタートシナリオのための統一検索・勧告基礎モデル
• Authors: Yuqi Gong, Xichen Ding, Yehui Su, Kaiming Shen, Zhongyi Liu, Guannan Zhang
• Abstract要約: 商用検索エンジンやレコメンデーションシステムでは、複数のドメインからのデータを使ってマルチドメインモデルを共同で訓練することができる。 S&R Multi-Domain Foundationと呼ばれる新しいフレームワークを提案し、LLMを用いてドメイン不変の特徴を抽出する。 我々は, S&R Multi-Domain 基礎モデルを用いて, 他のSOTA 転送学習手法よりも優れた性能を実現する, プレトレイン-ファネチューン方式のコールドスタートシナリオに適用する。
• 参考スコア（独自算出の注目度）: 15.192845741415738
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In modern commercial search engines and recommendation systems, data from multiple domains is available to jointly train the multi-domain model. Traditional methods train multi-domain models in the multi-task setting, with shared parameters to learn the similarity of multiple tasks, and task-specific parameters to learn the divergence of features, labels, and sample distributions of individual tasks. With the development of large language models, LLM can extract global domain-invariant text features that serve both search and recommendation tasks. We propose a novel framework called S\&R Multi-Domain Foundation, which uses LLM to extract domain invariant features, and Aspect Gating Fusion to merge the ID feature, domain invariant text features and task-specific heterogeneous sparse features to obtain the representations of query and item. Additionally, samples from multiple search and recommendation scenarios are trained jointly with Domain Adaptive Multi-Task module to obtain the multi-domain foundation model. We apply the S\&R Multi-Domain foundation model to cold start scenarios in the pretrain-finetune manner, which achieves better performance than other SOTA transfer learning methods. The S\&R Multi-Domain Foundation model has been successfully deployed in Alipay Mobile Application's online services, such as content query recommendation and service card recommendation, etc.
• Abstract（参考訳）: 現代の商用検索エンジンやレコメンデーションシステムでは、複数のドメインからのデータを使ってマルチドメインモデルを共同で訓練することができる。 従来の方法はマルチタスク設定でマルチドメインモデルをトレーニングし、複数のタスクの類似性を学ぶための共有パラメータと、個々のタスクの特徴、ラベル、サンプル分布のばらつきを学ぶためのタスク固有のパラメータがある。 大規模言語モデルの開発により、LLMは検索とレコメンデーションの両方に役立つグローバルなドメイン不変テキスト機能を抽出できる。 我々は,LLMを用いてドメイン不変の特徴を抽出するS\&R Multi-Domain Foundationと,ID特徴,ドメイン不変テキスト特徴,タスク固有の異種スパース特徴をマージしてクエリと項目の表現を得るAspect Gating Fusionを提案する。 さらに、複数の検索シナリオとレコメンデーションシナリオからサンプルをドメイン適応型マルチタスクモジュールと共同でトレーニングし、マルチドメイン基盤モデルを得る。 本研究では,s\&rマルチドメイン基礎モデルを用いて,事前トレーニング・フィギュチューン方式のコールドスタートシナリオに適用し,他のsoma転送学習法よりも優れた性能を実現する。 S\&R Multi-Domain Foundationモデルは、コンテンツクエリレコメンデーションやサービスカードレコメンデーションなど、Alipay Mobile Applicationのオンラインサービスにうまくデプロイされています。

関連論文リスト

• Investigating the potential of Sparse Mixtures-of-Experts for multi-domain neural machine translation [59.41178047749177]
  トレーニング中に見られるさまざまなドメインのデータを扱うことができ、トレーニング中に見つからないドメインに対して堅牢な効率的なモデルを開発することを目的として、マルチドメインニューラルネットワーク翻訳に重点を置いている。 SMOE(Sparse Mixture-of-Experts)モデルは、効率的なモデルスケーリングを可能にするため、このタスクに適していると仮定する。 マルチドメインシナリオにおけるSMoEの有用性を検証するための一連の実験を行い、Transformerの簡単な幅スケーリングは、実際はよりシンプルで驚くほど効率的なアプローチであり、SMoEと同等の性能レベルに達することを発見した。
  論文  参考訳（メタデータ） (2024-07-01T09:45:22Z)
• Exploring User Retrieval Integration towards Large Language Models for Cross-Domain Sequential Recommendation [66.72195610471624]
  Cross-Domain Sequential Recommendationは、異なるドメイン間でユーザのシーケンシャルな好みをマイニングし、転送することを目的としている。 本稿では,ユーザ検索手法を探索し,CDSRの性能向上を目的とした URLLM という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T09:19:54Z)
• M3oE: Multi-Domain Multi-Task Mixture-of Experts Recommendation Framework [32.68911775382326]
  M3oEは適応型マルチドメインMulti-task Mixture-of-Expertsレコメンデーションフレームワークである。 3つのMix-of-expertsモジュールを利用して、共通、ドメイン・アスペクト、タスク・アスペクトのユーザの好みを学習します。 多様な領域やタスクをまたいだ特徴抽出と融合を正確に制御するための2レベル融合機構を設計する。
  論文  参考訳（メタデータ） (2024-04-29T06:59:30Z)
• Multi-BERT: Leveraging Adapters and Prompt Tuning for Low-Resource Multi-Domain Adaptation [14.211024633768986]
  テキストのボリュームと多様性の急速な拡大は、マルチドメイン設定において重大な課題を生じさせる。 従来のアプローチでは、複数のドメインに統一モデルを採用するか、各ドメインに個別モデルを使用するかのいずれかが、しばしば重大な制限を課している。 本稿では,複数のドメイン固有パラメータからなる1つのコアモデルからなる新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-04-02T22:15:48Z)
• Exploring Distributional Shifts in Large Language Models for Code Analysis [36.73114441988879]
  コード機能を持つ3つの大規模言語モデルがどのようにドメイン外データに一般化するかを検討する。 コード要約とコード生成という,2つの基本的なアプリケーションについて検討する。 複数のドメインに適応したモデルが同時に、単一のドメインに適応したモデルと同等に動作していることが分かりました。
  論文  参考訳（メタデータ） (2023-03-16T07:45:46Z)
• Multi-Modal Cross-Domain Alignment Network for Video Moment Retrieval [55.122020263319634]
  ビデオモーメント検索(VMR)は、与えられた言語クエリに従って、未編集のビデオからターゲットモーメントをローカライズすることを目的としている。 本稿では、新しいタスクであるクロスドメインVMRに焦点を当て、完全なアノテーション付きデータセットをひとつのドメインで利用できるが、関心のあるドメインは、注釈なしのデータセットのみを含む。 本稿では、アノテーションの知識をソースドメインからターゲットドメインに転送するマルチモーダル・クロスドメインアライメント・ネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-23T12:58:20Z)
• Multi-path Neural Networks for On-device Multi-domain Visual Classification [55.281139434736254]
  本稿では,モバイルデバイス上でのマルチドメイン視覚分類のためのマルチパスネットワークの自動学習手法を提案する。 提案するマルチパスネットワークは,各ドメインに1つの強化学習コントローラを適用して,MobileNetV3のような検索空間から生成されたスーパーネットワークの最適経路を選択することにより,ニューラルネットワーク検索から学習する。 決定されたマルチパスモデルは、個々のドメインパス内の非共有ノード内にドメイン固有のパラメータを保持しながら、共有ノード内のドメイン間でパラメータを選択的に共有する。
  論文  参考訳（メタデータ） (2020-10-10T05:13:49Z)
• Learning to Combine: Knowledge Aggregation for Multi-Source Domain Adaptation [56.694330303488435]
  マルチソースドメイン適応(LtC-MSDA)フレームワークを併用する学習法を提案する。 簡単に言うと、知識グラフは様々なドメインのプロトタイプ上に構築され、セマンティックに隣接した表現間の情報伝達を実現する。 我々のアプローチは、既存の手法よりも顕著なマージンで優れています。
  論文  参考訳（メタデータ） (2020-07-17T07:52:44Z)
• Mutual Learning Network for Multi-Source Domain Adaptation [73.25974539191553]
  ML-MSDA(Multial Learning Network for Multiple Source Domain Adaptation)を提案する。 相互学習の枠組みのもと,提案手法は対象ドメインと各ソースドメインをペアリングし,条件付き対向ドメイン適応ネットワークを分岐ネットワークとして訓練する。 提案手法は, 比較手法より優れ, 最先端の性能を実現する。
  論文  参考訳（メタデータ） (2020-03-29T04:31:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。