論文の概要: Robust Training Objectives Improve Embedding-based Retrieval in Industrial Recommendation Systems

• arxiv url: http://arxiv.org/abs/2409.14682v1
• Date: Mon, 23 Sep 2024 03:12:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 21:34:58.185352
• Title: Robust Training Objectives Improve Embedding-based Retrieval in Industrial Recommendation Systems
• Title（参考訳）: 産業レコメンデーションシステムにおけるロバストトレーニングによる埋め込み型検索の改善
• Authors: Matthew Kolodner, Mingxuan Ju, Zihao Fan, Tong Zhao, Elham Ghazizadeh, Yan Wu, Neil Shah, Yozen Liu,
• Abstract要約: 自己教師付きマルチタスク学習(SSMTL)は、埋め込み学習における学術ベンチマークにおいて強い性能を示している。 我々は、テクノロジーセクターのソーシャルメディアプラットフォーム上で、大規模な友人推薦システムを通じて、堅牢なトレーニング目標、特にSSMTLを用いて評価する。
• 参考スコア（独自算出の注目度）: 35.42309430785014
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Improving recommendation systems (RS) can greatly enhance the user experience across many domains, such as social media. Many RS utilize embedding-based retrieval (EBR) approaches to retrieve candidates for recommendation. In an EBR system, the embedding quality is key. According to recent literature, self-supervised multitask learning (SSMTL) has showed strong performance on academic benchmarks in embedding learning and resulted in an overall improvement in multiple downstream tasks, demonstrating a larger resilience to the adverse conditions between each downstream task and thereby increased robustness and task generalization ability through the training objective. However, whether or not the success of SSMTL in academia as a robust training objectives translates to large-scale (i.e., over hundreds of million users and interactions in-between) industrial RS still requires verification. Simply adopting academic setups in industrial RS might entail two issues. Firstly, many self-supervised objectives require data augmentations (e.g., embedding masking/corruption) over a large portion of users and items, which is prohibitively expensive in industrial RS. Furthermore, some self-supervised objectives might not align with the recommendation task, which might lead to redundant computational overheads or negative transfer. In light of these two challenges, we evaluate using a robust training objective, specifically SSMTL, through a large-scale friend recommendation system on a social media platform in the tech sector, identifying whether this increase in robustness can work at scale in enhancing retrieval in the production setting. Through online A/B testing with SSMTL-based EBR, we observe statistically significant increases in key metrics in the friend recommendations, with up to 5.45% improvements in new friends made and 1.91% improvements in new friends made with cold-start users.
• Abstract（参考訳）: 推薦システム(RS)の改善は、ソーシャルメディアなど多くの分野におけるユーザエクスペリエンスを大幅に向上させる。 多くのRSは、埋め込みベースの検索(EBR)アプローチを使用して、推薦候補を検索する。 EBRシステムでは、埋め込み品質が鍵となる。 近年の文献では, 自己教師型マルチタスク学習(SSMTL)は, 組込み学習における学術的ベンチマークにおいて高い性能を示し, 複数の下流タスクの総合的な改善を実現し, 下流タスク間の悪条件に対する大きなレジリエンスを示し, トレーニング目標による堅牢性とタスク一般化能力の向上を図っている。 しかし、学術分野でのSSMTLの成功が堅牢な訓練目的であるか否かは、大規模(数十億人以上のユーザと相互の相互作用)産業RSにはまだ検証が必要である。 産業用RSにアカデミック・セットアップを採用するには2つの課題が伴う。 第一に、多くの自己監督対象は、産業用RSでは違法に高価である、多くのユーザやアイテムに対するデータ強化(例えば、埋め込みマスクや破損)を必要とする。 さらに、自己監督対象のいくつかはレコメンデーションタスクと一致しないかもしれないため、冗長な計算オーバーヘッドや負の転送につながる可能性がある。 これら2つの課題を踏まえて、テクノロジーセクターのソーシャルメディアプラットフォーム上で、大規模な友人推薦システムを通じて、ロバストなトレーニング目標、特にSSMTLを用いて評価を行い、このロバスト性の増加が、生産環境での検索の強化に有効であるかどうかを確認した。 SSMTLベースのEBRによるオンラインA/Bテストを通じて、友人推薦において重要な指標が統計的に顕著に増加し、新しい友人が5.45%、コールドスタートユーザーが作成した新しい友人が1.91%改善した。

関連論文リスト

• Evaluating Cultural and Social Awareness of LLM Web Agents [113.49968423990616]
  CASAは,大規模言語モデルの文化的・社会的規範に対する感受性を評価するためのベンチマークである。 提案手法は,標準に違反するユーザクエリや観察を検知し,適切に応答するLLMエージェントの能力を評価する。 実験により、現在のLLMは非エージェント環境で大幅に性能が向上していることが示された。
  論文  参考訳（メタデータ） (2024-10-30T17:35:44Z)
• LLM-based Weak Supervision Framework for Query Intent Classification in Video Search [6.519428288229856]
  本稿では,大規模言語モデル(LLM)を弱監督によって活用し,大量のユーザ検索クエリを自動的にアノテートする手法を提案する。 思考の連鎖(Chain of Thought)と文脈学習(In-Context Learning)を通じてドメイン知識を組み込むことによって、我々のアプローチはラベル付きデータを活用し、リアルタイム推論に最適化された低レイテンシモデルを訓練する。
  論文  参考訳（メタデータ） (2024-09-13T15:47:50Z)
• Towards Robust Knowledge Unlearning: An Adversarial Framework for Assessing and Improving Unlearning Robustness in Large Language Models [19.015202590038996]
  我々は、未学習モデルを攻撃する動的かつ自動化されたフレームワークであるDynamic Unlearning Attack (DUA)を設計する。 学習過程の堅牢性を効果的に向上する普遍的な枠組みであるLatent Adrial Unlearning (LAU)を提案する。 LAUは学習効率を53.5%以上改善し、近隣の知識の11.6%以下に減らし、モデルの一般的な能力にはほとんど影響を与えないことを示した。
  論文  参考訳（メタデータ） (2024-08-20T09:36:04Z)
• Towards Robust and Cost-Efficient Knowledge Unlearning for Large Language Models [25.91643745340183]
  大規模言語モデル(LLM)は、大量のテキストコーパスの事前学習を通じて、強い推論と記憶能力を示す。 これはプライバシーと著作権侵害のリスクを生じさせ、効率的な機械学習手法の必要性を強調している。 LLMのための堅牢で効率的なアンラーニングのための2つの新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-08-13T04:18:32Z)
• A Thorough Performance Benchmarking on Lightweight Embedding-based Recommender Systems [67.52782366565658]
  State-of-the-art recommender system (RS) は、埋め込みベクトルによって符号化される分類的特徴に依存し、結果として非常に大きな埋め込みテーブルとなる。 軽量埋め込み型RSの繁栄にもかかわらず、評価プロトコルには幅広い多様性が見られる。 本研究では, LERSの性能, 効率, クロスタスク転送性について, 徹底的なベンチマークによる検討を行った。
  論文  参考訳（メタデータ） (2024-06-25T07:45:00Z)
• Efficient and Responsible Adaptation of Large Language Models for Robust Top-k Recommendations [11.004673022505566]
  何百万というユーザの長いクエリは、大規模言語モデルのパフォーマンスを低下させ、推奨することができる。 本稿では,大規模言語モデルと従来のレコメンデーションシステムの両方の機能を利用するハイブリッドタスク割り当てフレームワークを提案する。 実世界の3つのデータセットによる結果から,弱い利用者の減少と,サブ人口に対するRSのロバスト性の向上が示唆された。
  論文  参考訳（メタデータ） (2024-05-01T19:11:47Z)
• Choosing the Best of Both Worlds: Diverse and Novel Recommendations through Multi-Objective Reinforcement Learning [68.45370492516531]
  本稿では,Recommender Systems (RS) 設定のための拡張多目的強化学習(SMORL)を紹介する。 SMORLエージェントは、標準レコメンデーションモデルを拡張し、RLレイヤーを追加し、3つの主要な目的(正確性、多様性、新しいレコメンデーション)を同時に満たすように強制する。 実世界の2つのデータセットに対する実験結果から,集約的多様性の顕著な増加,精度の適度な向上,レコメンデーションの反復性の低下,および相補的目的としての多様性と新規性の強化の重要性が示された。
  論文  参考訳（メタデータ） (2021-10-28T13:22:45Z)
• Few-shot Quality-Diversity Optimization [50.337225556491774]
  品質多様性(QD)の最適化は、強化学習における知覚的最小値とスパース報酬を扱う上で効果的なツールであることが示されている。 本稿では,タスク分布の例から,パラメータ空間の最適化によって得られる経路の情報を利用して,未知の環境でQD手法を初期化する場合,数発の適応が可能であることを示す。 ロボット操作とナビゲーションベンチマークを用いて、疎密な報酬設定と密集した報酬設定の両方で実施された実験は、これらの環境でのQD最適化に必要な世代数を著しく削減することを示している。
  論文  参考訳（メタデータ） (2021-09-14T17:12:20Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。