論文の概要: Real World Large Scale Recommendation Systems Reproducibility and Smooth Activations

• arxiv url: http://arxiv.org/abs/2202.06499v1
• Date: Mon, 14 Feb 2022 06:22:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-15 18:10:28.515306
• Title: Real World Large Scale Recommendation Systems Reproducibility and Smooth Activations
• Title（参考訳）: 実世界の大規模レコメンデーションシステム再現性と円滑なアクティベーション
• Authors: Gil I. Shamir and Dong Lin
• Abstract要約: 本稿では,スムーズなアクティベーションの新たなファミリーであるSmooth ReLU(SmeLU)について述べる。 我々は、SmeLUを相当な利益と精度・再現性トレードオフで生産できる実システムからのメトリクスを報告する。 これにはクリックスルーレート(CTR)予測システム、コンテンツ、アプリケーションレコメンデーションシステムが含まれる。
• 参考スコア（独自算出の注目度）: 5.452074074840966
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Real world recommendation systems influence a constantly growing set of domains. With deep networks, that now drive such systems, recommendations have been more relevant to the user's interests and tasks. However, they may not always be reproducible even if produced by the same system for the same user, recommendation sequence, request, or query. This problem received almost no attention in academic publications, but is, in fact, very realistic and critical in real production systems. We consider reproducibility of real large scale deep models, whose predictions determine such recommendations. We demonstrate that the celebrated Rectified Linear Unit (ReLU) activation, used in deep models, can be a major contributor to irreproducibility. We propose the use of smooth activations to improve recommendation reproducibility. We describe a novel family of smooth activations; Smooth ReLU (SmeLU), designed to improve reproducibility with mathematical simplicity, with potentially cheaper implementation. SmeLU is a member of a wider family of smooth activations. While other techniques that improve reproducibility in real systems usually come at accuracy costs, smooth activations not only improve reproducibility, but can even give accuracy gains. We report metrics from real systems in which we were able to productionalize SmeLU with substantial reproducibility gains and better accuracy-reproducibility trade-offs. These include click-through-rate (CTR) prediction systems, content, and application recommendation systems.
• Abstract（参考訳）: 現実世界のレコメンデーションシステムは、絶えず成長する一連のドメインに影響を与える。 このようなシステムを駆動するディープネットワークでは、レコメンデーションはユーザの関心事やタスクとより関連がある。 しかし、同じシステムによって同じユーザのために、レコメンデーションシーケンス、リクエスト、クエリが生成されても、必ずしも再現可能とは限らない。 この問題は学術的な出版物ではほとんど注目されなかったが、実生産システムでは現実的に非常に現実的で批判的であった。 我々は,そのような提案を予測した大規模深層モデルの再現性を検討する。 我々は、深層モデルで使用される有名なRectified Linear Unit (ReLU) の活性化が、不再現性に大きく貢献できることを実証する。 推薦再現性を向上させるために,円滑なアクティベーションの利用を提案する。 本稿では,スムーズなアクティベーションの新たなファミリーであるSmooth ReLU(SmeLU)について述べる。 SmeLUはスムーズな活性化の家族の一員である。 実際のシステムにおける再現性を改善する他の技術は、通常、精度のコストがかかるが、スムーズなアクティベーションは再現性を改善するだけでなく、精度を高めることもできる。 実システムからのメトリクスを報告し,smeluの再現性向上と精度再現性トレードオフの改善を実現した。 これにはクリックスルーレート(CTR)予測システム、コンテンツ、アプリケーションレコメンデーションシステムが含まれる。

関連論文リスト

• Large Language Model Empowered Embedding Generator for Sequential Recommendation [57.49045064294086]
  大言語モデル(LLM)は、その人気に関係なく、項目間の意味的関係を理解する能力を持つ。 LLMEmbは、LCMを利用してアイテム埋め込みを作成し、シークエンシャル・レコメンダ・システムの性能を高める革新的な技術である。
  論文  参考訳（メタデータ） (2024-09-30T03:59:06Z)
• VERA: Validation and Enhancement for Retrieval Augmented systems [0.0]
  textbfValidation and textbfEnhancement for textbfRetrieval textbfAugmented system を提案する。 VERAは、外部検索が必要なかどうかを最初にチェックし、検索したコンテキストの関連性と冗長性を評価し、非必要情報の除去のために精査する評価器-既存のLCMを使用している。
  論文  参考訳（メタデータ） (2024-09-18T16:10:47Z)
• A Hybrid RAG System with Comprehensive Enhancement on Complex Reasoning [13.112610550392537]
  Retrieval-augmented Generation (RAG) は、大規模言語モデルでその精度を高め、外部知識ベースを統合することで幻覚を低減できるフレームワークである。 本稿では,検索品質,拡張推論能力,精巧な数値能力など,総合的な最適化によって強化されたハイブリッドRAGシステムを提案する。
  論文  参考訳（メタデータ） (2024-08-09T15:53:55Z)
• Expressive and Generalizable Low-rank Adaptation for Large Models via Slow Cascaded Learning [55.5715496559514]
  LoRA Slow Cascade Learning (LoRASC)は、LoRAの表現性と一般化能力を高めるために設計された革新的な技術である。 提案手法は,混合低ランク適応を可能にするカスケード学習戦略により表現性を増強し,複雑なパターンをキャプチャするモデルの能力を高める。
  論文  参考訳（メタデータ） (2024-07-01T17:28:59Z)
• LLM-enhanced Reranking in Recommender Systems [49.969932092129305]
  リグレードはレコメンデーションシステムにおいて重要な要素であり、レコメンデーションアルゴリズムの出力を精査する上で重要な役割を果たす。 そこで我々は,様々な格付け基準をシームレスに統合する包括的格付けフレームワークを提案する。 カスタマイズ可能な入力機構も統合されており、言語モデルのフォーカスを特定の再配置のニーズに合わせることができる。
  論文  参考訳（メタデータ） (2024-06-18T09:29:18Z)
• REBEL: Reinforcement Learning via Regressing Relative Rewards [59.68420022466047]
  生成モデルの時代における最小限のRLアルゴリズムであるREBELを提案する。 理論的には、自然ポリシーグラディエントのような基本的なRLアルゴリズムはREBELの変種と見なすことができる。 我々はREBELが言語モデリングと画像生成に一貫したアプローチを提供し、PPOやDPOとより強くあるいは類似した性能を実現することを発見した。
  論文  参考訳（メタデータ） (2024-04-25T17:20:45Z)
• EASRec: Elastic Architecture Search for Efficient Long-term Sequential Recommender Systems [82.76483989905961]
  現在のSRS(Sequential Recommender Systems)は、計算とリソースの非効率に悩まされている。 我々は、効率的な長期シーケンスレコメンダシステム(EASRec)のための弾性アーキテクチャー探索を開発する。 EASRecは、入力データバッチから履歴情報を活用するデータ認識ゲートを導入し、レコメンデーションネットワークの性能を改善する。
  論文  参考訳（メタデータ） (2024-02-01T07:22:52Z)
• Hybrid Reinforcement Learning for Optimizing Pump Sustainability in Real-World Water Distribution Networks [55.591662978280894]
  本稿では,実世界の配水ネットワーク(WDN)のリアルタイム制御を強化するために,ポンプスケジューリング最適化問題に対処する。 我々の主な目的は、エネルギー消費と運用コストを削減しつつ、物理的な運用上の制約を遵守することである。 進化に基づくアルゴリズムや遺伝的アルゴリズムのような伝統的な最適化手法は、収束保証の欠如によってしばしば不足する。
  論文  参考訳（メタデータ） (2023-10-13T21:26:16Z)
• Greedy-Based Feature Selection for Efficient LiDAR SLAM [12.257338124961622]
  本論文では,L-SLAMシステムの精度と効率を,機能のサブセットを積極的に選択することで大幅に向上できることを実証する。 提案手法は,最先端のL-SLAMシステムと比較して,ローカライズ誤差と高速化が低いことを示す。
  論文  参考訳（メタデータ） (2021-03-24T11:03:16Z)
• Smooth activations and reproducibility in deep networks [4.106285392075794]
  全く同じトレーニングデータセットでトレーニングされた2つの同一モデルでは、個々のサンプルに対する予測に大きな違いがある可能性がある。 我々は、ReLUよりもスムーズなアクティベーションを実現できるだけでなく、より精度の高い再現性トレードオフを提供できることを示した。 そこで我々は,Smooth ReLU(emphSmeLU)という,より優れたトレードオフを提供するとともに,数学的表現をシンプルに保ち,実装を安価にすることを目的とした,新たなアクティベーションファミリーを提案する。
  論文  参考訳（メタデータ） (2020-10-20T00:06:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。