論文の概要: Real World Large Scale Recommendation Systems Reproducibility and Smooth Activations

• arxiv url: http://arxiv.org/abs/2202.06499v1
• Date: Mon, 14 Feb 2022 06:22:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-15 18:10:28.515306
• Title: Real World Large Scale Recommendation Systems Reproducibility and Smooth Activations
• Title（参考訳）: 実世界の大規模レコメンデーションシステム再現性と円滑なアクティベーション
• Authors: Gil I. Shamir and Dong Lin
• Abstract要約: 本稿では,スムーズなアクティベーションの新たなファミリーであるSmooth ReLU(SmeLU)について述べる。 我々は、SmeLUを相当な利益と精度・再現性トレードオフで生産できる実システムからのメトリクスを報告する。 これにはクリックスルーレート(CTR)予測システム、コンテンツ、アプリケーションレコメンデーションシステムが含まれる。
• 参考スコア（独自算出の注目度）: 5.452074074840966
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Real world recommendation systems influence a constantly growing set of domains. With deep networks, that now drive such systems, recommendations have been more relevant to the user's interests and tasks. However, they may not always be reproducible even if produced by the same system for the same user, recommendation sequence, request, or query. This problem received almost no attention in academic publications, but is, in fact, very realistic and critical in real production systems. We consider reproducibility of real large scale deep models, whose predictions determine such recommendations. We demonstrate that the celebrated Rectified Linear Unit (ReLU) activation, used in deep models, can be a major contributor to irreproducibility. We propose the use of smooth activations to improve recommendation reproducibility. We describe a novel family of smooth activations; Smooth ReLU (SmeLU), designed to improve reproducibility with mathematical simplicity, with potentially cheaper implementation. SmeLU is a member of a wider family of smooth activations. While other techniques that improve reproducibility in real systems usually come at accuracy costs, smooth activations not only improve reproducibility, but can even give accuracy gains. We report metrics from real systems in which we were able to productionalize SmeLU with substantial reproducibility gains and better accuracy-reproducibility trade-offs. These include click-through-rate (CTR) prediction systems, content, and application recommendation systems.
• Abstract（参考訳）: 現実世界のレコメンデーションシステムは、絶えず成長する一連のドメインに影響を与える。 このようなシステムを駆動するディープネットワークでは、レコメンデーションはユーザの関心事やタスクとより関連がある。 しかし、同じシステムによって同じユーザのために、レコメンデーションシーケンス、リクエスト、クエリが生成されても、必ずしも再現可能とは限らない。 この問題は学術的な出版物ではほとんど注目されなかったが、実生産システムでは現実的に非常に現実的で批判的であった。 我々は,そのような提案を予測した大規模深層モデルの再現性を検討する。 我々は、深層モデルで使用される有名なRectified Linear Unit (ReLU) の活性化が、不再現性に大きく貢献できることを実証する。 推薦再現性を向上させるために,円滑なアクティベーションの利用を提案する。 本稿では,スムーズなアクティベーションの新たなファミリーであるSmooth ReLU(SmeLU)について述べる。 SmeLUはスムーズな活性化の家族の一員である。 実際のシステムにおける再現性を改善する他の技術は、通常、精度のコストがかかるが、スムーズなアクティベーションは再現性を改善するだけでなく、精度を高めることもできる。 実システムからのメトリクスを報告し,smeluの再現性向上と精度再現性トレードオフの改善を実現した。 これにはクリックスルーレート(CTR)予測システム、コンテンツ、アプリケーションレコメンデーションシステムが含まれる。

関連論文リスト

• The Dual-use Dilemma in LLMs: Do Empowering Ethical Capacities Make a Degraded Utility? [54.18519360412294]
  大きな言語モデル(LLM)は、安全のための有害な要求を拒否することと、ユーティリティのための正当な要求を収容することのバランスをとる必要がある。 本稿では,DPO(Direct Preference Optimization)に基づくアライメントフレームワークを提案する。 得られたモデルLibraChemは,Claude-3,GPT-4o,LLaMA-3などのLLMをそれぞれ13.44%,7.16%,7.10%で上回った。
  論文  参考訳（メタデータ） (2025-01-20T06:35:01Z)
• The Efficiency vs. Accuracy Trade-off: Optimizing RAG-Enhanced LLM Recommender Systems Using Multi-Head Early Exit [46.37267466656765]
  本稿では,Retrieval-Augmented Generation(RAG)と革新的なマルチヘッドアーリーエグジットアーキテクチャを組み合わせた最適化フレームワークを提案する。 我々の実験は、信頼性の高いレコメンデーション配信に必要な精度を犠牲にすることなく、このアーキテクチャがいかに効果的に時間を削減するかを実証している。
  論文  参考訳（メタデータ） (2025-01-04T03:26:46Z)
• Revolve: Optimizing AI Systems by Tracking Response Evolution in Textual Optimization [42.570114760974946]
  本稿では,大規模な言語モデル(LLM)において,反復的に「EVOLVE」を「R」で表現する手法であるREVOLVEを紹介する。 実験の結果、REVOLVEは競争ベースラインを上回り、迅速な最適化が7.8%向上し、ソリューションの改良が20.72%向上し、コード最適化が29.17%向上した。
  論文  参考訳（メタデータ） (2024-12-04T07:44:35Z)
• VinePPO: Unlocking RL Potential For LLM Reasoning Through Refined Credit Assignment [66.80143024475635]
  VinePPOは不偏のモンテカルロ推定を計算するための簡単な手法である。 我々は、VinePPOが、MATHおよびGSM8Kデータセット間でPPOや他のRLフリーベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2024-10-02T15:49:30Z)
• A Hybrid RAG System with Comprehensive Enhancement on Complex Reasoning [13.112610550392537]
  Retrieval-augmented Generation (RAG) は、大規模言語モデルでその精度を高め、外部知識ベースを統合することで幻覚を低減できるフレームワークである。 本稿では,検索品質,拡張推論能力,精巧な数値能力など,総合的な最適化によって強化されたハイブリッドRAGシステムを提案する。
  論文  参考訳（メタデータ） (2024-08-09T15:53:55Z)
• Expressive and Generalizable Low-rank Adaptation for Large Models via Slow Cascaded Learning [55.5715496559514]
  LoRA Slow Cascade Learning (LoRASC)は、LoRAの表現性と一般化能力を高めるために設計された革新的な技術である。 提案手法は,混合低ランク適応を可能にするカスケード学習戦略により表現性を増強し,複雑なパターンをキャプチャするモデルの能力を高める。
  論文  参考訳（メタデータ） (2024-07-01T17:28:59Z)
• REBEL: Reinforcement Learning via Regressing Relative Rewards [59.68420022466047]
  生成モデルの時代における最小限のRLアルゴリズムであるREBELを提案する。 理論的には、自然ポリシーグラディエントのような基本的なRLアルゴリズムはREBELの変種と見なすことができる。 我々はREBELが言語モデリングと画像生成に一貫したアプローチを提供し、PPOやDPOとより強くあるいは類似した性能を実現することを発見した。
  論文  参考訳（メタデータ） (2024-04-25T17:20:45Z)
• Hybrid Reinforcement Learning for Optimizing Pump Sustainability in Real-World Water Distribution Networks [55.591662978280894]
  本稿では,実世界の配水ネットワーク(WDN)のリアルタイム制御を強化するために,ポンプスケジューリング最適化問題に対処する。 我々の主な目的は、エネルギー消費と運用コストを削減しつつ、物理的な運用上の制約を遵守することである。 進化に基づくアルゴリズムや遺伝的アルゴリズムのような伝統的な最適化手法は、収束保証の欠如によってしばしば不足する。
  論文  参考訳（メタデータ） (2023-10-13T21:26:16Z)
• Greedy-Based Feature Selection for Efficient LiDAR SLAM [12.257338124961622]
  本論文では,L-SLAMシステムの精度と効率を,機能のサブセットを積極的に選択することで大幅に向上できることを実証する。 提案手法は,最先端のL-SLAMシステムと比較して,ローカライズ誤差と高速化が低いことを示す。
  論文  参考訳（メタデータ） (2021-03-24T11:03:16Z)
• Smooth activations and reproducibility in deep networks [4.106285392075794]
  全く同じトレーニングデータセットでトレーニングされた2つの同一モデルでは、個々のサンプルに対する予測に大きな違いがある可能性がある。 我々は、ReLUよりもスムーズなアクティベーションを実現できるだけでなく、より精度の高い再現性トレードオフを提供できることを示した。 そこで我々は,Smooth ReLU(emphSmeLU)という,より優れたトレードオフを提供するとともに,数学的表現をシンプルに保ち,実装を安価にすることを目的とした,新たなアクティベーションファミリーを提案する。
  論文  参考訳（メタデータ） (2020-10-20T00:06:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。