論文の概要: SML:Enhance the Network Smoothness with Skip Meta Logit for CTR Prediction

• arxiv url: http://arxiv.org/abs/2210.10725v1
• Date: Sun, 9 Oct 2022 19:18:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-30 12:17:31.106696
• Title: SML:Enhance the Network Smoothness with Skip Meta Logit for CTR Prediction
• Title（参考訳）: SML:CTR予測のためのスキップメタロジットによるネットワーク平滑化
• Authors: Wenlong Deng, Lang Lang, Zhen Liu, Bin Liu
• Abstract要約: 本稿では,任意の次元に合ったスキップ接続機構を導入し,ResNetに類似した特性を取り入れるためのSkip Logitを提案する。 これらの繊細な設計により、我々のSkip Meta Logit(DNN)は、2つの実世界のデータセット上での広範なSOTA ctr予測モデルの性能を漸進的に向上させた。
• 参考スコア（独自算出の注目度）: 7.574113007916257
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In light of the smoothness property brought by skip connections in ResNet, this paper proposed the Skip Logit to introduce the skip connection mechanism that fits arbitrary DNN dimensions and embraces similar properties to ResNet. Meta Tanh Normalization (MTN) is designed to learn variance information and stabilize the training process. With these delicate designs, our Skip Meta Logit (SML) brought incremental boosts to the performance of extensive SOTA ctr prediction models on two real-world datasets. In the meantime, we prove that the optimization landscape of arbitrarily deep skip logit networks has no spurious local optima. Finally, SML can be easily added to building blocks and has delivered offline accuracy and online business metrics gains on app ads learning to rank systems at TikTok.
• Abstract（参考訳）: 本稿では,ResNetにおけるスキップ接続によるスムーズ性を考慮して,任意のDNN次元に適合し,ResNetに類似した特性を取り入れたスキップ接続機構を提案する。 meta tanh normalization (mtn) は分散情報を学習し、トレーニングプロセスを安定化するために設計されている。 これらの繊細な設計により、Skip Meta Logit(SML)は、2つの実世界のデータセット上での広範なSOTA ctr予測モデルの性能を漸進的に向上させた。 一方,任意に深いスキップロジットネットワークの最適化環境は局所的オプティマを持たないことを証明した。 最後に、SMLはビルディングブロックに簡単に追加でき、オフラインの精度とオンラインビジネスメトリクスをTikTokでシステムランキングを学習するアプリ広告で得ている。

関連論文リスト

• Novel Approach to Intrusion Detection: Introducing GAN-MSCNN-BILSTM with LIME Predictions [0.0]
  本稿では、GAN(Generative Adversarial Networks)、MSCNN(Multi-Scale Convolutional Neural Networks)、Bidirectional Long Short-Term Memory(BiLSTM)を利用した革新的な侵入検知システムを提案する。 このシステムは、通常のパターンと攻撃パターンの両方を含む、現実的なネットワークトラフィックデータを生成する。 標準ベンチマークであるHogzillaデータセットの評価では、多クラス分類では99.16%、バイナリ分類では99.10%という印象的な精度を示している。
  論文  参考訳（メタデータ） (2024-06-08T11:26:44Z)
• Unleashing Network Potentials for Semantic Scene Completion [50.95486458217653]
  本稿では,新しいSSCフレームワーク - Adrial Modality Modulation Network (AMMNet)を提案する。 AMMNetは、モダリティ間の勾配流の相互依存性を可能にするクロスモーダル変調と、動的勾配競争を利用するカスタマイズされた逆トレーニングスキームの2つのコアモジュールを導入している。 AMMNetは最先端のSSC法よりも大きなマージンで優れていた。
  論文  参考訳（メタデータ） (2024-03-12T11:48:49Z)
• Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding [57.71603937699949]
  我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。 トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
  論文  参考訳（メタデータ） (2023-09-12T13:03:47Z)
• Combining Multi-Objective Bayesian Optimization with Reinforcement Learning for TinyML [4.2019872499238256]
  マルチオブジェクトベイズ最適化(MOBOpt)に基づくマイクロコントローラ(TinyML)にディープニューラルネットワークをデプロイするための新しい戦略を提案する。 本手法は,DNNの予測精度,メモリ消費量,計算複雑性のトレードオフを効率的に検出することを目的としている。
  論文  参考訳（メタデータ） (2023-05-23T14:31:52Z)
• Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution Detection [55.028065567756066]
  Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。 本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。 バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。 We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
  論文  参考訳（メタデータ） (2022-06-26T16:00:22Z)
• Joint Superposition Coding and Training for Federated Learning over Multi-Width Neural Networks [52.93232352968347]
  本稿では,2つの相乗的技術,フェデレートラーニング(FL)と幅調整可能なスリムブルニューラルネットワーク(SNN)を統合することを目的とする。 FLは、ローカルに訓練されたモバイルデバイスのモデルを交換することによって、データのプライバシを保護している。しかしながら、SNNは、特に時間変化のあるチャネル条件との無線接続下では、非自明である。 局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
  論文  参考訳（メタデータ） (2021-12-05T11:17:17Z)
• JUMBO: Scalable Multi-task Bayesian Optimization using Offline Data [86.8949732640035]
  追加データをクエリすることで制限をサイドステップするMBOアルゴリズムであるJUMBOを提案する。 GP-UCBに類似した条件下では, 応答が得られないことを示す。 実世界の2つの最適化問題に対する既存手法に対する性能改善を実証的に示す。
  論文  参考訳（メタデータ） (2021-06-02T05:03:38Z)
• Meta Learning Backpropagation And Improving It [4.061135251278187]
  NNにおける単純なウェイトシェアリングとスパーシリティは、再利用可能な方法で強力な学習アルゴリズム(LA)を表現するのに十分であることを示す。 VS-ML RNNと呼ばれるVS-MLの単純な実装は、フォワードモードでRNNを実行するだけでバックプロパゲーションLAを実装することができる。 バックプロパゲーションを改善する新しいLAをメタ学習し、メタトレーニングディストリビューション以外のデータセットに一般化することもできます。
  論文  参考訳（メタデータ） (2020-12-29T18:56:10Z)
• Automatic Remaining Useful Life Estimation Framework with Embedded Convolutional LSTM as the Backbone [5.927250637620123]
  組込み畳み込みLSTM(E NeuralTM)と呼ばれる新しいLSTM変種を提案する。 ETMでは、異なる1次元の畳み込みの群がLSTM構造に埋め込まれている。 RUL推定のために広く用いられているいくつかのベンチマークデータセットに対する最先端のアプローチよりも,提案したEMMアプローチの方が優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-10T08:34:20Z)
• Meta-learning framework with applications to zero-shot time-series forecasting [82.61728230984099]
  この研究は幅広いメタラーニングフレームワークを使って肯定的な証拠を提供する。 残余接続はメタラーニング適応機構として機能する。 我々は、ソースTSデータセット上でニューラルネットワークをトレーニングし、異なるターゲットTSデータセット上で再トレーニングすることなくデプロイできることを示します。
  論文  参考訳（メタデータ） (2020-02-07T16:39:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。