論文の概要: DCN V2: Improved Deep & Cross Network and Practical Lessons for
Web-scale Learning to Rank Systems
- arxiv url: http://arxiv.org/abs/2008.13535v2
- Date: Tue, 20 Oct 2020 21:01:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-27 09:17:40.258398
- Title: DCN V2: Improved Deep & Cross Network and Practical Lessons for
Web-scale Learning to Rank Systems
- Title（参考訳）: DCN V2: ディープ・アンド・クロスネットワークの改善とWebスケールラーニングの実践的教訓
- Authors: Ruoxi Wang, Rakesh Shivanna, Derek Z. Cheng, Sagar Jain, Dong Lin,
Lichan Hong, Ed H. Chi
- Abstract要約: Deep & Cross Network (DCN) は、境界度予測機能相互作用を自動かつ効率的に学習するために提案されている。
大規模産業環境でDCNをより実用的なものにするために,DCN-V2の改良フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 15.398542784403604
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Learning effective feature crosses is the key behind building recommender
systems. However, the sparse and large feature space requires exhaustive search
to identify effective crosses. Deep & Cross Network (DCN) was proposed to
automatically and efficiently learn bounded-degree predictive feature
interactions. Unfortunately, in models that serve web-scale traffic with
billions of training examples, DCN showed limited expressiveness in its cross
network at learning more predictive feature interactions. Despite significant
research progress made, many deep learning models in production still rely on
traditional feed-forward neural networks to learn feature crosses
inefficiently.
In light of the pros/cons of DCN and existing feature interaction learning
approaches, we propose an improved framework DCN-V2 to make DCN more practical
in large-scale industrial settings. In a comprehensive experimental study with
extensive hyper-parameter search and model tuning, we observed that DCN-V2
approaches outperform all the state-of-the-art algorithms on popular benchmark
datasets. The improved DCN-V2 is more expressive yet remains cost efficient at
feature interaction learning, especially when coupled with a mixture of
low-rank architecture. DCN-V2 is simple, can be easily adopted as building
blocks, and has delivered significant offline accuracy and online business
metrics gains across many web-scale learning to rank systems at Google.
- Abstract（参考訳）: 効果的な機能横断学習が推奨システム構築の鍵となる。
しかし、スパースと大きな特徴空間は、有効交差を特定するために徹底的な探索を必要とする。
Deep & Cross Network (DCN) は、境界度予測機能相互作用を自動かつ効率的に学習するために提案されている。
残念ながら、何十億ものトレーニング例を持つWebスケールトラフィックを提供するモデルでは、DCNは、より予測的な機能インタラクションを学ぶためのクロスネットワークにおいて、限られた表現性を示した。
重要な研究成果にもかかわらず、生産中の多くのディープラーニングモデルは、機能クロスを非効率に学習するために、従来のフィードフォワードニューラルネットワークに依存している。
我々は,DCNと既存の特徴相互作用学習手法の長所や短所を考慮し,大規模産業環境でDCNをより実用的なものにするためのフレームワークDCN-V2を提案する。
広範なハイパーパラメータ探索とモデルチューニングによる総合的な実験では、DCN-V2アプローチが、一般的なベンチマークデータセット上での最先端アルゴリズムよりも優れていた。
改良されたDCN-V2はより表現力が高く、特に低ランクアーキテクチャと組み合わせた場合、機能間相互作用学習においてコスト効率は高い。
DCN-V2はシンプルで、ビルディングブロックとして簡単に採用でき、Googleのシステムランク付けのために、多くのWebスケールの学習において、オフラインの精度とオンラインビジネスメトリクスが大幅に向上した。
関連論文リスト
- Parallel Multi-path Feed Forward Neural Networks (PMFFNN) for Long Columnar Datasets: A Novel Approach to Complexity Reduction [0.0]
我々はPMFFNN(Parallel Multi-path Feed Forward Neural Networks)と呼ばれる新しいアーキテクチャを導入する。
そうすることで、アーキテクチャは各機能のサブセットに注目が集まることを保証します。
PMFFNNは従来のFFNNや1D CNNよりも優れており、大規模データ管理に最適化されたソリューションを提供する。
論文 参考訳（メタデータ） (2024-11-09T00:48:32Z) - DCNv3: Towards Next Generation Deep Cross Network for CTR Prediction [17.19859591493946]
本稿では,次世代のディープクロスネットワークであるディープクロスネットワークv3(DCNv3)と,CTR予測のための2つのサブネットワークであるリニアクロスネットワーク(LCN)と指数クロスネットワーク(ECN)を提案する。
6つのデータセットに関する総合的な実験は、DCNv3の有効性、効率、解釈可能性を示している。
論文 参考訳（メタデータ） (2024-07-18T09:49:13Z) - Efficient Model Adaptation for Continual Learning at the Edge [15.334881190102895]
ほとんどの機械学習(ML)システムは、トレーニングとデプロイメントの間、定常的で一致したデータ分散を前提としている。
データ分布は、環境要因、センサー特性、タスク・オブ・関心などの変化により、時間とともに変化することが多い。
本稿では,ドメインシフト下での効率的な連続学習のためのアダプタ・リコンフィグレータ(EAR)フレームワークを提案する。
論文 参考訳（メタデータ） (2023-08-03T23:55:17Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Unifying Synergies between Self-supervised Learning and Dynamic
Computation [53.66628188936682]
SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。
SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。
密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
論文 参考訳（メタデータ） (2023-01-22T17:12:58Z) - Learning Ability of Interpolating Deep Convolutional Neural Networks [28.437011792990347]
我々は,深層ニューラルネットワーク,深層畳み込みニューラルネットワーク(DCNN)の重要なファミリーの学習能力について検討する。
非補間DCNNに適切に定義された層を追加することで、非補間DCNNの良好な学習率を維持する補間DCNNが得られることを示す。
我々の研究は、過度に適合したDCNNの一般化の理論的検証を提供する。
論文 参考訳（メタデータ） (2022-10-25T17:22:31Z) - Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。
私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。
我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
論文 参考訳（メタデータ） (2022-09-04T06:45:33Z) - Comparison Analysis of Traditional Machine Learning and Deep Learning
Techniques for Data and Image Classification [62.997667081978825]
本研究の目的は、コンピュータビジョン2次元オブジェクト分類タスクに使用される最も一般的な機械学習およびディープラーニング技術を分析し比較することである。
まず、視覚語モデルと深部畳み込みニューラルネットワーク(DCNN)の理論的背景を示す。
次に、Bag of Visual Wordsモデル、VGG16 CNN Architectureを実装します。
論文 参考訳（メタデータ） (2022-04-11T11:34:43Z) - Contextual HyperNetworks for Novel Feature Adaptation [43.49619456740745]
Contextual HyperNetwork(CHN)は、ベースモデルを新機能に拡張するためのパラメータを生成する。
予測時、CHNはニューラルネットワークを通る単一のフォワードパスのみを必要とし、大幅なスピードアップをもたらす。
本システムでは,既存のインプテーションやメタラーニングベースラインよりも,新しい特徴のマイズショット学習性能が向上することを示す。
論文 参考訳（メタデータ） (2021-04-12T23:19:49Z) - Optimization-driven Machine Learning for Intelligent Reflecting Surfaces
Assisted Wireless Networks [82.33619654835348]
インテリジェントサーフェス(IRS)は、個々の散乱素子の位相シフトを制御して無線チャネルを再形成するために用いられる。
散乱素子の規模が大きいため、受動ビームフォーミングは一般に高い計算複雑性によって挑戦される。
本稿では、IRS支援無線ネットワークの性能向上のための機械学習(ML)アプローチに焦点を当てる。
論文 参考訳（メタデータ） (2020-08-29T08:39:43Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。