論文の概要: MemoNet:Memorizing Representations of All Cross Features Efficiently via Multi-Hash Codebook Network for CTR Prediction

• arxiv url: http://arxiv.org/abs/2211.01334v2
• Date: Thu, 3 Nov 2022 06:49:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-06 14:47:58.170455
• Title: MemoNet:Memorizing Representations of All Cross Features Efficiently via Multi-Hash Codebook Network for CTR Prediction
• Title（参考訳）: MemoNet:CTR予測のためのマルチハッシュコードブックネットワークによる全横断特徴表現の記憶
• Authors: Pengtao Zhang and Junlin Zhang
• Abstract要約: 我々は,CTRタスクにおけるすべてのクロス機能の表現を効率的に学習し記憶するためのメモリ機構として,マルチハッシュコードブックネットワーク(HCNet)を提案する。 3つの公開データセットの大規模な実験結果は、MemoNetが最先端のアプローチよりも優れたパフォーマンスに到達していることを示している。
• 参考スコア（独自算出の注目度）: 0.696194614504832
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: New findings in natural language processing(NLP) demonstrate that the strong memorization capability contributes a lot to the success of large language models.This inspires us to explicitly bring an independent memory mechanism into CTR ranking model to learn and memorize all cross features'representations. In this paper,we propose multi-Hash Codebook NETwork(HCNet) as the memory mechanism for efficiently learning and memorizing representations of all cross features in CTR tasks.HCNet uses multi-hash codebook as the main memory place and the whole memory procedure consists of three phases: multi-hash addressing,memory restoring and feature shrinking.HCNet can be regarded as a general module and can be incorporated into any current deep CTR model.We also propose a new CTR model named MemoNet which combines HCNet with a DNN backbone.Extensive experimental results on three public datasets show that MemoNet reaches superior performance over state-of-the-art approaches and validate the effectiveness of HCNet as a strong memory module.Besides, MemoNet shows the prominent feature of big models in NLP,which means we can enlarge the size of codebook in HCNet to sustainably obtain performance gains.Our work demonstrates the importance and feasibility of learning and memorizing representations of all cross features ,which sheds light on a new promising research direction.
• Abstract（参考訳）: 自然言語処理(NLP)の新たな知見は,強い記憶能力が大きな言語モデルの成功に大きく貢献することを示している。これにより,CTRランキングモデルに独立記憶機構を明示的に導入して,すべてのクロスフィーチャの表現を学習し,記憶することが可能になる。 In this paper,we propose multi-Hash Codebook NETwork(HCNet) as the memory mechanism for efficiently learning and memorizing representations of all cross features in CTR tasks.HCNet uses multi-hash codebook as the main memory place and the whole memory procedure consists of three phases: multi-hash addressing,memory restoring and feature shrinking.HCNet can be regarded as a general module and can be incorporated into any current deep CTR model.We also propose a new CTR model named MemoNet which combines HCNet with a DNN backbone.Extensive experimental results on three public datasets show that MemoNet reaches superior performance over state-of-the-art approaches and validate the effectiveness of HCNet as a strong memory module.Besides, MemoNet shows the prominent feature of big models in NLP,which means we can enlarge the size of codebook in HCNet to sustainably obtain performance gains.Our work demonstrates the importance and feasibility of learning and memorizing representations of all cross features ,which sheds light on a new promising research direction.

関連論文リスト

• Continual Referring Expression Comprehension via Dual Modular Memorization [133.46886428655426]
  Referring Expression (REC) は、自然言語で記述された対象のイメージ領域をローカライズすることを目的としている。 既存のRECアルゴリズムは、モデルへのデータ供給のトレーニングを前もって行うと強く仮定する。 本稿では、入ってくるタスクのストリーム上でモデルが学習するRECの新しい設定である連続参照表現(CREC)を提案する。 学習済みの知識を忘れずに,スクラッチから繰り返し再学習することなく,逐次的タスクのモデルを継続的に改善するために,デュアルモジュール記憶法という効果的なベースライン手法を提案する。
  論文  参考訳（メタデータ） (2023-11-25T02:58:51Z)
• Universal Recurrent Event Memories for Streaming Data [0.0]
  本稿では、リカレントニューラルネットワークのための新しいイベントメモリアーキテクチャ(MemNet)を提案する。 MemNetはキーと値のペアを格納し、アドレスとコンテンツの情報を分離する。 MemNetアーキテクチャはスカラー時系列、文字列上の論理演算子、自然言語処理に修正を加えることなく適用することができる。
  論文  参考訳（メタデータ） (2023-07-28T17:40:58Z)
• Retentive Network: A Successor to Transformer for Large Language Models [91.6652200825638]
  大規模言語モデルの基盤アーキテクチャとしてRetentive Network(RetNet)を提案する。 理論的には、再発と注意の関係を導出する。 言語モデリングの実験結果から、RetNetは優れたスケーリング結果、並列トレーニング、低コストなデプロイメント、効率的な推論を実現している。
  論文  参考訳（メタデータ） (2023-07-17T16:40:01Z)
• Augmenting Language Models with Long-Term Memory [142.04940250657637]
  既存の大規模言語モデル(LLM)では、入力長制限のため、固定サイズの入力しかできない。 本稿では,Long-Term Memory (LongMem) を付加した言語モデルを提案する。
  論文  参考訳（メタデータ） (2023-06-12T15:13:39Z)
• Improving Image Recognition by Retrieving from Web-Scale Image-Text Data [68.63453336523318]
  本稿では,メモリから抽出した各サンプルの重要性を学習するアテンションベースのメモリモジュールを提案する。 既存の手法と比較して,提案手法は無関係な検索例の影響を排除し,入力クエリに有益であるものを保持する。 我々は、ImageNet-LT、Places-LT、Webvisionのデータセットで最先端の精度を実現していることを示す。
  論文  参考訳（メタデータ） (2023-04-11T12:12:05Z)
• Experimentally realized memristive memory augmented neural network [0.0]
  デバイス上での生涯学習は、マシンインテリジェンスにとって重要な課題だ。 メモリ拡張ニューラルネットワークは目標を達成するために提案されているが、メモリモジュールはオフチップメモリに保存されなければならない。 メモリ全体の拡張ニューラルネットワークアーキテクチャを,完全に統合されたメムリシティブなクロスバープラットフォームに実装する。
  論文  参考訳（メタデータ） (2022-04-15T11:52:30Z)
• Memory-Guided Semantic Learning Network for Temporal Sentence Grounding [55.31041933103645]
  本稿では,TSGタスクにおいて稀に出現しないコンテンツを学習し,記憶するメモリ拡張ネットワークを提案する。 MGSL-Netは、クロスモーダル・インターアクション・モジュール、メモリ拡張モジュール、異種アテンション・モジュールの3つの主要な部分で構成されている。
  論文  参考訳（メタデータ） (2022-01-03T02:32:06Z)
• Learning to Ignore: Long Document Coreference with Bounded Memory Neural Networks [65.3963282551994]
  我々は、すべてのエンティティをメモリに保持することは不要であると主張し、同時に少数のエンティティだけを追跡するメモリ拡張ニューラルネットワークを提案する。 a)OntoNotesとLitBankの高メモリ・計算要求モデルと競合する傾向にあり,(b)ルールベースの戦略よりも容易に効率の良いメモリ管理戦略を学習できることを示す。
  論文  参考訳（メタデータ） (2020-10-06T15:16:31Z)
• CDeC-Net: Composite Deformable Cascade Network for Table Detection in Document Images [30.48863304419383]
  本稿では,文書内に存在するテーブルを検出するための,エンドツーエンドのトレーニング可能な新しいディープネットワーク(CDeC-Net)を提案する。 提案するネットワークは、スケールの異なるテーブルを検出する変形可能な畳み込みを有するデュアルバックボーンを備えたMask R-CNNのマルチステージ拡張で構成されている。 利用可能なすべてのベンチマークデータセット上でCDeC-Netを実証的に評価する。
  論文  参考訳（メタデータ） (2020-08-25T05:53:59Z)
• Working Memory for Online Memory Binding Tasks: A Hybrid Model [0.0]
  ワーキングメモリ(Working Memory)は、情報をオンラインで保持し操作する脳モジュールである。 本研究では、単純なフィードフォワードネットワークをバランスの取れたランダムネットワークに結合するハイブリッドモデルを設計する。 我々の知る限り、フレキシブルメモリとしてのランダムネットワークがオンラインバインディングタスクにおいて重要な役割を果たすのは、これが初めてである。
  論文  参考訳（メタデータ） (2020-08-05T14:06:07Z)
• Distributed Associative Memory Network with Memory Refreshing Loss [5.5792083698526405]
  メモリリフレッシングロス(MRL)を用いた分散連想メモリアーキテクチャ(DAM)について紹介する。 人間の脳の動作にインスパイアされた私たちのフレームワークは、複数のメモリブロックにまたがる分散表現でデータをエンコードします。 MRLにより、記憶されたメモリコンテンツから入力データを再生することにより、MANNは、入力データとタスク目的との関連性を強化することができる。
  論文  参考訳（メタデータ） (2020-07-21T07:34:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。