論文の概要: MemoNet: Memorizing All Cross Features' Representations Efficiently via
Multi-Hash Codebook Network for CTR Prediction
- arxiv url: http://arxiv.org/abs/2211.01334v3
- Date: Mon, 4 Sep 2023 08:58:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-07 07:25:00.634676
- Title: MemoNet: Memorizing All Cross Features' Representations Efficiently via
Multi-Hash Codebook Network for CTR Prediction
- Title（参考訳）: MemoNet:CTR予測のためのマルチハッシュコードブックネットワークによる全クロスフィーチャの表現を効率的に記憶する
- Authors: Pengtao Zhang and Junlin Zhang
- Abstract要約: 自然言語処理(NLP)の新たな発見は、強い記憶能力がLarge Language Models(LLM)の成功に大きく貢献していることを示している。
これにより、CTRランキングモデルに独立メモリ機構を明示的に導入して、クロスフィーチャの表現を学習し記憶することが可能になる。
本稿では,CTRタスクにおけるクロス機能の表現を効率的に学習し記憶するためのメモリ機構として,マルチハッシュ・コードブック・ネットワーク(HCNet)を提案する。
- 参考スコア（独自算出の注目度）: 0.3729614006275886
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: New findings in natural language processing (NLP) demonstrate that the strong
memorization capability contributes a lot to the success of Large Language
Models (LLM). This inspires us to explicitly bring an independent memory
mechanism into CTR ranking model to learn and memorize cross features'
representations. In this paper, we propose multi-Hash Codebook NETwork (HCNet)
as the memory mechanism for efficiently learning and memorizing representations
of cross features in CTR tasks. HCNet uses a multi-hash codebook as the main
memory place and the whole memory procedure consists of three phases:
multi-hash addressing, memory restoring, and feature shrinking. We also propose
a new CTR model named MemoNet which combines HCNet with a DNN backbone.
Extensive experimental results on three public datasets and online test show
that MemoNet reaches superior performance over state-of-the-art approaches.
Besides, MemoNet shows scaling law of large language model in NLP, which means
we can enlarge the size of the codebook in HCNet to sustainably obtain
performance gains. Our work demonstrates the importance and feasibility of
learning and memorizing representations of cross features, which sheds light on
a new promising research direction.
- Abstract（参考訳）: 自然言語処理(NLP)の新たな発見は、強い記憶能力がLarge Language Models(LLM)の成功に大きく貢献していることを示している。
これにより、CTRランキングモデルに独立メモリ機構を明示的に導入して、クロスフィーチャの表現を学習し記憶することが可能になる。
本稿では,CTRタスクにおけるクロス機能の表現を効率的に学習し記憶するためのメモリ機構として,マルチハッシュコードブックネットワーク(HCNet)を提案する。
HCNetはマルチハッシュのコードブックをメインメモリとして使用し、メモリプロシージャは、マルチハッシュアドレッシング、メモリ復元、機能縮小という3つのフェーズで構成されている。
また,HCNetとDNNバックボーンを組み合わせた新しいCTRモデルMemoNetを提案する。
3つの公開データセットとオンラインテストによる大規模な実験結果は、MemoNetが最先端のアプローチよりも優れたパフォーマンスを達成していることを示している。
さらに、memonet は nlp における大規模言語モデルのスケーリング則を示しており、hcnet のコードブックのサイズを拡大してパフォーマンスを持続的に得ることができる。
我々の研究は、クロス特徴の学習と記憶の表現の重要性と実現可能性を示し、新しい有望な研究方向性に光を当てている。
関連論文リスト
- CodeXEmbed: A Generalist Embedding Model Family for Multiligual and Multi-task Code Retrieval [103.116634967815]
CodeXEmbedは400Mから7Bパラメータの大規模なコード埋め込みモデルのファミリーである。
我々の新しいトレーニングパイプラインは、複数のプログラミング言語を統合し、様々なコード関連タスクを共通の検索フレームワークに変換する。
私たちの7Bモデルは、コード検索において新しい最先端(SOTA)を設定し、以前の主要なモデルであるVoyage-CodeをCoIRベンチマークで20%以上上回っています。
論文 参考訳（メタデータ） (2024-11-19T16:54:45Z) - Continual Referring Expression Comprehension via Dual Modular
Memorization [133.46886428655426]
Referring Expression (REC) は、自然言語で記述された対象のイメージ領域をローカライズすることを目的としている。
既存のRECアルゴリズムは、モデルへのデータ供給のトレーニングを前もって行うと強く仮定する。
本稿では、入ってくるタスクのストリーム上でモデルが学習するRECの新しい設定である連続参照表現(CREC)を提案する。
学習済みの知識を忘れずに,スクラッチから繰り返し再学習することなく,逐次的タスクのモデルを継続的に改善するために,デュアルモジュール記憶法という効果的なベースライン手法を提案する。
論文 参考訳（メタデータ） (2023-11-25T02:58:51Z) - Universal Recurrent Event Memories for Streaming Data [0.0]
本稿では、リカレントニューラルネットワークのための新しいイベントメモリアーキテクチャ(MemNet)を提案する。
MemNetはキーと値のペアを格納し、アドレスとコンテンツの情報を分離する。
MemNetアーキテクチャはスカラー時系列、文字列上の論理演算子、自然言語処理に修正を加えることなく適用することができる。
論文 参考訳（メタデータ） (2023-07-28T17:40:58Z) - Retentive Network: A Successor to Transformer for Large Language Models [91.6652200825638]
大規模言語モデルの基盤アーキテクチャとしてRetentive Network(RetNet)を提案する。
理論的には、再発と注意の関係を導出する。
言語モデリングの実験結果から、RetNetは優れたスケーリング結果、並列トレーニング、低コストなデプロイメント、効率的な推論を実現している。
論文 参考訳（メタデータ） (2023-07-17T16:40:01Z) - RET-LLM: Towards a General Read-Write Memory for Large Language Models [53.288356721954514]
RET-LLMは、大規模な言語モデルに一般的な読み書きメモリユニットを装備する新しいフレームワークである。
デビッドソンのセマンティクス理論に触発され、三重項の形で知識を抽出し保存する。
本フレームワークは,時間に基づく質問応答タスクの処理において,堅牢な性能を示す。
論文 参考訳（メタデータ） (2023-05-23T17:53:38Z) - Improving Image Recognition by Retrieving from Web-Scale Image-Text Data [68.63453336523318]
本稿では,メモリから抽出した各サンプルの重要性を学習するアテンションベースのメモリモジュールを提案する。
既存の手法と比較して,提案手法は無関係な検索例の影響を排除し,入力クエリに有益であるものを保持する。
我々は、ImageNet-LT、Places-LT、Webvisionのデータセットで最先端の精度を実現していることを示す。
論文 参考訳（メタデータ） (2023-04-11T12:12:05Z) - Experimentally realized memristive memory augmented neural network [0.0]
デバイス上での生涯学習は、マシンインテリジェンスにとって重要な課題だ。
メモリ拡張ニューラルネットワークは目標を達成するために提案されているが、メモリモジュールはオフチップメモリに保存されなければならない。
メモリ全体の拡張ニューラルネットワークアーキテクチャを,完全に統合されたメムリシティブなクロスバープラットフォームに実装する。
論文 参考訳（メタデータ） (2022-04-15T11:52:30Z) - Memory-Guided Semantic Learning Network for Temporal Sentence Grounding [55.31041933103645]
本稿では,TSGタスクにおいて稀に出現しないコンテンツを学習し,記憶するメモリ拡張ネットワークを提案する。
MGSL-Netは、クロスモーダル・インターアクション・モジュール、メモリ拡張モジュール、異種アテンション・モジュールの3つの主要な部分で構成されている。
論文 参考訳（メタデータ） (2022-01-03T02:32:06Z) - CDeC-Net: Composite Deformable Cascade Network for Table Detection in
Document Images [30.48863304419383]
本稿では,文書内に存在するテーブルを検出するための,エンドツーエンドのトレーニング可能な新しいディープネットワーク(CDeC-Net)を提案する。
提案するネットワークは、スケールの異なるテーブルを検出する変形可能な畳み込みを有するデュアルバックボーンを備えたMask R-CNNのマルチステージ拡張で構成されている。
利用可能なすべてのベンチマークデータセット上でCDeC-Netを実証的に評価する。
論文 参考訳（メタデータ） (2020-08-25T05:53:59Z) - Working Memory for Online Memory Binding Tasks: A Hybrid Model [0.0]
ワーキングメモリ(Working Memory)は、情報をオンラインで保持し操作する脳モジュールである。
本研究では、単純なフィードフォワードネットワークをバランスの取れたランダムネットワークに結合するハイブリッドモデルを設計する。
我々の知る限り、フレキシブルメモリとしてのランダムネットワークがオンラインバインディングタスクにおいて重要な役割を果たすのは、これが初めてである。
論文 参考訳（メタデータ） (2020-08-05T14:06:07Z) - Distributed Associative Memory Network with Memory Refreshing Loss [5.5792083698526405]
メモリリフレッシングロス(MRL)を用いた分散連想メモリアーキテクチャ(DAM)について紹介する。
人間の脳の動作にインスパイアされた私たちのフレームワークは、複数のメモリブロックにまたがる分散表現でデータをエンコードします。
MRLにより、記憶されたメモリコンテンツから入力データを再生することにより、MANNは、入力データとタスク目的との関連性を強化することができる。
論文 参考訳（メタデータ） (2020-07-21T07:34:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。