論文の概要: Learning to Embed Categorical Features without Embedding Tables for Recommendation

• arxiv url: http://arxiv.org/abs/2010.10784v2
• Date: Mon, 7 Jun 2021 06:31:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-05 00:55:17.305768
• Title: Learning to Embed Categorical Features without Embedding Tables for Recommendation
• Title（参考訳）: 推薦表を埋め込まずにカテゴリー的特徴を組み込む学習
• Authors: Wang-Cheng Kang, Derek Zhiyuan Cheng, Tiansheng Yao, Xinyang Yi, Ting Chen, Lichan Hong, Ed H. Chi
• Abstract要約: 本稿では,組込みテーブルを深層埋め込みネットワークに置き換え,組込みを高速に計算する別の組込みフレームワークを提案する。 エンコーディングモジュールは決定論的であり、学習不能であり、ストレージが不要である一方、埋め込みネットワークはトレーニング時間中に更新され、埋め込み生成が学習される。
• 参考スコア（独自算出の注目度）: 22.561967284428707
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Embedding learning of categorical features (e.g. user/item IDs) is at the core of various recommendation models including matrix factorization and neural collaborative filtering. The standard approach creates an embedding table where each row represents a dedicated embedding vector for every unique feature value. However, this method fails to efficiently handle high-cardinality features and unseen feature values (e.g. new video ID) that are prevalent in real-world recommendation systems. In this paper, we propose an alternative embedding framework Deep Hash Embedding (DHE), replacing embedding tables by a deep embedding network to compute embeddings on the fly. DHE first encodes the feature value to a unique identifier vector with multiple hashing functions and transformations, and then applies a DNN to convert the identifier vector to an embedding. The encoding module is deterministic, non-learnable, and free of storage, while the embedding network is updated during the training time to learn embedding generation. Empirical results show that DHE achieves comparable AUC against the standard one-hot full embedding, with smaller model sizes. Our work sheds light on the design of DNN-based alternative embedding schemes for categorical features without using embedding table lookup.
• Abstract（参考訳）: カテゴリー的特徴の埋め込み学習(例えば、ユーザ/テーマid)は、マトリックス因子化やニューラルネットワークの協調フィルタリングを含む様々な推奨モデルの中核である。 標準的なアプローチでは、各行がそれぞれのユニークな特徴値に対して専用の埋め込みベクトルを表す埋め込みテーブルを生成する。 しかし,本手法では,実世界のレコメンデーションシステムで普及している高心性機能や未認識の特徴値(新映像idなど)を効率的に処理できない。 本稿では,ディープ・ハッシュ・エンベディング(Deep Hash Embedding, DHE)という別の組込みフレームワークを提案する。 DHEはまず、複数のハッシュ関数と変換を持つユニークな識別子ベクトルに特徴値をエンコードし、次にDNNを適用して識別子ベクトルを埋め込みに変換する。 エンコーディングモジュールは決定論的であり、非学習可能であり、ストレージがないが、組み込みネットワークはトレーニング中に更新され、埋め込み生成を学ぶ。 実験の結果,DHEはモデルサイズが小さい標準の1ホットフル埋め込みに対して,同等のAUCを実現していることがわかった。 我々の研究は、埋め込みテーブルのルックアップを使わずにカテゴリ機能のためのdnnベースの代替埋め込みスキームの設計に光を当てている。

関連論文リスト

• Deep Feature Embedding for Tabular Data [2.1301560294088318]
  本稿では,軽量なディープニューラルネットワークを利用した新しいディープ埋め込みフレームワークを提案する。 数値的特徴量には、2段階の特徴展開と深層変換法が用いられる。 実世界のデータセットを用いて実験を行い、性能評価を行った。
  論文  参考訳（メタデータ） (2024-08-30T10:05:24Z)
• Making Pre-trained Language Models Great on Tabular Prediction [50.70574370855663]
  ディープニューラルネットワーク(DNN)の転送性は、画像および言語処理において著しく進歩している。 本稿では,表型データ予測のための訓練済みLMであるTP-BERTaを提案する。 新たな相対等級トークン化では、スカラー数値の特徴値を細分化した高次元トークンに変換し、特徴値と対応する特徴名を統合する。
  論文  参考訳（メタデータ） (2024-03-04T08:38:56Z)
• Dynamic Perceiver for Efficient Visual Recognition [87.08210214417309]
  特徴抽出手順と早期分類タスクを分離する動的知覚器(Dyn-Perceiver)を提案する。 特徴ブランチは画像の特徴を抽出し、分類ブランチは分類タスクに割り当てられた遅延コードを処理する。 早期出口は分類枝に限られており、低レベルの特徴において線形分離性は不要である。
  論文  参考訳（メタデータ） (2023-06-20T03:00:22Z)
• Model-based feature selection for neural networks: A mixed-integer programming approach [0.9281671380673306]
  我々は、ReLUに基づくディープニューラルネットワーク(DNN)のための新しい入力特徴選択フレームワークを開発する。 提示の明確化のための画像分類のための入力特徴の発見に焦点をあてる。 提案した入力特徴選択により,適切な分類精度を維持しつつ,入力のサイズを$sim$15%に劇的に削減できることを示す。
  論文  参考訳（メタデータ） (2023-02-20T22:19:50Z)
• Dynamic Prototype Mask for Occluded Person Re-Identification [88.7782299372656]
  既存の手法では、目に見える部分を識別するために、余分なネットワークによって提供される身体の手がかりを利用することで、この問題に対処している。 2つの自己明快な事前知識に基づく新しい動的プロトタイプマスク(DPM)を提案する。 この条件下では、隠蔽された表現は、選択された部分空間において自然にうまく整列することができる。
  論文  参考訳（メタデータ） (2022-07-19T03:31:13Z)
• Deep ensembles in bioimage segmentation [74.01883650587321]
  本研究では,畳み込みニューラルネットワーク(CNN)のアンサンブルを提案する。 アンサンブル法では、多くの異なるモデルが訓練され、分類に使用され、アンサンブルは単一分類器の出力を集約する。 提案するアンサンブルは,DeepLabV3+とHarDNet環境を用いて,異なるバックボーンネットワークを組み合わせることで実現されている。
  論文  参考訳（メタデータ） (2021-12-24T05:54:21Z)
• Learning Effective and Efficient Embedding via an Adaptively-Masked Twins-based Layer [15.403616481651383]
  本稿では,標準埋め込み層の背後に適応型ツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツインツ AMTLは、埋め込みベクトルごとに望ましくない次元をマスクするマスクベクトルを生成する。 マスクベクトルは次元の選択に柔軟性をもたらし、提案した層は訓練されていないDLRMや訓練されていないDLRMに簡単に追加できる。
  論文  参考訳（メタデータ） (2021-08-24T11:50:49Z)
• AutoLL: Automatic Linear Layout of Graphs based on Deep Neural Network [41.60125423028092]
  本稿では, AutoLL と呼ばれる新しい一モード線形レイアウト手法を提案する。 我々は、指向性および非指向性ネットワークを並べ替えるための2種類のニューラルネットワークモデルであるAutoLL-DとAutoLL-Uを開発した。
  論文  参考訳（メタデータ） (2021-08-05T08:04:15Z)
• Rank-R FNN: A Tensor-Based Learning Model for High-Order Data Classification [69.26747803963907]
  Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。 まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。 Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
  論文  参考訳（メタデータ） (2021-04-11T16:37:32Z)
• Sparse-Interest Network for Sequential Recommendation [78.83064567614656]
  本稿では,シーケンシャルレコメンデーションのためのtextbfSparse textbfInterest textbfNEtwork(SINE)を提案する。 我々のスパース関心モジュールは、大きなコンセプトプールから各ユーザに対してスパースの概念セットを適応的に推測することができる。 SINEは最先端の手法よりも大幅に改善できる。
  論文  参考訳（メタデータ） (2021-02-18T11:03:48Z)
• Embedded methods for feature selection in neural networks [0.0]
  ニューラルネットワークのようなブラックボックスモデルは、解釈可能性、一般化可能性、これらのモデルのトレーニング時間に悪影響を及ぼす。 パラメータ学習に直接組み込むことのできる特徴選択のための2つの統合的アプローチを提案する。 PFI(Permutation Feature Importance) - 汎用的な特徴ランキング法とランダムなベースライン。
  論文  参考訳（メタデータ） (2020-10-12T16:33:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。