論文の概要: Memory-Efficient Factorization Machines via Binarizing both Data and Model Coefficients

• arxiv url: http://arxiv.org/abs/2108.07421v1
• Date: Tue, 17 Aug 2021 03:30:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-18 13:13:40.845667
• Title: Memory-Efficient Factorization Machines via Binarizing both Data and Model Coefficients
• Title（参考訳）: データとモデル係数の組合せによるメモリ効率因子化マシン
• Authors: Yu Geng and Liang Lan
• Abstract要約: ファクトリゼーションマシン(FM)の限界を克服するサブスペースイミネーティングマシン(SEFM)が提案されている。 本稿では,モデルパラメータを2値に制約する2値化FM法を提案する。 提案手法はSEFMと同等の精度を達成できるが,メモリコストははるかに少ない。
• 参考スコア（独自算出の注目度）: 9.692334398809457
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Factorization Machines (FM), a general predictor that can efficiently model feature interactions in linear time, was primarily proposed for collaborative recommendation and have been broadly used for regression, classification and ranking tasks. Subspace Encoding Factorization Machine (SEFM) has been proposed recently to overcome the expressiveness limitation of Factorization Machines (FM) by applying explicit nonlinear feature mapping for both individual features and feature interactions through one-hot encoding to each input feature. Despite the effectiveness of SEFM, it increases the memory cost of FM by $b$ times, where $b$ is the number of bins when applying one-hot encoding on each input feature. To reduce the memory cost of SEFM, we propose a new method called Binarized FM which constraints the model parameters to be binary values (i.e., 1 or $-1$). Then each parameter value can be efficiently stored in one bit. Our proposed method can significantly reduce the memory cost of SEFM model. In addition, we propose a new algorithm to effectively and efficiently learn proposed FM with binary constraints using Straight Through Estimator (STE) with Adaptive Gradient Descent (Adagrad). Finally, we evaluate the performance of our proposed method on eight different classification datasets. Our experimental results have demonstrated that our proposed method achieves comparable accuracy with SEFM but with much less memory cost.
• Abstract（参考訳）: 特徴の相互作用を線形時間で効率的にモデル化できる一般的な予測器であるFacterization Machines (FM) は、主に協調的な推奨のために提案され、回帰、分類、ランキングタスクに広く利用されている。 sefm(subspace encoding factorization machine)は、各入力特徴に1-hotエンコーディングによる個々の特徴と特徴の相互作用の両方に明示的な非線形特徴マッピングを適用することで、要素化機械(fm)の表現性制限を克服するために最近提案されている。 SEFMの有効性にもかかわらず、FMのメモリコストを$b$倍にし、各入力機能にワンホット符号化を適用する際に、$b$はビンの数である。 本研究では,SEFMのメモリコストを削減するために,モデルパラメータを2進値(例えば 1 または 1 ドル)に制約する Binarized FM という新しい手法を提案する。 そして、各パラメータ値を1ビットに効率的に格納することができる。 提案手法はSEFMモデルのメモリコストを大幅に削減することができる。 さらに,Adagrad (Adaptive Gradient Descent) を用いた Straight Through Estimator (STE) を用いて,2進制約付きFMを効果的かつ効率的に学習するアルゴリズムを提案する。 最後に,提案手法の性能を8種類の分類データセットで評価した。 実験の結果,提案手法はSEFMと同等の精度を達成できるが,メモリコストははるかに少ないことがわかった。

関連論文リスト

• Transforming Image Super-Resolution: A ConvFormer-based Efficient Approach [58.57026686186709]
  本稿では, Convolutional Transformer Layer (ConvFormer) を導入し, ConvFormer-based Super-Resolution Network (CFSR) を提案する。 CFSRは畳み込みベースのアプローチとトランスフォーマーベースのアプローチの両方の利点を継承する。 CFSRは計算コストと性能のバランスが最適であることを示す実験である。
  論文  参考訳（メタデータ） (2024-01-11T03:08:00Z)
• Tuning Pre-trained Model via Moment Probing [62.445281364055795]
  本稿では,LP の可能性を探るため,新しい Moment Probing (MP) 法を提案する。 MPは、最終特徴の平均に基づいて線形分類ヘッドを実行する。 当社のMPはLPを著しく上回り、トレーニングコストの低い相手と競争しています。
  論文  参考訳（メタデータ） (2023-07-21T04:15:02Z)
• Fine-Tuning Language Models with Just Forward Passes [92.04219196752007]
  微調整言語モデル(LM)は、様々な下流タスクで成功したが、LMのサイズが大きくなるにつれて、バックプロパゲーションは大量のメモリを必要とする。 本稿では,メモリ効率の高いゼロソーダ(MeZO)を提案する。
  論文  参考訳（メタデータ） (2023-05-27T02:28:10Z)
• Nearly Minimax Optimal Reinforcement Learning for Linear Markov Decision Processes [80.89852729380425]
  そこで本研究では,最小限の最小残差である$tilde O(dsqrtH3K)$を計算効率よく実現したアルゴリズムを提案する。 我々の研究は線形 MDP を用いた最適 RL に対する完全な答えを提供する。
  論文  参考訳（メタデータ） (2022-12-12T18:58:59Z)
• Boosting Factorization Machines via Saliency-Guided Mixup [125.15872106335692]
  我々は、MixupにインスパイアされたMixFMを紹介し、ファクトリゼーションマシン(FM)を強化するための補助的なトレーニングデータを生成する。 また、Saliency-Guided Mixup(SMFM)を利用した新しいファクトリゼーションマシンも提案した。
  論文  参考訳（メタデータ） (2022-06-17T09:49:00Z)
• On Computing the Hyperparameter of Extreme Learning Machines: Algorithm and Application to Computational PDEs, and Comparison with Classical and High-Order Finite Elements [0.0]
  計算偏微分方程式(PDE)における極端学習機械(ELM)の利用について考察する。 ELMでは、ニューラルネットワーク内の隠れ層係数は$[-R_m,R_m]$で生成されたランダム値に割り当てられ、固定される。 本稿では、微分進化アルゴリズムに基づいて、$R_m$の最適値を計算する方法を提案する。
  論文  参考訳（メタデータ） (2021-10-27T02:05:26Z)
• Joint Majorization-Minimization for Nonnegative Matrix Factorization with the $\beta$-divergence [4.468952886990851]
  本稿では、$beta$-divergenceの目的関数を持つ非負行列分解(NMF)に対する新しい乗法的更新を提案する。 種々のデータセット(顔画像,音声スペクトログラム,ハイパースペクトルデータ,歌曲数)を用いて実験結果を報告する。
  論文  参考訳（メタデータ） (2021-06-29T09:58:21Z)
• Factorization Machines with Regularization for Sparse Feature Interactions [13.593781209611112]
  因子化マシン(英: Factorization Machine、FM)は、二階特徴相互作用に基づく機械学習の予測モデルである。 FMにおける特徴間相互作用選択のための新しい正規化方式を提案する。 機能間相互作用の選択のために,提案する正則化器は,既存手法が課すスパーシティパターンに制約を加えることなく,特徴間相互作用行列をスパース化する。
  論文  参考訳（メタデータ） (2020-10-19T05:00:40Z)
• Memory and Computation-Efficient Kernel SVM via Binary Embedding and Ternary Model Coefficients [18.52747917850984]
  カーネル近似はカーネルSVMのトレーニングと予測のスケールアップに広く用いられている。 メモリ制限されたデバイスにデプロイしたい場合、カーネル近似モデルのメモリと計算コストはまだ高すぎる。 本稿では,バイナリ埋め込みとバイナリモデル係数を用いて,新しいメモリと計算効率の高いカーネルSVMモデルを提案する。
  論文  参考訳（メタデータ） (2020-10-06T09:41:54Z)
• Efficient Learning of Generative Models via Finite-Difference Score Matching [111.55998083406134]
  有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。 我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
  論文  参考訳（メタデータ） (2020-07-07T10:05:01Z)
• DS-FACTO: Doubly Separable Factorization Machines [4.281959480566438]
  因子化マシン(FM)は、線形モデルにより表現力を加えるために、特徴間の高次相互作用を含む強力なモデルのクラスである。 ペアワイズ機能に低ランク表現を使用するにもかかわらず、大規模な実世界のデータセットにファクタライズマシンを使用することのメモリオーバーヘッドは禁じられるほど高い。 単一マシンで動作する従来のFMアルゴリズムでは,このスケールを処理できないため,クラスタ間で計算を並列化する分散アルゴリズムは避けられない。
  論文  参考訳（メタデータ） (2020-04-29T03:36:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。