論文の概要: $FM^2$: Field-matrixed Factorization Machines for Recommender Systems

• arxiv url: http://arxiv.org/abs/2102.12994v2
• Date: Fri, 19 Mar 2021 17:19:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-05 00:43:07.155972
• Title: $FM^2$: Field-matrixed Factorization Machines for Recommender Systems
• Title（参考訳）: $FM^2$:Recommenderシステムのためのフィールド行列化ファクトリゼーションマシン
• Authors: Yang Sun, Junwei Pan, Alex Zhang, Aaron Flores
• Abstract要約: フィールド情報を効果的かつ効率的にモデル化するための新しい手法を提案する。 提案手法はFwFMの直接改良であり、FmFM(Field-matrixed Factorization Machines)と呼ばれている。
• 参考スコア（独自算出の注目度）: 9.461169933697379
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Click-through rate (CTR) prediction plays a critical role in recommender systems and online advertising. The data used in these applications are multi-field categorical data, where each feature belongs to one field. Field information is proved to be important and there are several works considering fields in their models. In this paper, we proposed a novel approach to model the field information effectively and efficiently. The proposed approach is a direct improvement of FwFM, and is named as Field-matrixed Factorization Machines (FmFM, or $FM^2$). We also proposed a new explanation of FM and FwFM within the FmFM framework, and compared it with the FFM. Besides pruning the cross terms, our model supports field-specific variable dimensions of embedding vectors, which acts as soft pruning. We also proposed an efficient way to minimize the dimension while keeping the model performance. The FmFM model can also be optimized further by caching the intermediate vectors, and it only takes thousands of floating-point operations (FLOPs) to make a prediction. Our experiment results show that it can out-perform the FFM, which is more complex. The FmFM model's performance is also comparable to DNN models which require much more FLOPs in runtime.
• Abstract（参考訳）: クリックスルー率(CTR)予測はレコメンダシステムやオンライン広告において重要な役割を果たす。 これらのアプリケーションで使用されるデータはマルチフィールド分類データであり、各機能は1つのフィールドに属する。 フィールド情報は重要であることが証明され、モデルのフィールドを考慮したいくつかの研究がある。 本稿では,フィールド情報を効果的かつ効率的にモデル化する新しい手法を提案する。 提案手法はFwFMの直接改良であり、FmFM(Field-matrixed Factorization Machines)と呼ばれる。 また、FmFMフレームワークにおけるFMとFwFMの新たな説明を提案し、FFMと比較した。 クロス項のプルーニングに加えて、我々のモデルは、ソフトプルーニングとして機能する埋め込みベクトルのフィールド固有変数次元をサポートする。 また、モデル性能を維持しながら寸法を最小化する効率的な方法も提案した。 FmFMモデルは中間ベクトルをキャッシュすることでさらに最適化することができ、予測には数千の浮動小数点演算(FLOP)しか必要としない。 実験の結果,FFMよりも複雑であることがわかった。 FmFMモデルの性能は、実行時にもっとFLOPを必要とするDNNモデルに匹敵する。

関連論文リスト

• Fed-piLot: Optimizing LoRA Assignment for Efficient Federated Foundation Model Fine-Tuning [11.10244162253018]
  ヘテロジニアスクライアントのためのローカルLoRA割り当てを最適化したFedFMファインチューニングフレームワークであるFed-piLotを紹介する。 我々は、クライアントのメモリ制約下でのLoRA割り当てを最適化するために、IGスコア(Local-Global Information Gain Score)ベースの値関数を設計する。 IIDおよび非IID条件下での3つのデータセットの実験結果は、Fed-piLotの有効性と効率を示す。
  論文  参考訳（メタデータ） (2024-10-14T06:36:41Z)
• DFM: Interpolant-free Dual Flow Matching [0.8192907805418583]
  モデルベクトル場に関する明示的な仮定を伴わない補間自由二重流れマッチング(DFM)手法を提案する。 SMAPによる教師なし異常検出実験は、最大極度またはFM目標で訓練されたCNFと比較して、DFMの利点を示す。
  論文  参考訳（メタデータ） (2024-10-11T20:46:04Z)
• FedPFT: Federated Proxy Fine-Tuning of Foundation Models [55.58899993272904]
  フェデレートラーニング(FL)を通じて下流タスクにファンデーションモデル(FM)を適用することは、データプライバシと価値のあるFMを保護するための有望な戦略として現れます。 FLのクライアントにサブFMを割り当てることによる既存のFMの微調整手法は、チューニングが不十分で勾配の必然的エラー蓄積が避けられないため、最適以下の性能をもたらす。 本稿では,FedPFT(Federated Proxy Fine-Tuning)を提案する。
  論文  参考訳（メタデータ） (2024-04-17T16:30:06Z)
• Learn From Model Beyond Fine-Tuning: A Survey [78.80920533793595]
  Learn From Model (LFM) は、モデルインターフェースに基づいた基礎モデル(FM)の研究、修正、設計に焦点を当てている。 LFM技術の研究は、モデルチューニング、モデル蒸留、モデル再利用、メタラーニング、モデル編集の5つの分野に大別できる。 本稿では, LFM の観点から, FM に基づく現在の手法を概観する。
  論文  参考訳（メタデータ） (2023-10-12T10:20:36Z)
• EMOFM: Ensemble MLP mOdel with Feature-based Mixers for Click-Through Rate Prediction [5.983194751474721]
  データセットには数百万のレコードが含まれており、レコード内の各フィールドワイド機能は、プライバシのためのハッシュされた整数で構成されている。 このタスクのために、ネットワークベースの手法のキーは、異なるフィールドにまたがるタイプワイドな特徴抽出と情報融合であるかもしれない。 フィールド/タイプワイド機能融合のためのプラグインミキサーを提案し、フィールド/タイプワイドアンサンブルモデル、すなわちEMOFMを構築する。
  論文  参考訳（メタデータ） (2023-10-06T12:32:23Z)
• Improving and generalizing flow-based generative models with minibatch optimal transport [90.01613198337833]
  連続正規化フロー(CNF)のための一般条件流整合(CFM)技術を導入する。 CFMは、拡散モデルのフローをトレーニングするために使用されるような安定した回帰目標を特徴としているが、決定論的フローモデルの効率的な推論を好んでいる。 我々の目的の変種は最適輸送CFM (OT-CFM) であり、訓練がより安定し、より高速な推論をもたらすより単純なフローを生成する。
  論文  参考訳（メタデータ） (2023-02-01T14:47:17Z)
• Boosting Factorization Machines via Saliency-Guided Mixup [125.15872106335692]
  我々は、MixupにインスパイアされたMixFMを紹介し、ファクトリゼーションマシン(FM)を強化するための補助的なトレーニングデータを生成する。 また、Saliency-Guided Mixup(SMFM)を利用した新しいファクトリゼーションマシンも提案した。
  論文  参考訳（メタデータ） (2022-06-17T09:49:00Z)
• Leaf-FM: A Learnable Feature Generation Factorization Machine for Click-Through Rate Prediction [2.412497918389292]
  本稿では,FM に基づく LeafFM モデルを提案する。 実世界の3つのデータセットで実験を行い、その結果、Leaf-FMモデルは標準FMよりも大きなマージンで優れていることを示した。
  論文  参考訳（メタデータ） (2021-07-26T08:29:18Z)
• Mixed Variable Bayesian Optimization with Frequency Modulated Kernels [96.78099706164747]
  異なる種類の変数間の依存性を柔軟にモデリングする周波数変調(FM)カーネルを提案する。 BO-FMは正規化進化(RE)およびBOHBを含む競争相手を上回ります。
  論文  参考訳（メタデータ） (2021-02-25T11:28:46Z)
• Learning Discrete Energy-based Models via Auxiliary-variable Local Exploration [130.89746032163106]
  離散構造データに対する条件付きおよび非条件付きEMMを学習するための新しいアルゴリズムであるALOEを提案する。 エネルギー関数とサンプリング器は、新しい変分型電力繰り返しにより効率よく訓練できることを示す。 本稿では、ソフトウェアテストのためのエネルギーモデルガイド付ファジィザについて、libfuzzerのようなよく設計されたファジィエンジンに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2020-11-10T19:31:29Z)
• Field-Embedded Factorization Machines for Click-through rate prediction [2.942829992746068]
  クリックスルーレート(CTR)予測モデルは、デジタル広告やレコメンダシステムなど、多くのオンラインアプリケーションで一般的である。 我々は,新しい浅場埋め込み因子化マシン (FEFM) と深場埋め込み因子化マシン (DeepFEFM) を提案する。 FEFMはFFMよりもモデル複雑さが著しく低く、FwFMとほぼ同じ複雑さを持つ。
  論文  参考訳（メタデータ） (2020-09-13T15:32:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。