論文の概要: Basis Function Encoding of Numerical Features in Factorization Machines for Improved Accuracy

• arxiv url: http://arxiv.org/abs/2305.14528v2
• Date: Sun, 22 Dec 2024 06:50:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:54:35.929984
• Title: Basis Function Encoding of Numerical Features in Factorization Machines for Improved Accuracy
• Title（参考訳）: ファクトリゼーションマシンにおける数値特徴量の基底関数符号化による精度向上
• Authors: Alex Shtoff, Elie Abboud, Rotem Stram, Oren Somekh,
• Abstract要約: FM変種に数値的特徴を組み込む体系的・理論的に最適化された方法を提案する。 提案手法は,選択した関数の集合にまたがる数値特徴の分数化関数を学習するモデルであることを示す。 本手法は,高速な学習と推論を保存し,FMモデルの計算グラフのわずかな修正しか必要としない。
• 参考スコア（独自算出の注目度）: 1.1053162109905017
• License:
• Abstract: Factorization machine (FM) variants are widely used for large scale real-time content recommendation systems, since they offer an excellent balance between model accuracy and low computational costs for training and inference. These systems are trained on tabular data with both numerical and categorical columns. Incorporating numerical columns poses a challenge, and they are typically incorporated using a scalar transformation or binning, which can be either learned or chosen a-priori. In this work, we provide a systematic and theoretically-justified way to incorporate numerical features into FM variants by encoding them into a vector of function values for a set of functions of one's choice. We view factorization machines as approximators of segmentized functions, namely, functions from a field's value to the real numbers, assuming the remaining fields are assigned some given constants, which we refer to as the segment. From this perspective, we show that our technique yields a model that learns segmentized functions of the numerical feature spanned by the set of functions of one's choice, namely, the spanning coefficients vary between segments. Hence, to improve model accuracy we advocate the use of functions known to have strong approximation power, and offer the B-Spline basis due to its well-known approximation power, availability in software libraries, and efficiency. Our technique preserves fast training and inference, and requires only a small modification of the computational graph of an FM model. Therefore, it is easy to incorporate into an existing system to improve its performance. Finally, we back our claims with a set of experiments, including synthetic, performance evaluation on several data-sets, and an A/B test on a real online advertising system which shows improved performance.
• Abstract（参考訳）: ファクトリゼーションマシン(FM)の変種は、モデル精度とトレーニングと推論の計算コストの低さのバランスが良いため、大規模なリアルタイムコンテンツレコメンデーションシステムに広く使われている。 これらのシステムは、数値列と分類列の両方で表データに基づいて訓練される。 数値列を組み込むことは課題であり、一般的にはスカラー変換やビンニングを用いて組み込まれ、これはa-prioriを学習または選択することができる。 本研究では,関数の集合に対する関数値のベクトルに符号化することで,数値的特徴をFM変種に組み込む体系的,理論的に最適化した方法を提案する。 我々は分解機械を、分数化関数の近似子、すなわち、フィールドの値から実数への関数として、残りのフィールドが与えられた定数に割り当てられていることを仮定して、セグメント化関数の近似子とみなす。 この観点から,本手法は,選択する関数の集合に代表される数値的特徴のセグメント化関数を学習するモデルであることを示す。 したがって、モデル精度を向上させるために、強力な近似能力を有することが知られている関数の使用を提唱し、そのよく知られた近似能力、ソフトウェアライブラリの可用性、効率性から、B-Splineベースを提供する。 本手法は,高速な学習と推論を保存し,FMモデルの計算グラフのわずかな修正しか必要としない。 したがって、既存のシステムに組み込んで性能を向上させることは容易である。 最後に、いくつかのデータセットのパフォーマンス評価、改善されたパフォーマンスを示す実際のオンライン広告システムにおけるA/Bテストなど、一連の実験でクレームを裏付ける。

関連論文リスト

• Fast and interpretable Support Vector Classification based on the truncated ANOVA decomposition [0.0]
  サポートベクタマシン(SVM)は、散在するデータの分類を行うための重要なツールである。 三角関数やウェーブレットに基づく特徴写像を用いて,SVMを原始形式で解くことを提案する。
  論文  参考訳（メタデータ） (2024-02-04T10:27:42Z)
• Tuning Pre-trained Model via Moment Probing [62.445281364055795]
  本稿では,LP の可能性を探るため,新しい Moment Probing (MP) 法を提案する。 MPは、最終特徴の平均に基づいて線形分類ヘッドを実行する。 当社のMPはLPを著しく上回り、トレーニングコストの低い相手と競争しています。
  論文  参考訳（メタデータ） (2023-07-21T04:15:02Z)
• Efficient Model-Free Exploration in Low-Rank MDPs [76.87340323826945]
  低ランクマルコフ決定プロセスは、関数近似を持つRLに対して単純だが表現力のあるフレームワークを提供する。 既存のアルゴリズムは、(1)計算的に抽出可能であるか、または(2)制限的な統計的仮定に依存している。 提案手法は,低ランクMPPの探索のための最初の実証可能なサンプル効率アルゴリズムである。
  論文  参考訳（メタデータ） (2023-07-08T15:41:48Z)
• FAStEN: An Efficient Adaptive Method for Feature Selection and Estimation in High-Dimensional Functional Regressions [7.674715791336311]
  本稿では,スパース関数オン・ファンクション回帰問題において特徴選択を行うための,新しい,柔軟な,超効率的なアプローチを提案する。 我々はそれをスカラー・オン・ファンクション・フレームワークに拡張する方法を示す。 AOMIC PIOP1による脳MRIデータへの応用について述べる。
  論文  参考訳（メタデータ） (2023-03-26T19:41:17Z)
• FRANS: Automatic Feature Extraction for Time Series Forecasting [2.3226893628361682]
  ドメイン知識を必要としない静的な機能のための自律的機能検索ネットワークを開発した。 以上の結果から,ほとんどの状況において,我々の特徴が精度の向上につながることが明らかとなった。
  論文  参考訳（メタデータ） (2022-09-15T03:14:59Z)
• Learning Operators with Coupled Attention [9.715465024071333]
  本稿では,近年の注目機構の成功を動機とした,新しい演算子学習手法であるLOCAを提案する。 我々のアーキテクチャでは、入力関数は有限個の特徴にマッピングされ、その特徴は出力クエリの場所に依存する注意重みで平均化される。 これらの注意重みを積分変換と組み合わせることで、LOCAは目標出力関数の相関関係を明示的に学習することができる。
  論文  参考訳（メタデータ） (2022-01-04T08:22:03Z)
• Feature Weighted Non-negative Matrix Factorization [92.45013716097753]
  本稿では,FNMF(Feature weighted Non- negative Matrix Factorization)を提案する。 FNMFはその重要性に応じて特徴の重みを適応的に学習する。 提案する最適化アルゴリズムを用いて効率的に解くことができる。
  論文  参考訳（メタデータ） (2021-03-24T21:17:17Z)
• Towards Explainable Exploratory Landscape Analysis: Extreme Feature Selection for Classifying BBOB Functions [4.932130498861987]
  驚くほど少数の機能(多くの場合4つ未満)が、98%の精度を達成するのに十分であることを示している。 分類精度は、いくつかのインスタンスがトレーニングやテストに関わっている設定に変換されることを示す。
  論文  参考訳（メタデータ） (2021-02-01T10:04:28Z)
• Learning Set Functions that are Sparse in Non-Orthogonal Fourier Bases [73.53227696624306]
  フーリエスパース集合関数を学習するための新しいアルゴリズム群を提案する。 Walsh-Hadamard変換に焦点をあてた他の研究とは対照的に、我々の新しいアルゴリズムは最近導入された非直交フーリエ変換で機能する。 いくつかの実世界のアプリケーションで有効性を示す。
  論文  参考訳（メタデータ） (2020-10-01T14:31:59Z)
• Efficient Learning of Generative Models via Finite-Difference Score Matching [111.55998083406134]
  有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。 我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
  論文  参考訳（メタデータ） (2020-07-07T10:05:01Z)
• From Sets to Multisets: Provable Variational Inference for Probabilistic Integer Submodular Models [82.95892656532696]
  サブモジュール関数は機械学習やデータマイニングにおいて広く研究されている。 本研究では,整数部分モジュラ函数に対する連続DR-部分モジュラ拡張を提案する。 整数部分モジュラー関数によって定義される新しい確率モデルを定式化する。
  論文  参考訳（メタデータ） (2020-06-01T22:20:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。