論文の概要: Factorization Machines with Regularization for Sparse Feature
Interactions
- arxiv url: http://arxiv.org/abs/2010.09225v2
- Date: Thu, 1 Apr 2021 03:51:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-05 20:46:35.927865
- Title: Factorization Machines with Regularization for Sparse Feature
Interactions
- Title（参考訳）: スパース特徴相互作用のための正規化係数化マシン
- Authors: Kyohei Atarashi, Satoshi Oyama, Masahito Kurihara
- Abstract要約: 因子化マシン(英: Factorization Machine、FM)は、二階特徴相互作用に基づく機械学習の予測モデルである。
FMにおける特徴間相互作用選択のための新しい正規化方式を提案する。
機能間相互作用の選択のために,提案する正則化器は,既存手法が課すスパーシティパターンに制約を加えることなく,特徴間相互作用行列をスパース化する。
- 参考スコア（独自算出の注目度）: 13.593781209611112
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Factorization machines (FMs) are machine learning predictive models based on
second-order feature interactions and FMs with sparse regularization are called
sparse FMs. Such regularizations enable feature selection, which selects the
most relevant features for accurate prediction, and therefore they can
contribute to the improvement of the model accuracy and interpretability.
However, because FMs use second-order feature interactions, the selection of
features often causes the loss of many relevant feature interactions in the
resultant models. In such cases, FMs with regularization specially designed for
feature interaction selection trying to achieve interaction-level sparsity may
be preferred instead of those just for feature selection trying to achieve
feature-level sparsity. In this paper, we present a new regularization scheme
for feature interaction selection in FMs. The proposed regularizer is an upper
bound of the $\ell_1$ regularizer for the feature interaction matrix, which is
computed from the parameter matrix of FMs. For feature interaction selection,
our proposed regularizer makes the feature interaction matrix sparse without a
restriction on sparsity patterns imposed by the existing methods. We also
describe efficient proximal algorithms for the proposed FMs and present
theoretical analyses of both existing and the new regularize. In addition, we
will discuss how our ideas can be applied or extended to more accurate feature
selection and other related models such as higher-order FMs and the all-subsets
model. The analysis and experimental results on synthetic and real-world
datasets show the effectiveness of the proposed methods.
- Abstract（参考訳）: 因子化マシン(FM)は、二階特徴相互作用に基づく機械学習予測モデルであり、スパース正規化を伴うFMはスパースFMと呼ばれる。
このような正規化は、正確な予測のために最も関連する特徴を選択する特徴選択を可能にするため、モデルの精度と解釈可能性の向上に寄与することができる。
しかし、fmsは2次特徴相互作用を使うため、特徴の選択はしばしば結果モデルにおける多くの関連する特徴相互作用を失う。
このような場合、特徴レベルの空間性を達成するために特別に設計された正規化FMは、特徴レベルの空間性を達成するためにのみの機能選択を行うものよりも好まれる。
本稿では,FMにおける特徴間相互作用選択のための新しい正規化方式を提案する。
提案された正規化子は、fmsのパラメータ行列から計算される特徴的相互作用行列の$\ell_1$正規化子の上限である。
特徴的相互作用選択のために,提案する正規化器は,既存手法のスパースパターンを制約することなく特徴的相互作用行列をスパースさせる。
また,提案するfmsの効率的な近位アルゴリズムについて述べるとともに,既存および新正規化の理論的解析について述べる。
さらに、より正確な機能選択や、高階fmsや全サブセットモデルといった他の関連するモデルへの私たちのアイデアの適用や拡張について論じます。
合成および実世界のデータセットの解析と実験結果から,提案手法の有効性が示された。
関連論文リスト
- Causal Feature Selection via Transfer Entropy [59.999594949050596]
因果発見は、観察データによる特徴間の因果関係を特定することを目的としている。
本稿では,前向きと後向きの機能選択に依存する新たな因果的特徴選択手法を提案する。
精度および有限サンプルの場合の回帰誤差と分類誤差について理論的に保証する。
論文 参考訳（メタデータ） (2023-10-17T08:04:45Z) - Opening the random forest black box by the analysis of the mutual impact
of features [0.0]
ランダム林における特徴の相互影響に着目した2つの新しいアプローチを提案する。
MFIとMIRは、機能と成果の間の複雑な関係に光を当てることを非常に約束しています。
論文 参考訳（メタデータ） (2023-04-05T15:03:46Z) - Meta-Wrapper: Differentiable Wrapping Operator for User Interest
Selection in CTR Prediction [97.99938802797377]
クリックスルー率(CTR)予測は、ユーザーが商品をクリックする確率を予測することを目的としており、リコメンデーションシステムにおいてますます重要になっている。
近年,ユーザの行動からユーザの興味を自動的に抽出する深層学習モデルが大きな成功を収めている。
そこで我々は,メタラッパー(Meta-Wrapper)と呼ばれるラッパー手法の枠組みに基づく新しい手法を提案する。
論文 参考訳（メタデータ） (2022-06-28T03:28:15Z) - Boosting Factorization Machines via Saliency-Guided Mixup [125.15872106335692]
我々は、MixupにインスパイアされたMixFMを紹介し、ファクトリゼーションマシン(FM)を強化するための補助的なトレーニングデータを生成する。
また、Saliency-Guided Mixup(SMFM)を利用した新しいファクトリゼーションマシンも提案した。
論文 参考訳（メタデータ） (2022-06-17T09:49:00Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳（メタデータ） (2022-06-15T19:10:35Z) - Understanding Interlocking Dynamics of Cooperative Rationalization [90.6863969334526]
選択的合理化(Selective rationalization)は、ニューラルネットワークの出力を予測するのに十分な入力の小さなサブセットを見つけることによって、複雑なニューラルネットワークの予測を説明する。
このような合理化パラダイムでは,モデルインターロックという大きな問題が浮かび上がっている。
A2Rと呼ばれる新しい合理化フレームワークを提案し、アーキテクチャに第3のコンポーネントを導入し、選択とは対照的にソフトアテンションによって駆動される予測器を提案する。
論文 参考訳（メタデータ） (2021-10-26T17:39:18Z) - Memory-Efficient Factorization Machines via Binarizing both Data and
Model Coefficients [9.692334398809457]
ファクトリゼーションマシン(FM)の限界を克服するサブスペースイミネーティングマシン(SEFM)が提案されている。
本稿では,モデルパラメータを2値に制約する2値化FM法を提案する。
提案手法はSEFMと同等の精度を達成できるが,メモリコストははるかに少ない。
論文 参考訳（メタデータ） (2021-08-17T03:30:52Z) - Top-$k$ Regularization for Supervised Feature Selection [11.927046591097623]
教師付き特徴選択のための新しい,シンプルで効果的な正規化手法である Top-k$ regularization を導入する。
上位$kの正規化は、教師付き特徴選択に有効で安定であることを示す。
論文 参考訳（メタデータ） (2021-06-04T01:12:47Z) - GraphFM: Graph Factorization Machines for Feature Interaction Modeling [27.307086868266012]
本稿では,グラフ構造の特徴を自然に表現し,グラフ因子化マシン(GraphFM)を提案する。
特に,有用な特徴間相互作用を選択し,特徴間のエッジとして定式化する機構を設計する。
提案モデルでは, FMの相互作用関数をグラフニューラルネットワーク(GNN)の特徴集約戦略に統合する。
論文 参考訳（メタデータ） (2021-05-25T12:10:54Z) - Quaternion Factorization Machines: A Lightweight Solution to Intricate
Feature Interaction Modelling [76.89779231460193]
factorization machine(fm)は、機能間の高次インタラクションを自動的に学習し、手動の機能エンジニアリングを必要とせずに予測を行うことができる。
本研究では,スパース予測解析のためのQFM(Quaternion factorization Machine)とQNFM(Quaternion neural factorization Machine)を提案する。
論文 参考訳（メタデータ） (2021-04-05T00:02:36Z) - Information-theoretic Feature Selection via Tensor Decomposition and
Submodularity [38.05393186002834]
本稿では,全ての変数の結合PMFの低ランクテンソルモデルを導入し,複雑性を緩和し,与えられた特徴量の分類性能を最大化する手法として間接的ターゲットを提案する。
原目標変数の代わりにネイブベイズモデルの潜伏変数を間接的に予測することにより、濃度制約を受ける単調部分モジュラ函数として特徴選択問題を定式化することができる。
論文 参考訳（メタデータ） (2020-10-30T10:36:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。