論文の概要: Boosting Factorization Machines via Saliency-Guided Mixup
- arxiv url: http://arxiv.org/abs/2206.08661v1
- Date: Fri, 17 Jun 2022 09:49:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-20 15:11:58.215852
- Title: Boosting Factorization Machines via Saliency-Guided Mixup
- Title（参考訳）: 塩分誘導ミックスアップによるブースティングファクタライゼーションマシン
- Authors: Chenwang Wu, Defu Lian, Yong Ge, Min Zhou, Enhong Chen, Dacheng Tao
- Abstract要約: 我々は、MixupにインスパイアされたMixFMを紹介し、ファクトリゼーションマシン(FM)を強化するための補助的なトレーニングデータを生成する。
また、Saliency-Guided Mixup(SMFM)を利用した新しいファクトリゼーションマシンも提案した。
- 参考スコア（独自算出の注目度）: 125.15872106335692
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Factorization machines (FMs) are widely used in recommender systems due to
their adaptability and ability to learn from sparse data. However, for the
ubiquitous non-interactive features in sparse data, existing FMs can only
estimate the parameters corresponding to these features via the inner product
of their embeddings. Undeniably, they cannot learn the direct interactions of
these features, which limits the model's expressive power. To this end, we
first present MixFM, inspired by Mixup, to generate auxiliary training data to
boost FMs. Unlike existing augmentation strategies that require labor costs and
expertise to collect additional information such as position and fields, these
extra data generated by MixFM only by the convex combination of the raw ones
without any professional knowledge support. More importantly, if the parent
samples to be mixed have non-interactive features, MixFM will establish their
direct interactions. Second, considering that MixFM may generate redundant or
even detrimental instances, we further put forward a novel Factorization
Machine powered by Saliency-guided Mixup (denoted as SMFM). Guided by the
customized saliency, SMFM can generate more informative neighbor data. Through
theoretical analysis, we prove that the proposed methods minimize the upper
bound of the generalization error, which hold a beneficial effect on enhancing
FMs. Significantly, we give the first generalization bound of FM, implying the
generalization requires more data and a smaller embedding size under the
sufficient representation capability. Finally, extensive experiments on five
datasets confirm that our approaches are superior to baselines. Besides, the
results show that "poisoning" mixed data is likewise beneficial to the FM
variants.
- Abstract（参考訳）: ファクトリゼーションマシン(FM)は、適応性とスパースデータから学習する能力のため、リコメンデータシステムで広く使われている。
しかし、スパースデータのユビキタスな非インタラクティブな特徴に対して、既存のFMはこれらの特徴に対応するパラメータを、埋め込みの内積によってのみ推定できる。
当然ながら、これらの機能の直接的な相互作用を学べないため、モデルの表現力は制限される。
そこで我々は,mixupにインスパイアされたmixfmを用いて,fmsを増強するための補助訓練データを生成する。
労働コストや専門知識を必要とする既存の強化戦略とは違って、MixFMが生成するこれらの追加データは、専門知識を持たない原材料の組み合わせによってのみ生成される。
さらに重要なことに、混合される親サンプルが相互作用しない機能を持つ場合、mixfmは直接相互作用を確立する。
第2に,MixFMが冗長あるいは有害なインスタンスを生成する可能性があることを考慮し,Saliency-guided Mixup(SMFM)を利用した新しいファクトリゼーションマシンを提案する。
カスタマイズされたサリエンシーによって導かれるsmfmは、より有益な隣り合うデータを生成することができる。
理論的解析により,提案手法は一般化誤差の上限を最小化し,FMの強化に有効であることを示す。
特に、fm の第一一般化境界を与え、その一般化には十分な表現能力の下でより多くのデータとより小さな埋め込みサイズが必要であることを示唆する。
最後に、5つのデータセットに関する広範な実験により、我々のアプローチがベースラインよりも優れていることを確認した。
さらに、この結果から、混合データの「汚染」はFM変種にも有益であることが示された。
関連論文リスト
- FedPFT: Federated Proxy Fine-Tuning of Foundation Models [55.58899993272904]
フェデレートラーニング(FL)を通じて下流タスクにファンデーションモデル(FM)を適用することは、データプライバシと価値のあるFMを保護するための有望な戦略として現れます。
FLのクライアントにサブFMを割り当てることによる既存のFMの微調整手法は、チューニングが不十分で勾配の必然的エラー蓄積が避けられないため、最適以下の性能をもたらす。
本稿では,FedPFT(Federated Proxy Fine-Tuning)を提案する。
論文 参考訳（メタデータ） (2024-04-17T16:30:06Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳（メタデータ） (2023-05-01T20:04:46Z) - FedFM: Anchor-based Feature Matching for Data Heterogeneity in Federated
Learning [91.74206675452888]
本稿では,各クライアントの特徴を共有カテゴリーのアンカーにマッチさせる新しいFedFM法を提案する。
効率と柔軟性を向上させるため,FedFM-Liteと呼ばれるFedFM変種を提案し,クライアントは同期時間と通信帯域幅のコストを少なくしてサーバと通信する。
論文 参考訳（メタデータ） (2022-10-14T08:11:34Z) - Noisy Feature Mixup [42.056684988818766]
NFM(Noisy Feature Mixup)は,データ拡張のための安価で効果的な手法である。
NFMは特別な場合として混合と多様体の混合を含むが、決定境界の平滑化など、さらなる利点がある。
NFMでトレーニングした残差ネットワークと視覚変換器は、クリーンデータにおける予測精度と各種データに対するロバスト性との間に良好なトレードオフがあることが示される。
論文 参考訳（メタデータ） (2021-10-05T17:13:51Z) - Quaternion Factorization Machines: A Lightweight Solution to Intricate
Feature Interaction Modelling [76.89779231460193]
factorization machine(fm)は、機能間の高次インタラクションを自動的に学習し、手動の機能エンジニアリングを必要とせずに予測を行うことができる。
本研究では,スパース予測解析のためのQFM(Quaternion factorization Machine)とQNFM(Quaternion neural factorization Machine)を提案する。
論文 参考訳（メタデータ） (2021-04-05T00:02:36Z) - Suppressing Mislabeled Data via Grouping and Self-Attention [60.14212694011875]
ディープネットワークは大規模クリーンなデータに対して優れた結果を得るが、ノイズのあるラベルから学習すると著しく劣化する。
本稿では,概念的にシンプルだが効率的な学習ブロックを提案し,これをAFM(Attentive Feature Mixup)と呼ぶ。
クリーンなサンプルにもっと注意を払うことができ、小さなグループでのサンプルインタラクションを通じて、ラベルを間違えることが少なくなります。
論文 参考訳（メタデータ） (2020-10-29T13:54:16Z) - Factorization Machines with Regularization for Sparse Feature
Interactions [13.593781209611112]
因子化マシン(英: Factorization Machine、FM)は、二階特徴相互作用に基づく機械学習の予測モデルである。
FMにおける特徴間相互作用選択のための新しい正規化方式を提案する。
機能間相互作用の選択のために,提案する正則化器は,既存手法が課すスパーシティパターンに制約を加えることなく,特徴間相互作用行列をスパース化する。
論文 参考訳（メタデータ） (2020-10-19T05:00:40Z) - Generalized Embedding Machines for Recommender Systems [10.8585932535286]
我々は、埋め込みレベルにおける高次相互作用信号、すなわち一般化埋め込み機械(GEM)をモデル化するための代替手法を提案する。
本稿では,グラフ畳み込みネットワーク(GCN)を用いて高次埋め込みを生成する。
論文 参考訳（メタデータ） (2020-02-16T12:03:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。