論文の概要: Quaternion Factorization Machines: A Lightweight Solution to Intricate Feature Interaction Modelling

• arxiv url: http://arxiv.org/abs/2104.01716v1
• Date: Mon, 5 Apr 2021 00:02:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-06 14:18:39.184355
• Title: Quaternion Factorization Machines: A Lightweight Solution to Intricate Feature Interaction Modelling
• Title（参考訳）: 四元因子分解マシン:機能インタラクションモデリングを複雑化する軽量解法
• Authors: Tong Chen, Hongzhi Yin, Xiangliang Zhang, Zi Huang, Yang Wang, Meng Wang
• Abstract要約: factorization machine(fm)は、機能間の高次インタラクションを自動的に学習し、手動の機能エンジニアリングを必要とせずに予測を行うことができる。 本研究では,スパース予測解析のためのQFM(Quaternion factorization Machine)とQNFM(Quaternion neural factorization Machine)を提案する。
• 参考スコア（独自算出の注目度）: 76.89779231460193
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As a well-established approach, factorization machine (FM) is capable of automatically learning high-order interactions among features to make predictions without the need for manual feature engineering. With the prominent development of deep neural networks (DNNs), there is a recent and ongoing trend of enhancing the expressiveness of FM-based models with DNNs. However, though better results are obtained with DNN-based FM variants, such performance gain is paid off by an enormous amount (usually millions) of excessive model parameters on top of the plain FM. Consequently, the heavy parameterization impedes the real-life practicality of those deep models, especially efficient deployment on resource-constrained IoT and edge devices. In this paper, we move beyond the traditional real space where most deep FM-based models are defined, and seek solutions from quaternion representations within the hypercomplex space. Specifically, we propose the quaternion factorization machine (QFM) and quaternion neural factorization machine (QNFM), which are two novel lightweight and memory-efficient quaternion-valued models for sparse predictive analytics. By introducing a brand new take on FM-based models with the notion of quaternion algebra, our models not only enable expressive inter-component feature interactions, but also significantly reduce the parameter size due to lower degrees of freedom in the hypercomplex Hamilton product compared with real-valued matrix multiplication. Extensive experimental results on three large-scale datasets demonstrate that QFM achieves 4.36% performance improvement over the plain FM without introducing any extra parameters, while QNFM outperforms all baselines with up to two magnitudes' parameter size reduction in comparison to state-of-the-art peer methods.
• Abstract（参考訳）: 因子化機械 (FM) は、手動の特徴工学を必要とせずに、特徴間の高次相互作用を自動的に学習し、予測を行う。 ディープニューラルネットワーク(DNN)の顕著な発展に伴い、FMベースのモデルとDNNの表現性を向上する動きが、最近進行中である。 しかし、DNNベースのFM変種ではより良い結果が得られるが、そのような性能向上は普通のFM上での過剰なモデルパラメータの量(通常は数百万)によって得られる。 その結果、重パラメータ化は、これらの深層モデルの現実の実用性、特にリソースに制約されたiotとエッジデバイスへの効率的なデプロイを妨げる。 本稿では,最も深いFMモデルが定義される従来の実空間を超えて,超複素空間内の四元数表現からの解を求める。 具体的には、スパース予測分析のための2つの新しい軽量かつメモリ効率の高い四元数評価モデルである四元数分解機(QFM)と四元数分解機(QNFM)を提案する。 四元数代数の概念によるfmモデルに対する全く新しいアプローチを導入することで、このモデルは表現力の高い成分間相互作用を可能にするだけでなく、超複素ハミルトン積の自由度が実数値行列の乗算よりも低いためパラメータサイズを大幅に削減する。 3つの大規模データセットの広範な実験の結果、qfmは通常のfmよりも4.36%の性能向上を達成し、qnfmは最大2等級のパラメータサイズ削減のベースラインを、最先端のピアメソッドと比較して上回っている。

関連論文リスト

• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Temperature Distribution Prediction in Laser Powder Bed Fusion using Transferable and Scalable Graph Neural Networks [0.0]
  本研究では, レーザ粉体融合プロセスにおける熱力学のシミュレーションにグラフニューラルネットワーク(GNN)を用いた新しい予測モデルを提案する。 提案モデルでは,L-PBFにおける熱伝達過程の複雑さを計算コストを大幅に削減する。
  論文  参考訳（メタデータ） (2024-07-18T18:14:47Z)
• Neural Quantum State Study of Fracton Models [3.8068573698649826]
  フラクトン模型は3次元以上の非伝統的な位相秩序を包含する。 これらのモデルにおける相転移を研究するための新しいツールとして、ニューラル量子状態(NQS)を確立する。 本研究は,複雑な3次元問題の研究におけるNQSの顕著な可能性を示すものである。
  論文  参考訳（メタデータ） (2024-06-17T15:58:09Z)
• Capturing dynamical correlations using implicit neural representations [85.66456606776552]
  実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。 そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
  論文  参考訳（メタデータ） (2023-04-08T07:55:36Z)
• Boosting Factorization Machines via Saliency-Guided Mixup [125.15872106335692]
  我々は、MixupにインスパイアされたMixFMを紹介し、ファクトリゼーションマシン(FM)を強化するための補助的なトレーニングデータを生成する。 また、Saliency-Guided Mixup(SMFM)を利用した新しいファクトリゼーションマシンも提案した。
  論文  参考訳（メタデータ） (2022-06-17T09:49:00Z)
• On the Influence of Enforcing Model Identifiability on Learning dynamics of Gaussian Mixture Models [14.759688428864159]
  特異モデルからサブモデルを抽出する手法を提案する。 本手法はトレーニング中のモデルの識別性を強制する。 この手法がディープニューラルネットワークのようなより複雑なモデルにどのように適用できるかを示す。
  論文  参考訳（メタデータ） (2022-06-17T07:50:22Z)
• Multi-fidelity Hierarchical Neural Processes [79.0284780825048]
  多要素代理モデリングは、異なるシミュレーション出力を融合させることで計算コストを削減する。 本稿では,多階層型階層型ニューラルネットワーク(MF-HNP)を提案する。 疫学および気候モデリングタスクにおけるMF-HNPの評価を行い、精度と不確実性評価の観点から競合性能を達成した。
  論文  参考訳（メタデータ） (2022-06-10T04:54:13Z)
• MoEfication: Conditional Computation of Transformer Models for Efficient Inference [66.56994436947441]
  トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。 スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。 そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
  論文  参考訳（メタデータ） (2021-10-05T02:14:38Z)
• Neural Closure Models for Dynamical Systems [35.000303827255024]
  低忠実度モデルに対する非マルコフ閉閉パラメータ化を学習する新しい手法を開発した。 ニューラルクロージャモデル」はニューラル遅延微分方程式(nDDE)を用いた低忠実度モデルを強化する 非マルコヴィアンオーバーマルコヴィアンクロージャを使用することで、長期的精度が向上し、より小さなネットワークが必要であることを示した。
  論文  参考訳（メタデータ） (2020-12-27T05:55:33Z)
• Neural network with data augmentation in multi-objective prediction of multi-stage pump [16.038015881697593]
  ニューラルネットワークモデル(NN)は、二次応答面モデル(RSF)、ラジアル基底ガウス応答面モデル(RBF)、クリグモデル(KRG)と比較して構築される。 4つの予測モデルに基づく頭部とパワーの精度をCFDシミュレーション値と比較した。 データ拡張(NNDA)に基づくニューラルネットワークモデルが提案されている。
  論文  参考訳（メタデータ） (2020-02-04T11:23:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。