論文の概要: Efficient Construction of Nonlinear Models over Normalized Data
- arxiv url: http://arxiv.org/abs/2011.11682v2
- Date: Fri, 19 Mar 2021 14:55:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2022-09-22 03:12:34.111187
- Title: Efficient Construction of Nonlinear Models over Normalized Data
- Title（参考訳）: 正規化データによる非線形モデルの効率的な構築
- Authors: Zhaoyue Chen, Nick Koudas, Zhe Zhang, Xiaohui Yu
- Abstract要約: 混合モデルを構築するためにバイナリ結合とマルチウェイ結合の両方を系統的に分解する方法を示す。
本稿では,ネットワークの学習を因子的に行うアルゴリズムを提案し,性能上の優位性を提供する。
- 参考スコア（独自算出の注目度）: 21.531781003420573
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine Learning (ML) applications are proliferating in the enterprise.
Relational data which are prevalent in enterprise applications are typically
normalized; as a result, data has to be denormalized via primary/foreign-key
joins to be provided as input to ML algorithms. In this paper, we study the
implementation of popular nonlinear ML models, Gaussian Mixture Models (GMM)
and Neural Networks (NN), over normalized data addressing both cases of binary
and multi-way joins over normalized relations.
For the case of GMM, we show how it is possible to decompose computation in a
systematic way both for binary joins and for multi-way joins to construct
mixture models. We demonstrate that by factoring the computation, one can
conduct the training of the models much faster compared to other applicable
approaches, without any loss in accuracy.
For the case of NN, we propose algorithms to train the network taking
normalized data as the input. Similarly, we present algorithms that can conduct
the training of the network in a factorized way and offer performance
advantages. The redundancy introduced by denormalization can be exploited for
certain types of activation functions. However, we demonstrate that attempting
to explore this redundancy is helpful up to a certain point; exploring
redundancy at higher layers of the network will always result in increased
costs and is not recommended.
We present the results of a thorough experimental evaluation, varying several
parameters of the input relations involved and demonstrate that our proposals
for the training of GMM and NN yield drastic performance improvements typically
starting at 100%, which become increasingly higher as parameters of the
underlying data vary, without any loss in accuracy.
- Abstract（参考訳）: 機械学習(ml)アプリケーションは、企業で増殖している。
結果として、mlアルゴリズムへの入力として提供されるためには、プライマリ/foreign-key結合を介してデータを非正規化する必要がある。
本稿では,一般の非線形MLモデル,ガウス混合モデル (GMM) とニューラル・ニューラルネットワーク (NN) の実装について検討する。
GMMの場合、バイナリ結合とマルチウェイ結合の両方で計算を系統的に分解して混合モデルを構築することが可能であることを示す。
計算を分解することで,モデルのトレーニングを他の適用手法に比べてはるかに高速に行うことができ,精度を損なうことなく実施できることを実証する。
NNの場合、正規化データを入力としてネットワークをトレーニングするアルゴリズムを提案する。
同様に、ネットワークのトレーニングを因子化された方法で実行し、パフォーマンスの利点を提供するアルゴリズムも提示する。
脱正規化によって導入された冗長性は、ある種の活性化関数に利用することができる。
しかし、この冗長性を探究する試みは、ある時点まで有効であり、ネットワークの上位層で冗長性を探究することは、常にコストを増大させ、推奨されない。
本研究は,GMMとNNのトレーニングにおける提案手法が100%から始まり,精度を損なうことなく,基礎となるデータのパラメータが変化するにつれて,大幅に向上することを示す。
関連論文リスト
- Learning sparse generalized linear models with binary outcomes via iterative hard thresholding [15.283757486793226]
統計学において、一般化線形モデル(GLM)はデータモデリングに広く用いられている。
本稿では,2次反復型ハードしきい値(BIHT)と呼ばれる反復型ハードしきい値(ReLU損失に対する投射勾配勾配)アルゴリズムの使用と解析を提案する。
BIHTは統計的に効率的であり、スパースバイナリGLMの一般クラスにおいてパラメータ推定のための正しい解に収束することを示す。
論文 参考訳（メタデータ） (2025-02-25T17:42:33Z) - A Dataset Fusion Algorithm for Generalised Anomaly Detection in
Homogeneous Periodic Time Series Datasets [0.0]
データセットフュージョン(Dataset Fusion)とは、複数の同種データセットからの周期的な信号を単一のデータセットに融合するアルゴリズムである。
提案手法は,平均F1スコア0.879で従来の訓練方法よりも有意に優れていた。
その結果、トレーニングデータの6.25%しか使用せず、計算能力の93.7%削減に換算すると、パフォーマンスは4.04%低下することがわかった。
論文 参考訳（メタデータ） (2023-05-14T16:24:09Z) - Machine Learning with High-Cardinality Categorical Features in Actuarial
Applications [0.31133049660590606]
心電図では, 心電図のカテゴリー的特徴が広範囲に分布する。
ワンホット符号化のような標準的な分類的符号化法はこれらの設定では不十分である。
本稿では, 線形混合モデルニューラルネット_(GLMMNet)を用いて, 高次心性カテゴリーの特徴をモデル化する手法を提案する。
論文 参考訳（メタデータ） (2023-01-30T07:35:18Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳（メタデータ） (2022-06-15T19:10:35Z) - Efficient and Robust Mixed-Integer Optimization Methods for Training
Binarized Deep Neural Networks [0.07614628596146598]
二元活性化関数と連続または整数重み付きディープニューラルネットワーク(BDNN)について検討する。
BDNNは、古典的な混合整数計画解法により、大域的最適性に解けるような、有界な重み付き混合整数線形プログラムとして再構成可能であることを示す。
トレーニング中にBDNNの堅牢性を強制するロバストモデルが初めて提示される。
論文 参考訳（メタデータ） (2021-10-21T18:02:58Z) - Rank-R FNN: A Tensor-Based Learning Model for High-Order Data
Classification [69.26747803963907]
Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。
まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。
Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
論文 参考訳（メタデータ） (2021-04-11T16:37:32Z) - Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。
GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。
本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
論文 参考訳（メタデータ） (2021-01-06T17:36:26Z) - An Online Learning Algorithm for a Neuro-Fuzzy Classifier with
Mixed-Attribute Data [9.061408029414455]
General Fuzzy min-max Neural Network (GFMMNN) は、データ分類のための効率的な神経ファジィシステムの一つである。
本稿ではGFMMNNのための拡張オンライン学習アルゴリズムを提案する。
提案手法は連続的特徴と分類的特徴の両方でデータセットを処理できる。
論文 参考訳（メタデータ） (2020-09-30T13:45:36Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳（メタデータ） (2020-07-02T17:55:47Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2020-05-05T18:08:23Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳（メタデータ） (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。