論文の概要: A Multi-parameter Updating Fourier Online Gradient Descent Algorithm for Large-scale Nonlinear Classification

• arxiv url: http://arxiv.org/abs/2203.08349v1
• Date: Wed, 16 Mar 2022 02:06:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-17 16:03:24.004262
• Title: A Multi-parameter Updating Fourier Online Gradient Descent Algorithm for Large-scale Nonlinear Classification
• Title（参考訳）: 大規模非線形分類のためのマルチパラメータ更新フーリエオンライン勾配降下アルゴリズム
• Authors: Yigying Chen
• Abstract要約: 提案したMPU-FOGDは、新しいランダム特徴写像に基づく大規模非線形分類問題に対して提案される。 既存のランダムなフーリエ特徴写像と比較して、提案したランダムな特徴写像はより厳密な誤差境界を与えることが証明された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large scale nonlinear classification is a challenging task in the field of support vector machine. Online random Fourier feature map algorithms are very important methods for dealing with large scale nonlinear classification problems. The main shortcomings of these methods are as follows: (1) Since only the hyperplane vector is updated during learning while the random directions are fixed, there is no guarantee that these online methods can adapt to the change of data distribution when the data is coming one by one. (2) The dimension of the random direction is often higher for obtaining better classification accuracy, which results in longer test time. In order to overcome these shortcomings, a multi-parameter updating Fourier online gradient descent algorithm (MPU-FOGD) is proposed for large-scale nonlinear classification problems based on a novel random feature map. In the proposed method, the suggested random feature map has lower dimension while the multi-parameter updating strategy can guarantee the learning model can better adapt to the change of data distribution when the data is coming one by one. Theoretically, it is proved that compared with the existing random Fourier feature maps, the proposed random feature map can give a tighter error bound. Empirical studies on several benchmark data sets demonstrate that compared with the state-of-the-art online random Fourier feature map methods, the proposed MPU-FOGD can obtain better test accuracy.
• Abstract（参考訳）: 大規模非線形分類はサポートベクトルマシンの分野において難しい課題である。 オンラインランダムフーリエ特徴写像アルゴリズムは大規模非線形分類問題を扱う上で非常に重要な手法である。 これらの方法の主な欠点は、(1)学習中、ランダムな方向が固定されている間、ハイパープレーンベクターだけが更新されるので、データが1つずつ来たときに、これらのオンライン手法がデータ分布の変化に適応できる保証はない。 2) 分類精度を向上させるために, ランダム方向の寸法が高くなる場合が多く, 試験時間が長くなる。 これらの欠点を克服するために,新しいランダム特徴写像に基づく大規模非線形分類問題に対して,マルチパラメータ更新フーリエオンライン勾配降下アルゴリズム (mpu-fogd) を提案する。 提案手法では,提案するランダムな特徴マップの次元は小さく,マルチパラメータ更新戦略では,データが1つずつ来ると,学習モデルがデータ分布の変化に適応できることを保証できる。 理論的には、既存のランダムフーリエ特徴写像と比較して、提案されたランダム特徴写像はより厳密な誤差境界を与えることができる。 いくつかのベンチマークデータセットに関する実証研究は、最先端のオンラインランダムなフーリエ特徴写像法と比較すると、提案したMPU-FOGDはテスト精度が向上することを示した。

関連論文リスト

• Low-rank extended Kalman filtering for online learning of neural networks from streaming data [71.97861600347959]
  非定常データストリームから非線形関数のパラメータを推定するための効率的なオンライン近似ベイズ推定アルゴリズムを提案する。 この方法は拡張カルマンフィルタ (EKF) に基づいているが、新しい低ランク+斜角行列分解法を用いている。 変分推論に基づく手法とは対照的に,本手法は完全に決定論的であり,ステップサイズチューニングを必要としない。
  論文  参考訳（メタデータ） (2023-05-31T03:48:49Z)
• Online Learning Under A Separable Stochastic Approximation Framework [20.26530917721778]
  分離可能な近似フレームワークを用いて,機械学習モデルのクラスに対するオンライン学習アルゴリズムを提案する。 提案アルゴリズムは,他の一般的な学習アルゴリズムと比較して,より堅牢でテスト性能が高いことを示す。
  論文  参考訳（メタデータ） (2023-05-12T13:53:03Z)
• Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
  本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。 機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。 提案手法は,画像分類における既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-02T07:31:39Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• One-Pass Learning via Bridging Orthogonal Gradient Descent and Recursive Least-Squares [8.443742714362521]
  我々は,従来のデータポイントの予測にほとんど変化しない方向にパラメータを変更しながら,すべての新しいデータポイントに完全に適合するワンパス学習アルゴリズムを開発した。 我々のアルゴリズムは、インクリメンタル・プリンシパル・コンポーネント分析(IPCA)を用いてストリーミングデータの構造を利用して、メモリを効率的に利用する。 本実験では,提案手法の有効性をベースラインと比較した。
  論文  参考訳（メタデータ） (2022-07-28T02:01:31Z)
• Transformers Can Do Bayesian Inference [56.99390658880008]
  我々はPFN(Presideed Data Fitted Networks)を提案する。 PFNは、大規模機械学習技術におけるインコンテキスト学習を活用して、大規模な後部集合を近似する。 我々は、PFNがガウス過程をほぼ完璧に模倣し、難解問題に対する効率的なベイズ推定を可能にすることを示した。
  論文  参考訳（メタデータ） (2021-12-20T13:07:39Z)
• Fast and Robust Online Inference with Stochastic Gradient Descent via Random Scaling [0.9806910643086042]
  本稿では,勾配降下アルゴリズムの平均化法により推定されるパラメータのベクトルに対するオンライン推論法を提案する。 我々のアプローチはオンラインデータで完全に運用されており、機能中心極限定理によって厳格に支えられている。
  論文  参考訳（メタデータ） (2021-06-06T15:38:37Z)
• Rank-R FNN: A Tensor-Based Learning Model for High-Order Data Classification [69.26747803963907]
  Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。 まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。 Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
  論文  参考訳（メタデータ） (2021-04-11T16:37:32Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• Online detection of local abrupt changes in high-dimensional Gaussian graphical models [13.554038901140949]
  高次元ガウス図形モデル(GGM)における変化点をオンライン手法で同定する問題は、生物学、経済学、社会科学に新たな応用が加えられたため、興味深い。 我々は、この問題に対処する新しいテストを開発する。これは、入力データの適切な選択された部分の正規化共分散行列の$ell_infty$ノルムに基づいている。
  論文  参考訳（メタデータ） (2020-03-16T00:41:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。