Fugu-MT 論文翻訳(概要): Nonlinear Least Squares for Large-Scale Machine Learning using Stochastic Jacobian Estimates

論文の概要: Nonlinear Least Squares for Large-Scale Machine Learning using Stochastic Jacobian Estimates

arxiv url: http://arxiv.org/abs/2107.05598v1
Date: Mon, 12 Jul 2021 17:29:08 GMT
ステータス: 処理完了
システム内更新日: 2021-07-13 17:35:52.236730
Title: Nonlinear Least Squares for Large-Scale Machine Learning using Stochastic Jacobian Estimates
Title（参考訳）: 確率的ヤコビ推定を用いた大規模機械学習のための非線形最小方形
Authors: Johannes J. Brust
Abstract要約: モデルパラメータの数が典型的に1バッチのデータを超えるという特性を利用して探索方向を計算する。我々は,ヤコビ行列を推定し,最先端の手法と比較してよく機能する2つのアルゴリズムを開発した。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: For large nonlinear least squares loss functions in machine learning we exploit the property that the number of model parameters typically exceeds the data in one batch. This implies a low-rank structure in the Hessian of the loss, which enables effective means to compute search directions. Using this property, we develop two algorithms that estimate Jacobian matrices and perform well when compared to state-of-the-art methods.
Abstract（参考訳）: 機械学習における大きな非線形最小二乗損失関数に対して、モデルパラメータの数が1バッチでデータを超えるという特性を利用する。これは損失のヘシアンにおける低ランク構造を意味し、探索方向を計算する効果的な手段を可能にする。この特性を用いて,ヤコビ行列を推定し,最先端手法と比較してよく動作する2つのアルゴリズムを開発した。

関連論文リスト

Spectral Entry-wise Matrix Estimation for Low-Rank Reinforcement Learning [53.445068584013896]
低ランク構造を持つ強化学習(RL)における行列推定問題について検討した。低ランク帯では、回収される行列は期待される腕の報酬を指定し、低ランクマルコフ決定プロセス(MDP)では、例えばMDPの遷移カーネルを特徴付ける。簡単なスペクトルベースの行列推定手法は,行列の特異部分空間を効率よく復元し,ほぼ最小の入力誤差を示すことを示す。
論文参考訳（メタデータ） (2023-10-10T17:06:41Z)
Efficient Learning of Minimax Risk Classifiers in High Dimensions [3.093890460224435]
高次元データは、医療やゲノム学など、数万もの特徴を持つ領域で一般的である。本稿では,このような手法を用いて,最近提案されたミニマックスリスク分類器の効率的な学習アルゴリズムを提案する。複数の高次元データセットに対する実験により,提案アルゴリズムは高次元シナリオにおいて効率的であることが示された。
論文参考訳（メタデータ） (2023-06-11T11:08:20Z)
An evaluation framework for dimensionality reduction through sectional curvature [59.40521061783166]
本研究は,非教師付き次元減少性能指標を初めて導入することを目的としている。その実現可能性をテストするために、この測定基準は最もよく使われる次元削減アルゴリズムの性能を評価するために用いられている。新しいパラメータ化問題インスタンスジェネレータが関数ジェネレータの形式で構築されている。
論文参考訳（メタデータ） (2023-03-17T11:59:33Z)
An Efficient Method for Sample Adversarial Perturbations against Nonlinear Support Vector Machines [8.000799046379749]
非線形支持ベクトルマシン(SVM)のサンプル対向摂動について検討する。非線形関数の暗黙の形式は特徴空間にデータをマッピングするので、対角摂動の明示的な形式を得るのは難しい。非線形SVMの特殊特性を探索することにより、非線形SVMを攻撃する最適化問題を非線形KKTシステムに変換する。
論文参考訳（メタデータ） (2022-06-12T05:21:51Z)
Implicit Parameter-free Online Learning with Truncated Linear Models [51.71216912089413]
パラメータフリーアルゴリズムは、設定された学習率を必要としないオンライン学習アルゴリズムである。そこで我々は,「単純」なフレーバーを持つ新しい更新によって,切り離された線形モデルを活用できる新しいパラメータフリーアルゴリズムを提案する。後悔の新たな分解に基づいて、新しい更新は効率的で、各ステップで1つの勾配しか必要とせず、切り捨てられたモデルの最小値をオーバーシュートすることはない。
論文参考訳（メタデータ） (2022-03-19T13:39:49Z)
Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature Selection [138.97647716793333]
再構成誤差を$l_2,p$ノルム正規化と組み合わせることで,単純かつ効率的な特徴選択手法を提案する。提案する非教師付きモデルを解くための効率的な最適化アルゴリズムを提案し,アルゴリズムの収束と計算の複雑さを理論的に解析する。
論文参考訳（メタデータ） (2020-12-29T04:08:38Z)
Binary Matrix Factorisation via Column Generation [6.445605125467574]
本稿では,算術における低ランク二乗行列分解(BMF)の問題点について考察する。混合整数線形プログラムとして問題を定式化し、列生成の大規模最適化手法を用いて解決する。実世界のデータセットを用いた実験結果から,提案手法は高精度な因数分解を実現するのに有効であることが示された。
論文参考訳（メタデータ） (2020-11-09T14:27:36Z)
Efficient Optimization Methods for Extreme Similarity Learning with Nonlinear Embeddings [12.119973339250848]
すべての可能なペアからの非線形埋め込みモデルを用いて類似性を学習する問題を考察する。本稿では, 一般非線形埋め込みの結果を拡張することを目的としている。
論文参考訳（メタデータ） (2020-10-26T12:09:09Z)
Progressive Batching for Efficient Non-linear Least Squares [31.082253632197023]
ガウス・ニュートンの基本的な改良のほとんどは、基礎となる問題構造の空間性を保証するか、あるいは活用して計算速度を上げることである。我々の研究は、機械学習と統計の両方からアイデアを借用し、収束を保証するとともに、必要な計算量を大幅に削減する非線形最小二乗に対するアプローチを提案する。
論文参考訳（メタデータ） (2020-10-21T13:00:04Z)
Learning Mixtures of Low-Rank Models [89.39877968115833]
低ランクモデルの計算混合を学習する問題について検討する。ほぼ最適サンプルを用いて未知の行列を復元することが保証されるアルゴリズムを開発する。さらに,提案アルゴリズムはランダムノイズに対して確実に安定である。
論文参考訳（メタデータ） (2020-09-23T17:53:48Z)
A Survey on Large-scale Machine Learning [67.6997613600942]
機械学習はデータに対する深い洞察を与え、マシンが高品質な予測を行うことを可能にする。ほとんどの高度な機械学習アプローチは、大規模なデータを扱う場合の膨大な時間コストに悩まされる。大規模機械学習は、ビッグデータからパターンを、同等のパフォーマンスで効率的に学習することを目的としている。
論文参考訳（メタデータ） (2020-08-10T06:07:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。