論文の概要: PIANO: A Fast Parallel Iterative Algorithm for Multinomial and Sparse
Multinomial Logistic Regression
- arxiv url: http://arxiv.org/abs/2002.09133v1
- Date: Fri, 21 Feb 2020 05:15:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-30 01:01:48.379260
- Title: PIANO: A Fast Parallel Iterative Algorithm for Multinomial and Sparse
Multinomial Logistic Regression
- Title(参考訳): piano: 多項およびスパース多項ロジスティック回帰のための高速並列反復アルゴリズム
- Authors: R. Jyothi and P. Babu
- Abstract要約: PIANOはスパース多項ロジスティック回帰問題を解くために容易に拡張可能であることを示す。
また, PIANO が多項系およびスパース多項系ロジスティック回帰問題の定常点に収束することが証明された。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multinomial Logistic Regression is a well-studied tool for classification and
has been widely used in fields like image processing, computer vision and,
bioinformatics, to name a few. Under a supervised classification scenario, a
Multinomial Logistic Regression model learns a weight vector to differentiate
between any two classes by optimizing over the likelihood objective. With the
advent of big data, the inundation of data has resulted in large dimensional
weight vector and has also given rise to a huge number of classes, which makes
the classical methods applicable for model estimation not computationally
viable. To handle this issue, we here propose a parallel iterative algorithm:
Parallel Iterative Algorithm for MultiNomial LOgistic Regression (PIANO) which
is based on the Majorization Minimization procedure, and can parallely update
each element of the weight vectors. Further, we also show that PIANO can be
easily extended to solve the Sparse Multinomial Logistic Regression problem -
an extensively studied problem because of its attractive feature selection
property. In particular, we work out the extension of PIANO to solve the Sparse
Multinomial Logistic Regression problem with l1 and l0 regularizations. We also
prove that PIANO converges to a stationary point of the Multinomial and the
Sparse Multinomial Logistic Regression problems. Simulations were conducted to
compare PIANO with the existing methods, and it was found that the proposed
algorithm performs better than the existing methods in terms of speed of
convergence.
- Abstract(参考訳): 多項ロジスティック回帰は、分類のためのよく研究されたツールであり、画像処理、コンピュータビジョン、バイオインフォマティクスなどの分野で広く使われてきた。
教師付き分類シナリオの下では、多項ロジスティック回帰モデルが重みベクトルを学習し、任意の2つのクラスを区別する。
ビッグデータの出現により、データの浸出は大きな次元の重みベクトルとなり、また多数のクラスが生まれ、古典的な手法は計算的に不可能である。
本稿では,並列反復アルゴリズムを提案する。マルチノミナルロジスティック回帰(piano,multinomial logistic regression)のための並列反復アルゴリズムであり,重みベクトルの各要素を並列に更新できる。
また,その特徴選択性から,スパース多項ロジスティック回帰問題(Sparse Multinomial Logistic Regression problem)を解くために,PSANOを容易に拡張できることも示す。
特に, L1 と l0 の正規化によるスパース多項ロジスティック回帰問題を解くため, PIANO の拡張について検討する。
また, PIANO は多項系およびスパース多項系ロジスティック回帰問題の定常点に収束することを示した。
ピアノを既存の手法と比較するためにシミュレーションを行い,提案手法は収束速度の点で既存の手法よりも優れた性能を示すことがわかった。
関連論文リスト
- Scalable Inference for Bayesian Multinomial Logistic-Normal Dynamic Linear Models [0.5735035463793009]
この記事では、$textitFenrir$と呼ばれる、後続状態推定に対する効率的で正確なアプローチを開発します。
我々の実験から、フェンリルはスタンよりも3桁効率が良いことが示唆された。
当社のメソッドは,C++で記述されたユーザフレンドリなソフトウェアライブラリとして,Rインターフェースを備えたコミュニティで利用可能です。
論文 参考訳(メタデータ) (2024-10-07T23:20:14Z) - Minimally Supervised Learning using Topological Projections in
Self-Organizing Maps [55.31182147885694]
自己組織化マップ(SOM)におけるトポロジカルプロジェクションに基づく半教師付き学習手法を提案する。
提案手法は,まずラベル付きデータ上でSOMを訓練し,最小限のラベル付きデータポイントをキーベストマッチングユニット(BMU)に割り当てる。
提案した最小教師付きモデルが従来の回帰手法を大幅に上回ることを示す。
論文 参考訳(メタデータ) (2024-01-12T22:51:48Z) - An Efficient Data Analysis Method for Big Data using Multiple-Model
Linear Regression [4.085654010023149]
本稿では,Multiple Model linear regression (MMLR) と呼ばれる新たに定義された回帰モデルを用いて,ビッグデータの新しいデータ解析手法を提案する。
提案手法は,他の回帰法よりも効率的かつ柔軟であることが示されている。
論文 参考訳(メタデータ) (2023-08-24T10:20:15Z) - TMPNN: High-Order Polynomial Regression Based on Taylor Map
Factorization [0.0]
本稿では,テイラー写像の分解に基づく高次回帰を構築する手法を提案する。
UCIオープンアクセスデータセットのベンチマークにより,提案手法が最先端の回帰手法に匹敵する性能を示す。
論文 参考訳(メタデータ) (2023-07-30T01:52:00Z) - Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood
Estimation for Latent Gaussian Models [69.22568644711113]
我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。
理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。
シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
論文 参考訳(メタデータ) (2023-06-05T21:08:34Z) - Representation Learning with Multi-Step Inverse Kinematics: An Efficient
and Optimal Approach to Rich-Observation RL [106.82295532402335]
既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。
所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。
我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
論文 参考訳(メタデータ) (2023-04-12T14:51:47Z) - Oracle Inequalities for Model Selection in Offline Reinforcement
Learning [105.74139523696284]
本稿では,値関数近似を用いたオフラインRLにおけるモデル選択の問題について検討する。
対数係数まで最小値の速度-最適不等式を実現するオフラインRLの最初のモデル選択アルゴリズムを提案する。
そこで本研究では,優れたモデルクラスを確実に選択できることを示す数値シミュレーションを行った。
論文 参考訳(メタデータ) (2022-11-03T17:32:34Z) - Sparse high-dimensional linear regression with a partitioned empirical
Bayes ECM algorithm [62.997667081978825]
疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。
パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。
提案手法はRパッケージプローブに実装されている。
論文 参考訳(メタデータ) (2022-09-16T19:15:50Z) - Piecewise linear regression and classification [0.20305676256390928]
本稿では,線形予測器を用いた多変量回帰と分類問題の解法を提案する。
本論文で記述されたアルゴリズムのpython実装は、http://cse.lab.imtlucca.it/bemporad/parcで利用可能である。
論文 参考訳(メタデータ) (2021-03-10T17:07:57Z) - A spectral algorithm for robust regression with subgaussian rates [0.0]
本研究では, 試料の分布に強い仮定がない場合の線形回帰に対する2次時間に対する新しい線形アルゴリズムについて検討する。
目的は、データが有限モーメントしか持たなくても最適な準ガウス誤差を達成できる手順を設計することである。
論文 参考訳(メタデータ) (2020-07-12T19:33:50Z) - Multi-layer Optimizations for End-to-End Data Analytics [71.05611866288196]
代替アプローチを実現するフレームワークであるIFAQ(Iterative Functional Aggregate Queries)を紹介する。
IFAQは、特徴抽出クエリと学習タスクを、IFAQのドメイン固有言語で与えられた1つのプログラムとして扱う。
IFAQ の Scala 実装が mlpack,Scikit,特殊化を数桁で上回り,線形回帰木モデルや回帰木モデルを複数の関係データセット上で処理可能であることを示す。
論文 参考訳(メタデータ) (2020-01-10T16:14:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。