Fugu-MT 論文翻訳(概要): Learning Fast Approximations of Sparse Nonlinear Regression

論文の概要: Learning Fast Approximations of Sparse Nonlinear Regression

arxiv url: http://arxiv.org/abs/2010.13490v1
Date: Mon, 26 Oct 2020 11:31:08 GMT
ステータス: 処理完了
システム内更新日: 2022-10-02 19:42:48.055163
Title: Learning Fast Approximations of Sparse Nonlinear Regression
Title（参考訳）: 疎非線形回帰の高速近似学習
Authors: Yuhai Song, Zhong Cao, Kailun Wu, Ziang Yan, Changshui Zhang
Abstract要約: 本研究では,Threshold Learned Iterative Shrinkage Algorithming (NLISTA)を導入することでギャップを埋める。合成データを用いた実験は理論結果と相関し,その手法が最先端の手法より優れていることを示す。
参考スコア（独自算出の注目度）: 50.00693981886832
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The idea of unfolding iterative algorithms as deep neural networks has been widely applied in solving sparse coding problems, providing both solid theoretical analysis in convergence rate and superior empirical performance. However, for sparse nonlinear regression problems, a similar idea is rarely exploited due to the complexity of nonlinearity. In this work, we bridge this gap by introducing the Nonlinear Learned Iterative Shrinkage Thresholding Algorithm (NLISTA), which can attain a linear convergence under suitable conditions. Experiments on synthetic data corroborate our theoretical results and show our method outperforms state-of-the-art methods.
Abstract（参考訳）: 深層ニューラルネットワークとしての反復的アルゴリズムの展開という考え方は、スパース符号問題の解決に広く応用されており、収束速度の固い理論解析と優れた経験的性能の両方を提供している。しかし、疎非線形回帰問題では、非線形性の複雑さのため、同様のアイデアはめったに利用されない。本研究では,非線形学習による反復的縮小しきい値化アルゴリズム(nlista)を導入することで,このギャップを埋める。合成データを用いた実験は理論結果と相関し,その手法が最先端の手法より優れていることを示す。

関連論文リスト

Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文参考訳（メタデータ） (2023-10-20T12:45:12Z)
Non-Parametric Learning of Stochastic Differential Equations with Non-asymptotic Fast Rates of Convergence [65.63201894457404]
非線形微分方程式のドリフトと拡散係数の同定のための新しい非パラメトリック学習パラダイムを提案する。鍵となる考え方は、基本的には、対応するフォッカー・プランク方程式のRKHSに基づく近似をそのような観測に適合させることである。
論文参考訳（メタデータ） (2023-05-24T20:43:47Z)
Can Decentralized Stochastic Minimax Optimization Algorithms Converge Linearly for Finite-Sum Nonconvex-Nonconcave Problems? [56.62372517641597]
分散化されたミニマックス最適化は、幅広い機械学習に応用されているため、ここ数年で活発に研究されている。本稿では,非コンカブ問題に対する2つの新しい分散化ミニマックス最適化アルゴリズムを提案する。
論文参考訳（メタデータ） (2023-04-24T02:19:39Z)
Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
論文参考訳（メタデータ） (2023-02-24T18:41:48Z)
On the generalization of learning algorithms that do not converge [54.122745736433856]
ディープラーニングの一般化解析は、訓練が一定の点に収束すると仮定するのが一般的である。最近の結果は、実際には勾配降下に最適化されたディープニューラルネットワークの重みは、しばしば無限に振動することを示している。
論文参考訳（メタデータ） (2022-08-16T21:22:34Z)
A deep branching solver for fully nonlinear partial differential equations [0.1474723404975345]
完全非線形PDEの数値解に対する分岐アルゴリズムの多次元深層学習実装を提案する。このアプローチは、任意の順序の勾配項を含む機能的非線形性に取り組むように設計されている。
論文参考訳（メタデータ） (2022-03-07T09:46:46Z)
Lower Bounds on the Generalization Error of Nonlinear Learning Models [2.1030878979833467]
本稿では,多層ニューラルネットワークから導出したモデルの一般化誤差に対する下限について,学習データ中のサンプル数と層の大きさが一致した状況下で検討する。偏りのない推定器は,このような非線形ネットワークでは受け入れられない性能を示す。線形回帰や2層ネットワークの場合、一般偏差推定器の明示的な一般化の下界を導出する。
論文参考訳（メタデータ） (2021-03-26T20:37:54Z)
Progressive Batching for Efficient Non-linear Least Squares [31.082253632197023]
ガウス・ニュートンの基本的な改良のほとんどは、基礎となる問題構造の空間性を保証するか、あるいは活用して計算速度を上げることである。我々の研究は、機械学習と統計の両方からアイデアを借用し、収束を保証するとともに、必要な計算量を大幅に削減する非線形最小二乗に対するアプローチを提案する。
論文参考訳（メタデータ） (2020-10-21T13:00:04Z)
The role of optimization geometry in single neuron learning [12.891722496444036]
近年,表現型ニューラルネットワークの学習において,最適化アルゴリズムの選択が一般化性能に影響を与えることが実証されている。幾何学と特徴幾何学の相互作用が、どのようにしてアウト・オブ・サンプレットを導き、性能を向上させるかを示す。
論文参考訳（メタデータ） (2020-06-15T17:39:44Z)
A Novel Learnable Gradient Descent Type Algorithm for Non-convex Non-smooth Inverse Problems [3.888272676868008]
本稿では,汎用アーキテクチャとニューラルネットワークを用いた逆問題の解法を提案する。提案したネットワークは, 画像問題に対して, 効率と結果の点で, 状態再構成法よりも優れていた。
論文参考訳（メタデータ） (2020-03-15T03:44:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。