論文の概要: Non-Convex Optimizations for Machine Learning with Theoretical
Guarantee: Robust Matrix Completion and Neural Network Learning
- arxiv url: http://arxiv.org/abs/2306.16557v1
- Date: Wed, 28 Jun 2023 20:53:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-30 15:36:52.250318
- Title: Non-Convex Optimizations for Machine Learning with Theoretical
Guarantee: Robust Matrix Completion and Neural Network Learning
- Title(参考訳): 理論的保証付き機械学習のための非凸最適化:ロバスト行列補完とニューラルネットワーク学習
- Authors: Shuai Zhang
- Abstract要約: 機械学習システムはまだ"ブラックボックス"という概念の下にあり、そこではパフォーマンスが理解できない。
この論文では、2つの一般的な非問題は、パブリックニューラルネットワーク学習を設計することである。
- 参考スコア(独自算出の注目度): 5.141583534407068
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite the recent development in machine learning, most learning systems are
still under the concept of "black box", where the performance cannot be
understood and derived. With the rise of safety and privacy concerns in public,
designing an explainable learning system has become a new trend in machine
learning. In general, many machine learning problems are formulated as
minimizing (or maximizing) some loss function. Since real data are most likely
generated from non-linear models, the loss function is non-convex in general.
Unlike the convex optimization problem, gradient descent algorithms will be
trapped in spurious local minima in solving non-convex optimization. Therefore,
it is challenging to provide explainable algorithms when studying non-convex
optimization problems. In this thesis, two popular non-convex problems are
studied: (1) low-rank matrix completion and (2) neural network learning.
- Abstract(参考訳): 機械学習の最近の発展にもかかわらず、ほとんどの学習システムは未だに「ブラックボックス」という概念の下にあり、パフォーマンスを理解・導出できない。
公衆の安全とプライバシーの懸念が高まり、説明可能な学習システムを設計することは、機械学習の新しいトレンドとなっている。
一般に、多くの機械学習問題は損失関数の最小化(最大化)として定式化されている。
実データは非線形モデルから生成される可能性が高いため、損失関数は一般に非凸である。
凸最適化問題と異なり、勾配降下アルゴリズムは非凸最適化の解法において局所的最小値に閉じ込められる。
したがって、非凸最適化問題を研究する際に説明可能なアルゴリズムを提供することは困難である。
本論文では,(1)低ランク行列補完と(2)ニューラルネットワーク学習の2つの一般的な非凸問題について考察する。
関連論文リスト
- Learning to optimize with convergence guarantees using nonlinear system theory [0.4143603294943439]
非制約対象関数に対する収束アルゴリズムのアンメトリゼーションを提案する。
具体的には、スムーズなパラメトリゼーションのための全収束アルゴリズムのアンメトリゼーションを提案する。
論文 参考訳(メタデータ) (2024-03-14T13:40:26Z) - Linear Recursive Feature Machines provably recover low-rank matrices [17.530511273384786]
我々は、RFMが次元還元を行うための最初の理論的保証を開発する。
反復重み付き最小二乗法 (IRLS) アルゴリズムを一般化する。
我々の結果は、ニューラルネットワークにおける特徴学習と古典的なスパースリカバリアルゴリズムの関連性に光を当てた。
論文 参考訳(メタデータ) (2024-01-09T13:44:12Z) - Machine Learning Without a Processor: Emergent Learning in a Nonlinear
Electronic Metamaterial [0.6990493129893112]
トランジスタをベースとした非線形抵抗素子を自己調整したアナログ電子ネットワークである非線形学習メタマテリアルを導入する。
我々は,XORや非線形回帰を含む線形システムでは不可能なタスクをコンピュータなしで学習できることを実証した。
これは、センサー、ロボットコントローラー、医療機器といったエッジシステムにおける、高速で低消費電力なコンピューティングの可能性を示唆している。
論文 参考訳(メタデータ) (2023-11-01T14:16:37Z) - Can Decentralized Stochastic Minimax Optimization Algorithms Converge
Linearly for Finite-Sum Nonconvex-Nonconcave Problems? [56.62372517641597]
分散化されたミニマックス最適化は、幅広い機械学習に応用されているため、ここ数年で活発に研究されている。
本稿では,非コンカブ問題に対する2つの新しい分散化ミニマックス最適化アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-04-24T02:19:39Z) - Refining neural network predictions using background knowledge [68.35246878394702]
学習システムにおける論理的背景知識を用いて,ラベル付きトレーニングデータの不足を補うことができることを示す。
そこで本研究では,修正された予測を元の予測に近い精度で検出する微分可能精細関数を提案する。
このアルゴリズムは、複雑なSATの公式に対して、非常に少ない繰り返しで最適に洗練され、勾配降下ができない解がしばしば見つかる。
論文 参考訳(メタデータ) (2022-06-10T10:17:59Z) - Implicit Parameter-free Online Learning with Truncated Linear Models [51.71216912089413]
パラメータフリーアルゴリズムは、設定された学習率を必要としないオンライン学習アルゴリズムである。
そこで我々は,「単純」なフレーバーを持つ新しい更新によって,切り離された線形モデルを活用できる新しいパラメータフリーアルゴリズムを提案する。
後悔の新たな分解に基づいて、新しい更新は効率的で、各ステップで1つの勾配しか必要とせず、切り捨てられたモデルの最小値をオーバーシュートすることはない。
論文 参考訳(メタデータ) (2022-03-19T13:39:49Z) - Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise
Learning [65.54757265434465]
ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。
オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。
本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
論文 参考訳(メタデータ) (2021-11-23T18:10:48Z) - Robust Learning-Augmented Caching: An Experimental Study [8.962235853317996]
キャッシュにおける鍵となる最適化問題は、将来を知ることなく最適に解決できない。
学習強化アルゴリズムの新しい分野は、古典的なオンラインキャッシュアルゴリズムを活用するソリューションを提案する。
簡単な手法は、高い性能の予測器よりも低いオーバーヘッドしか持たないことを示す。
論文 参考訳(メタデータ) (2021-06-28T13:15:07Z) - Why Do Local Methods Solve Nonconvex Problems? [54.284687261929115]
非使用最適化は、現代の機械学習においてユビキタスである。
機械学習問題の場合、厳格に定式化します。
我々はこの現象の統一的な説明を仮定する。
論文 参考訳(メタデータ) (2021-03-24T19:34:11Z) - Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。
破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-02-07T14:19:07Z) - Network Support for High-performance Distributed Machine Learning [17.919773898228716]
学習ノード(計算を行う)と情報ノード(データを提供する)の両方をキャプチャするシステムモデルを提案する。
次に,学習課題を完了させるために,学習ノードと情報ノードが協調して行うべき課題と,実行すべきイテレーション数を選択する問題を定式化する。
我々はDoubleClimbというアルゴリズムを考案し、1+1/|I|競合解を見つけることができる。
論文 参考訳(メタデータ) (2021-02-05T19:38:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。