論文の概要: Non-Convex Optimizations for Machine Learning with Theoretical Guarantee: Robust Matrix Completion and Neural Network Learning

• arxiv url: http://arxiv.org/abs/2306.16557v1
• Date: Wed, 28 Jun 2023 20:53:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-30 15:36:52.250318
• Title: Non-Convex Optimizations for Machine Learning with Theoretical Guarantee: Robust Matrix Completion and Neural Network Learning
• Title（参考訳）: 理論的保証付き機械学習のための非凸最適化:ロバスト行列補完とニューラルネットワーク学習
• Authors: Shuai Zhang
• Abstract要約: 機械学習システムはまだ"ブラックボックス"という概念の下にあり、そこではパフォーマンスが理解できない。 この論文では、2つの一般的な非問題は、パブリックニューラルネットワーク学習を設計することである。
• 参考スコア（独自算出の注目度）: 5.141583534407068
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the recent development in machine learning, most learning systems are still under the concept of "black box", where the performance cannot be understood and derived. With the rise of safety and privacy concerns in public, designing an explainable learning system has become a new trend in machine learning. In general, many machine learning problems are formulated as minimizing (or maximizing) some loss function. Since real data are most likely generated from non-linear models, the loss function is non-convex in general. Unlike the convex optimization problem, gradient descent algorithms will be trapped in spurious local minima in solving non-convex optimization. Therefore, it is challenging to provide explainable algorithms when studying non-convex optimization problems. In this thesis, two popular non-convex problems are studied: (1) low-rank matrix completion and (2) neural network learning.
• Abstract（参考訳）: 機械学習の最近の発展にもかかわらず、ほとんどの学習システムは未だに「ブラックボックス」という概念の下にあり、パフォーマンスを理解・導出できない。 公衆の安全とプライバシーの懸念が高まり、説明可能な学習システムを設計することは、機械学習の新しいトレンドとなっている。 一般に、多くの機械学習問題は損失関数の最小化(最大化)として定式化されている。 実データは非線形モデルから生成される可能性が高いため、損失関数は一般に非凸である。 凸最適化問題と異なり、勾配降下アルゴリズムは非凸最適化の解法において局所的最小値に閉じ込められる。 したがって、非凸最適化問題を研究する際に説明可能なアルゴリズムを提供することは困難である。 本論文では,(1)低ランク行列補完と(2)ニューラルネットワーク学習の2つの一般的な非凸問題について考察する。

関連論文リスト

• Newton Losses: Using Curvature Information for Learning with Differentiable Algorithms [80.37846867546517]
  カスタム目的の8つの異なるニューラルネットワークのトレーニング方法を示す。 我々はその2次情報を経験的フィッシャー行列を通して活用する。 ロスロスロスシブルアルゴリズムを用いて、少ない微分可能アルゴリズムに対する大幅な改善を実現する。
  論文  参考訳（メタデータ） (2024-10-24T18:02:11Z)
• Learning to Optimize for Mixed-Integer Non-linear Programming [20.469394148261838]
  混合整数非NLPプログラム(MINLP)はエネルギーシステムや輸送など様々な領域で発生するが、解決は困難である。 機械学習の最近の進歩は、最適化のための学習として知られる領域において、顕著な成功をもたらしている。 勾配を保ちながら整数出力を生成する2つの異なる補正層を提案する。
  論文  参考訳（メタデータ） (2024-10-14T20:14:39Z)
• Review Non-convex Optimization Method for Machine Learning [0.0]
  非局所最適化は、特にディープニューラルネットワークやサドルマシンのような複雑なモデルにおいて、機械学習を進める上で重要なツールである。 機械学習における非局所最適化手法と非局所最適化の応用について検討する。
  論文  参考訳（メタデータ） (2024-10-02T20:34:33Z)
• A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
  Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
  論文  参考訳（メタデータ） (2024-09-18T14:57:13Z)
• Rewind-to-Delete: Certified Machine Unlearning for Nonconvex Functions [11.955062839855334]
  機械学習アルゴリズムは、データのプライバシを強制したり、腐敗または時代遅れのデータを削除したり、ユーザの忘れる権利を尊重するために、スクラッチからモデルから効率的にデータを取得することを目的としています。 我々のアルゴリズムはブラックボックスであり、未学習の事前考慮なしに、バニラ勾配勾配のモデルに直接適用できる。
  論文  参考訳（メタデータ） (2024-09-15T15:58:08Z)
• LinSATNet: The Positive Linear Satisfiability Neural Networks [116.65291739666303]
  本稿では,ニューラルネットワークに人気の高い正の線形満足度を導入する方法について検討する。 本稿では,古典的なシンクホーンアルゴリズムを拡張し,複数の辺分布の集合を共同で符号化する,最初の微分可能満足層を提案する。
  論文  参考訳（メタデータ） (2024-07-18T22:05:21Z)
• Near-Optimal Solutions of Constrained Learning Problems [85.48853063302764]
  機械学習システムでは、振る舞いを縮小する必要性がますます顕在化している。 これは、双対ロバスト性変数を満たすモデルの開発に向けた最近の進歩によって証明されている。 この結果から, 豊富なパラメトリゼーションは非次元的, 有限な学習問題を効果的に緩和することが示された。
  論文  参考訳（メタデータ） (2024-03-18T14:55:45Z)
• Can Decentralized Stochastic Minimax Optimization Algorithms Converge Linearly for Finite-Sum Nonconvex-Nonconcave Problems? [56.62372517641597]
  分散化されたミニマックス最適化は、幅広い機械学習に応用されているため、ここ数年で活発に研究されている。 本稿では,非コンカブ問題に対する2つの新しい分散化ミニマックス最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-24T02:19:39Z)
• Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise Learning [65.54757265434465]
  ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。 オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。 本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:10:48Z)
• Robust Learning-Augmented Caching: An Experimental Study [8.962235853317996]
  キャッシュにおける鍵となる最適化問題は、将来を知ることなく最適に解決できない。 学習強化アルゴリズムの新しい分野は、古典的なオンラインキャッシュアルゴリズムを活用するソリューションを提案する。 簡単な手法は、高い性能の予測器よりも低いオーバーヘッドしか持たないことを示す。
  論文  参考訳（メタデータ） (2021-06-28T13:15:07Z)
• Network Support for High-performance Distributed Machine Learning [17.919773898228716]
  学習ノード(計算を行う)と情報ノード(データを提供する)の両方をキャプチャするシステムモデルを提案する。 次に,学習課題を完了させるために,学習ノードと情報ノードが協調して行うべき課題と,実行すべきイテレーション数を選択する問題を定式化する。 我々はDoubleClimbというアルゴリズムを考案し、1+1/|I|競合解を見つけることができる。
  論文  参考訳（メタデータ） (2021-02-05T19:38:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。