論文の概要: Deep-ICE: The first globally optimal algorithm for empirical risk minimization of two-layer maxout and ReLU networks

• arxiv url: http://arxiv.org/abs/2505.05740v1
• Date: Fri, 09 May 2025 02:34:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-12 20:40:10.130311
• Title: Deep-ICE: The first globally optimal algorithm for empirical risk minimization of two-layer maxout and ReLU networks
• Title（参考訳）: Deep-ICE: 2層最大化とReLUネットワークの実証的リスク最小化のための最初の世界的最適アルゴリズム
• Authors: Xi He, Yi Miao, Max A. Little,
• Abstract要約: 本稿では,2層最大化ネットワークとReLUネットワークの実証的リスク問題に対する,世界初となる最適アルゴリズムを提案する。 提案アルゴリズムは、小規模データセットに対して、証明可能な正確な解を提供する。 より大きなデータセットを扱うために,データサイズを管理可能なスケールに縮小する新しいコアセット選択手法を提案する。
• 参考スコア（独自算出の注目度）: 1.7266553199919665
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: This paper introduces the first globally optimal algorithm for the empirical risk minimization problem of two-layer maxout and ReLU networks, i.e., minimizing the number of misclassifications. The algorithm has a worst-case time complexity of $O\left(N^{DK+1}\right)$, where $K$ denotes the number of hidden neurons and $D$ represents the number of features. It can be can be generalized to accommodate arbitrary computable loss functions without affecting its computational complexity. Our experiments demonstrate that the proposed algorithm provides provably exact solutions for small-scale datasets. To handle larger datasets, we introduce a novel coreset selection method that reduces the data size to a manageable scale, making it feasible for our algorithm. This extension enables efficient processing of large-scale datasets and achieves significantly improved performance, with a 20-30\% reduction in misclassifications for both training and prediction, compared to state-of-the-art approaches (neural networks trained using gradient descent and support vector machines), when applied to the same models (two-layer networks with fixed hidden nodes and linear models).
• Abstract（参考訳）: 本稿では,2層最大化ネットワークとReLUネットワークの実証的リスク最小化問題,すなわち誤分類数を最小化するための,最初のグローバルなアルゴリズムを提案する。 このアルゴリズムは、$O\left(N^{DK+1}\right)$で、$K$は隠れたニューロンの数を表し、$D$は特徴の数を表す。 計算複雑性に影響を与えることなく、任意の計算可能な損失関数に対応するように一般化することができる。 実験により,提案アルゴリズムは,小規模データセットに対して,確実に正確な解を提供することを示した。 より大規模なデータセットを扱うために,データサイズを管理可能なスケールに削減し,アルゴリズムで実現可能な新しいコアセット選択手法を提案する。 この拡張により、大規模データセットの効率的な処理が可能となり、同じモデル(固定されたノードと線形モデルを持つ2層ネットワーク)に適用した場合に、最先端のアプローチ(勾配降下とサポートベクターマシンで訓練されたニューラルネットワーク)と比較して、トレーニングと予測の両方の誤分類を20～30パーセント削減することで、性能が大幅に向上する。

関連論文リスト

• Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。 我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
  論文  参考訳（メタデータ） (2022-10-21T15:56:13Z)
• Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
  我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。 我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
  論文  参考訳（メタデータ） (2022-10-14T01:42:05Z)
• DOGE-Train: Discrete Optimization on GPU with End-to-end Training [28.795080637690095]
  0-1整数線形プログラムの緩和を解くために,高速でスケーラブルなデータ駆動型手法を提案する。 グラフニューラルネットワーク(GNN)とラグランジュ分解に基づくアルゴリズムであるFastDOGを用いる。
  論文  参考訳（メタデータ） (2022-05-23T21:09:41Z)
• Algorithms for Efficiently Learning Low-Rank Neural Networks [12.916132936159713]
  低ランクニューラルネットワークの学習アルゴリズムについて検討する。 単層ReLUネットワークに最適な低ランク近似を学習するアルゴリズムを提案する。 低ランク$textitdeep$ネットワークをトレーニングするための新しい低ランクフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-02T01:08:29Z)
• Revisiting Recursive Least Squares for Training Deep Neural Networks [10.44340837533087]
  再帰最小二乗法(RLS)アルゴリズムは、その高速収束のため、かつては小規模ニューラルネットワークのトレーニングに広く用いられていた。 従来のRSSアルゴリズムは、計算複雑性が高く、事前条件が多すぎるため、ディープニューラルネットワーク(DNN)のトレーニングには適さない。 本稿では,フィードフォワードニューラルネットワーク,畳み込みニューラルネットワーク,リカレントニューラルネットワークの3つの新しいRSS最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-09-07T17:43:51Z)
• Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
  本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。 問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。 本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-07T08:00:02Z)
• Solving Mixed Integer Programs Using Neural Networks [57.683491412480635]
  本稿では,mipソルバの2つのキーサブタスクに学習を適用し,高品質なジョイント変数割当を生成し,その割当と最適課題との客観的値の差を限定する。 提案手法は,ニューラルネットワークに基づく2つのコンポーネントであるニューラルダイバーディングとニューラルブランチを構築し,SCIPなどのベースMIPソルバで使用する。 2つのGoogle生産データセットとMIPLIBを含む6つの現実世界データセットに対するアプローチを評価し、それぞれに別々のニューラルネットワークをトレーニングする。
  論文  参考訳（メタデータ） (2020-12-23T09:33:11Z)
• Community detection using fast low-cardinality semidefinite programming [94.4878715085334]
  局所的な更新を一般化し、ライデン-k-カットから導かれる半定緩和を最大化する、新しい低カルチナリティアルゴリズムを提案する。 提案アルゴリズムはスケーラビリティが高く,最先端のアルゴリズムより優れ,実時間では性能が向上し,追加コストがほとんどない。
  論文  参考訳（メタデータ） (2020-12-04T15:46:30Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。