論文の概要: The committee machine: Computational to statistical gaps in learning a
two-layers neural network
- arxiv url: http://arxiv.org/abs/1806.05451v3
- Date: Thu, 29 Feb 2024 11:10:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-03 15:26:38.163712
- Title: The committee machine: Computational to statistical gaps in learning a
two-layers neural network
- Title（参考訳）: 委員会機械:二層ニューラルネットワーク学習における統計的ギャップの計算
- Authors: Benjamin Aubin, Antoine Maillard, Jean Barbier, Florent Krzakala,
Nicolas Macris and Lenka Zdeborov\'a
- Abstract要約: 統計物理学からのヒューリスティックツールは、教師-学生シナリオにおける位相遷移の発見と最適学習および一般化誤差の計算に使われてきた。
本稿では, パラメータ集合の時間的最適学習を可能にする, AMPアルゴリズムのバージョンを提案する。
AMPアルゴリズムが実現に失敗する一方で,低一般化誤差が情報理論的に達成可能であるレジームがあることが分かり,これらのケースに効率的なアルゴリズムが存在しないことを強く示唆する。
- 参考スコア（独自算出の注目度）: 29.86621613621785
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Heuristic tools from statistical physics have been used in the past to locate
the phase transitions and compute the optimal learning and generalization
errors in the teacher-student scenario in multi-layer neural networks. In this
contribution, we provide a rigorous justification of these approaches for a
two-layers neural network model called the committee machine. We also introduce
a version of the approximate message passing (AMP) algorithm for the committee
machine that allows to perform optimal learning in polynomial time for a large
set of parameters. We find that there are regimes in which a low generalization
error is information-theoretically achievable while the AMP algorithm fails to
deliver it, strongly suggesting that no efficient algorithm exists for those
cases, and unveiling a large computational gap.
- Abstract（参考訳）: 統計物理学からのヒューリスティックツールは、過去に相転移を見つけ出し、多層ニューラルネットワークの教師/学生シナリオにおける最適学習および一般化誤差を計算するために用いられてきた。
本稿では,2層ニューラルネットワークモデルであるcommitted machineに対して,これらのアプローチを厳密に正当化することを提案する。
また,多数のパラメータの集合に対して多項式時間で最適な学習を行うための,委員会機械のための近似メッセージパッシング(AMP)アルゴリズムのバージョンも導入する。
AMPアルゴリズムでは,これらのケースに効率的なアルゴリズムが存在しないことを強く示唆し,大きな計算ギャップを露呈する一方で,低一般化誤差が情報理論的に達成できる体制が存在することがわかった。
関連論文リスト
- On the Convergence of Distributed Stochastic Bilevel Optimization
Algorithms over a Network [55.56019538079826]
バイレベル最適化は、幅広い機械学習モデルに適用されている。
既存のアルゴリズムの多くは、分散データを扱うことができないように、シングルマシンの設定を制限している。
そこで我々は,勾配追跡通信機構と2つの異なる勾配に基づく分散二段階最適化アルゴリズムを開発した。
論文 参考訳（メタデータ） (2022-06-30T05:29:52Z) - Scalable computation of prediction intervals for neural networks via
matrix sketching [79.44177623781043]
既存の不確実性推定アルゴリズムでは、モデルアーキテクチャとトレーニング手順を変更する必要がある。
本研究では、与えられたトレーニングされたニューラルネットワークに適用し、近似予測間隔を生成できる新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-05-06T13:18:31Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - Analytically Tractable Inference in Deep Neural Networks [0.0]
Tractable Approximate Inference (TAGI)アルゴリズムは、浅いフルコネクテッドニューラルネットワークのバックプロパゲーションに対する実行可能でスケーラブルな代替手段であることが示された。
従来のディープニューラルネットワークアーキテクチャをトレーニングするために、TAGIがバックプロパゲーションのパフォーマンスとどのように一致するか、または上回るかを実証しています。
論文 参考訳（メタデータ） (2021-03-09T14:51:34Z) - Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。
問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。
本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-01-07T08:00:02Z) - Iterative Algorithm Induced Deep-Unfolding Neural Networks: Precoding
Design for Multiuser MIMO Systems [59.804810122136345]
本稿では,AIIDNN(ディープ・アンフォールディング・ニューラルネット)を一般化した,ディープ・アンフォールディングのためのフレームワークを提案する。
古典的重み付き最小二乗誤差(WMMSE)反復アルゴリズムの構造に基づく効率的なIAIDNNを提案する。
提案したIAIDNNは,計算複雑性を低減した反復WMMSEアルゴリズムの性能を効率よく向上することを示す。
論文 参考訳（メタデータ） (2020-06-15T02:57:57Z) - Exponentially improved detection and correction of errors in
experimental systems using neural networks [0.0]
実験装置の実証モデルを作成するために,2つの機械学習アルゴリズムを導入する。
これにより、一般化最適化タスクに必要な測定回数を指数関数的に削減することができる。
イオントラップ内の成層電場の検出と補償を例に,両アルゴリズムを実証する。
論文 参考訳（メタデータ） (2020-05-18T22:42:11Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2020-05-05T18:08:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。