論文の概要: Optimisation & Generalisation in Networks of Neurons

• arxiv url: http://arxiv.org/abs/2210.10101v1
• Date: Tue, 18 Oct 2022 18:58:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-20 12:31:16.775770
• Title: Optimisation & Generalisation in Networks of Neurons
• Title（参考訳）: ニューロンネットワークの最適化と一般化
• Authors: Jeremy Bernstein
• Abstract要約: この論文の目的は、人工ニューラルネットワークにおける学習の最適化と一般化理論の基礎を開発することである。 アーキテクチャに依存した一階最適化アルゴリズムを導出するための新しい理論的枠組みを提案する。 ネットワークと個々のネットワークのアンサンブルの間には,新たな対応関係が提案されている。
• 参考スコア（独自算出の注目度）: 8.078758339149822
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The goal of this thesis is to develop the optimisation and generalisation theoretic foundations of learning in artificial neural networks. On optimisation, a new theoretical framework is proposed for deriving architecture-dependent first-order optimisation algorithms. The approach works by combining a "functional majorisation" of the loss function with "architectural perturbation bounds" that encode an explicit dependence on neural architecture. The framework yields optimisation methods that transfer hyperparameters across learning problems. On generalisation, a new correspondence is proposed between ensembles of networks and individual networks. It is argued that, as network width and normalised margin are taken large, the space of networks that interpolate a particular training set concentrates on an aggregated Bayesian method known as a "Bayes point machine". This correspondence provides a route for transferring PAC-Bayesian generalisation theorems over to individual networks. More broadly, the correspondence presents a fresh perspective on the role of regularisation in networks with vastly more parameters than data.
• Abstract（参考訳）: この論文の目的は、ニューラルネットワークにおける学習の最適化と一般化の理論的基礎を開発することである。 最適化に関して、アーキテクチャ依存一階最適化アルゴリズムを導出するための新しい理論的枠組みが提案されている。 このアプローチは、損失関数の"機能的メジャー化"と、神経アーキテクチャへの明示的な依存をエンコードする"アーキテクチャ的摂動境界"を組み合わせることで機能する。 このフレームワークは、学習問題にまたがるハイパーパラメータを転送する最適化手法をもたらす。 一般化では、ネットワークのアンサンブルと個々のネットワーク間の新しい対応が提案されている。 ネットワーク幅と正規化マージンが大きくなるにつれて、特定のトレーニングセットを補間するネットワークの空間は「ベイズ点マシン」として知られる集約ベイズ法に集中する、と論じられている。 この対応は、PAC-ベイジアン一般化定理を個々のネットワークに転送する経路を提供する。 より広義には、データよりもはるかに多くのパラメータを持つネットワークにおける正規化の役割について、新たな視点を示す。

関連論文リスト

• Generalization emerges from local optimization in a self-organized learning network [0.0]
  我々は,グローバルなエラー関数に頼ることなく,局所最適化ルールのみによって駆動される,教師付き学習ネットワーク構築のための新しいパラダイムを設計・分析する。 我々のネットワークは、ルックアップテーブルの形で、ノードに新しい知識を正確かつ瞬時に保存する。 本稿では,学習例数が十分に大きくなると,アルゴリズムによって生成されたネットワークが完全な一般化状態に体系的に到達する,分類タスクの多くの例を示す。 我々は状態変化のダイナミクスについて報告し、それが突然であり、従来の学習ネットワークですでに観察されている現象である1次相転移の特徴を持つことを示す。
  論文  参考訳（メタデータ） (2024-10-03T15:32:08Z)
• Rotation Equivariant Proximal Operator for Deep Unfolding Methods in Image Restoration [62.41329042683779]
  本稿では, 回転対称性を組み込んだ高精度な回転同変近位ネットワークを提案する。 本研究は, 回転対称性の先行を深く展開する枠組みに効果的に組み込む, 高精度な回転同変近位ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-12-25T11:53:06Z)
• Layer Collaboration in the Forward-Forward Algorithm [28.856139738073626]
  フォワードフォワードアルゴリズムにおける層間協調について検討する。 ネットワーク内の情報の流れを考慮した場合, フォワードアルゴリズムの現在のバージョンが最適であることを示す。 ネットワーク構造をよりよく活用するために,レイヤコラボレーションをサポートする改良版を提案する。
  論文  参考訳（メタデータ） (2023-05-21T08:12:54Z)
• Learning Autonomy in Management of Wireless Random Networks [102.02142856863563]
  本稿では,任意の数のランダム接続ノードを持つ無線ネットワークにおいて,分散最適化タスクに取り組む機械学習戦略を提案する。 我々は,ネットワークトポロジとは無関係に,前方および後方に計算を行う分散メッセージパスニューラルネットワーク(DMPNN)と呼ばれる,柔軟な深層ニューラルネットワーク形式を開発した。
  論文  参考訳（メタデータ） (2021-06-15T09:03:28Z)
• Learning Structures for Deep Neural Networks [99.8331363309895]
  我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。 スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。 公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
  論文  参考訳（メタデータ） (2021-05-27T12:27:24Z)
• Reframing Neural Networks: Deep Structure in Overcomplete Representations [41.84502123663809]
  本稿では,構造化過剰フレームを用いた表現学習のための統一フレームワークであるdeep frame approximationを提案する。 表現一意性と安定性に関連付けられたデータ非依存的なコヒーレンス尺度であるdeep frame potentialとの構造的差異を定量化する。 この超完全表現の確立された理論への接続は、原理化されたディープネットワークアーキテクチャ設計の新たな方向性を示唆している。
  論文  参考訳（メタデータ） (2021-03-10T01:15:14Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Generalization bound of globally optimal non-convex neural network training: Transportation map estimation by infinite dimensional Langevin dynamics [50.83356836818667]
  本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。 ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
  論文  参考訳（メタデータ） (2020-07-11T18:19:50Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)
• An Elementary Approach to Convergence Guarantees of Optimization Algorithms for Deep Networks [2.715884199292287]
  本稿では,オラクルの基本的な議論と計算に基づいて,ディープ・ネットワークに対する最適化アルゴリズムの収束保証を得る手法を提案する。 本研究では、ディープネットワークのトレーニングに使用される一階最適化アルゴリズムの収束挙動を制御した滑らか度定数の推定値を計算する体系的な方法を提案する。
  論文  参考訳（メタデータ） (2020-02-20T22:40:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。