Fugu-MT 論文翻訳(概要): Universality of Gradient Descent Neural Network Training

論文の概要: Universality of Gradient Descent Neural Network Training

arxiv url: http://arxiv.org/abs/2007.13664v1
Date: Mon, 27 Jul 2020 16:17:19 GMT
ステータス: 処理完了
システム内更新日: 2022-11-06 07:54:33.323505
Title: Universality of Gradient Descent Neural Network Training
Title（参考訳）: グラディエントDescent Neural Network Trainingの普遍性
Authors: G. Welper
Abstract要約: ニューラルネットワークの再設計が常に可能であるかどうかを議論する。この構造は実用的な計算を目的としていないが、メタラーニングと関連するアプローチの可能性についてある程度の方向性を提供する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: It has been observed that design choices of neural networks are often crucial for their successful optimization. In this article, we therefore discuss the question if it is always possible to redesign a neural network so that it trains well with gradient descent. This yields the following universality result: If, for a given network, there is any algorithm that can find good network weights for a classification task, then there exists an extension of this network that reproduces these weights and the corresponding forward output by mere gradient descent training. The construction is not intended for practical computations, but it provides some orientation on the possibilities of meta-learning and related approaches.
Abstract（参考訳）: ニューラルネットワークの設計選択は、しばしば最適化の成功に不可欠であることが観察されている。そこで本稿では,ニューラルネットワークの再設計が常に可能であるかどうかを論じる。これは次のような普遍性の結果をもたらす: 与えられたネットワークに対して、分類タスクに対して適切なネットワーク重みを求めることができるアルゴリズムが存在するならば、このネットワークの拡張により、これらの重みと、単なる勾配降下訓練によって対応する前方出力を再現できる。この構成は実用的な計算を意図したものではなく、メタラーニングと関連するアプローチの可能性に関するいくつかの方向性を提供する。

関連論文リスト

Coding schemes in neural networks learning classification tasks [52.22978725954347]
完全接続型広義ニューラルネットワーク学習タスクについて検討する。ネットワークが強力なデータ依存機能を取得することを示す。驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
論文参考訳（メタデータ） (2024-06-24T14:50:05Z)
Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文参考訳（メタデータ） (2023-03-06T18:59:13Z)
Theoretical Characterization of How Neural Network Pruning Affects its Generalization [131.1347309639727]
この研究は、異なるプルーニング率がモデルの勾配降下ダイナミクスと一般化にどのように影響するかを研究する最初の試みである。プルーニング率が一定の閾値以下である限り、勾配降下はトレーニング損失をゼロに導くことができる。より驚くべきことに、プルーニング分数が大きくなるにつれて、一般化境界はより良くなる。
論文参考訳（メタデータ） (2023-01-01T03:10:45Z)
Combining Optimal Path Search With Task-Dependent Learning in a Neural Network [4.1712273169097305]
コスト値をシナプス重みに変換することにより,経路探索問題のニューラルネットワーク表現を定義することができることを示す。ネットワーク学習機構は, ネットワーク内の重みを手作業に応じて強化し, ネットワークの重み付けに適応できることを示す。
論文参考訳（メタデータ） (2022-01-26T18:29:00Z)
Neural Capacitance: A New Perspective of Neural Network Selection via Edge Dynamics [85.31710759801705]
現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
論文参考訳（メタデータ） (2022-01-11T20:53:15Z)
Neural networks with linear threshold activations: structure and algorithms [1.795561427808824]
クラス内で表現可能な関数を表現するのに、2つの隠れたレイヤが必要であることを示す。また、クラス内の任意の関数を表すのに必要なニューラルネットワークのサイズについて、正確な境界を与える。我々は,線形しきい値ネットワークと呼ばれるニューラルネットワークの新たなクラスを提案する。
論文参考訳（メタデータ） (2021-11-15T22:33:52Z)
Training Graph Neural Networks by Graphon Estimation [2.5997274006052544]
本稿では,基礎となるネットワークデータから得られたグラフトン推定値から再サンプリングすることで,グラフニューラルネットワークをトレーニングする。我々のアプローチは競争力があり、多くの場合、他の過度にスムースなGNNトレーニング手法よりも優れています。
論文参考訳（メタデータ） (2021-09-04T19:21:48Z)
Fast Adaptation with Linearized Neural Networks [35.43406281230279]
ニューラルネットワークの線形化の帰納的バイアスについて検討し,全ネットワーク関数の驚くほどよい要約であることを示した。この発見に触発されて,これらの帰納的バイアスをネットワークのヤコビアンから設計されたカーネルを通してガウス過程に埋め込む手法を提案する。この設定では、領域適応は不確実性推定を伴う解釈可能な後方推論の形式を取る。
論文参考訳（メタデータ） (2021-03-02T03:23:03Z)
Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
論文参考訳（メタデータ） (2020-04-17T19:12:39Z)
Backprojection for Training Feedforward Neural Networks in the Input and Feature Spaces [12.323996999894002]
本稿では,バックプロパゲーションよりもかなり高速なフィードフォワードニューラルネットワークのトレーニングアルゴリズムを提案する。提案アルゴリズムは、それぞれバックプロジェクションとカーネルバックプロジェクションと呼ばれる入力空間と特徴空間の両方に利用できる。
論文参考訳（メタデータ） (2020-04-05T20:53:11Z)
Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。