Fugu-MT 論文翻訳(概要): Infinite-dimensional Folded-in-time Deep Neural Networks

論文の概要: Infinite-dimensional Folded-in-time Deep Neural Networks

arxiv url: http://arxiv.org/abs/2101.02966v1
Date: Fri, 8 Jan 2021 11:30:50 GMT
ステータス: 処理完了
システム内更新日: 2021-04-10 04:58:17.873322
Title: Infinite-dimensional Folded-in-time Deep Neural Networks
Title（参考訳）: 無限次元畳み込み時間ディープニューラルネットワーク
Authors: Florian Stelzer (1 and 2), Serhiy Yanchuk (1) ((1) Institute of Mathematics, Technische Universit\"at Berlin, Germany, (2) Department of Mathematics, Humboldt-Universit\"at zu Berlin, Germany)
Abstract要約: 本研究では,より厳密な数学的解析を可能にする無限次元一般化を提案する。また,重みの降下訓練を可能にする機能的バックプロパゲーションアルゴリズムを提供する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The method recently introduced in arXiv:2011.10115 realizes a deep neural network with just a single nonlinear element and delayed feedback. It is applicable for the description of physically implemented neural networks. In this work, we present an infinite-dimensional generalization, which allows for a more rigorous mathematical analysis and a higher flexibility in choosing the weight functions. Precisely speaking, the weights are described by Lebesgue integrable functions instead of step functions. We also provide a functional backpropagation algorithm, which enables gradient descent training of the weights. In addition, with a slight modification, our concept realizes recurrent neural networks.
Abstract（参考訳）: arXiv:2011.10115で最近導入されたこの手法は、単一の非線形要素と遅延フィードバックを持つディープニューラルネットワークを実現する。物理的に実装されたニューラルネットワークの記述に適用できる。本研究では、より厳密な数学的解析と重み関数の選択における高い柔軟性を実現する無限次元の一般化を提案する。正確には、重みはステップ関数の代わりにルベーグ可積分函数によって記述される。また,重みの勾配降下トレーニングを可能にする機能的バックプロパゲーションアルゴリズムを提供する。さらに,若干の修正を加えることで,再帰的なニューラルネットワークを実現する。

関連論文リスト

Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文参考訳（メタデータ） (2024-03-18T18:01:01Z)
Neural Functional Transformers [99.98750156515437]
本稿では,ニューラルファンクショナルトランスフォーマー (NFT) と呼ばれる新しい変分同変量空間層を定義するために,アテンション機構を用いる。 NFTは重み空間の置換対称性を尊重し、注意の利点を取り入れ、複数の領域で顕著な成功を収めた。 Inr2Arrayは暗黙的ニューラル表現(INR)の重みから置換不変表現を計算する新しい方法である。
論文参考訳（メタデータ） (2023-05-22T23:38:27Z)
Introduction to dynamical mean-field theory of generic random neural networks [2.0711789781518752]
初心者がこのツールの本質や基礎となる物理学にアクセスするのは容易ではない。本稿では,この手法を汎用的ランダムニューラルネットワークの具体例に紹介する。積分微分平均場方程式を解く数値的実装についても詳述する。
論文参考訳（メタデータ） (2023-05-15T09:01:40Z)
Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文参考訳（メタデータ） (2023-03-06T18:59:13Z)
Permutation Equivariant Neural Functionals [92.0667671999604]
この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
論文参考訳（メタデータ） (2023-02-27T18:52:38Z)
A Sparse Coding Interpretation of Neural Networks and Theoretical Implications [0.0]
深層畳み込みニューラルネットワークは、様々なコンピュータビジョンタスクにおいて前例のない性能を達成した。本稿では、ReLUアクティベーションを持つニューラルネットワークのスパース符号化解釈を提案する。正規化やプーリングなしに完全な畳み込みニューラルネットワークを導出する。
論文参考訳（メタデータ） (2021-08-14T21:54:47Z)
Optimal Approximation with Sparse Neural Networks and Applications [0.0]
深い疎結合ニューラルネットワークを用いて、関数クラスの複雑性を$L(mathbb Rd)$で測定する。また、ニューラルネットワークを誘導する関数の可算コレクションである表現システムについても紹介する。次に、レート歪曲理論とウェッジレット構成を用いて、$beta$マンガ的関数と呼ばれるクラスの複雑性を分析する。
論文参考訳（メタデータ） (2021-08-14T05:14:13Z)
Going Beyond Linear RL: Sample Efficient Neural Function Approximation [76.57464214864756]
2層ニューラルネットワークによる関数近似について検討する。この結果は線形(あるいは可溶性次元)法で達成できることを大幅に改善する。
論文参考訳（メタデータ） (2021-07-14T03:03:56Z)
Tensor-based framework for training flexible neural networks [9.176056742068813]
本稿では,制約付き行列-テンソル因数分解(CMTF)問題を解く学習アルゴリズムを提案する。提案アルゴリズムは、異なる基底分解を処理できる。この手法の目的は、テンソルワーク(例えば、元のネットワークの1層または複数の層)を新しいフレキシブル層に置き換えることで、大きな事前訓練されたNNモデルを圧縮することである。
論文参考訳（メタデータ） (2021-06-25T10:26:48Z)
Fast Adaptation with Linearized Neural Networks [35.43406281230279]
ニューラルネットワークの線形化の帰納的バイアスについて検討し,全ネットワーク関数の驚くほどよい要約であることを示した。この発見に触発されて,これらの帰納的バイアスをネットワークのヤコビアンから設計されたカーネルを通してガウス過程に埋め込む手法を提案する。この設定では、領域適応は不確実性推定を伴う解釈可能な後方推論の形式を取る。
論文参考訳（メタデータ） (2021-03-02T03:23:03Z)
Learning compositional functions via multiplicative weight updates [97.9457834009578]
乗算重み更新は構成関数に合わせた降下補題を満たすことを示す。マダムは、学習率のチューニングなしに、最先端のニューラルネットワークアーキテクチャをトレーニングできることを示す。
論文参考訳（メタデータ） (2020-06-25T17:05:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。