論文の概要: Designing with Non-Finite Output Dimension via Fourier Coefficients of
Neural Waveforms
- arxiv url: http://arxiv.org/abs/2212.04351v1
- Date: Wed, 17 Aug 2022 12:00:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-30 20:12:37.603395
- Title: Designing with Non-Finite Output Dimension via Fourier Coefficients of
Neural Waveforms
- Title(参考訳): 神経波形のフーリエ係数による非有限出力次元の設計
- Authors: Jonathan S. Kent
- Abstract要約: ニューラルネットワークから非有限次元の出力を取る手法を提案する。
この環境では,ニューラルネットワークがおもちゃの問題で学習できることを示す実験的な証拠を提示する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Ordinary Deep Learning models require having the dimension of their outputs
determined by a human practitioner prior to training and operation. For design
tasks, this places a hard limit on the maximum complexity of any designs
produced by a neural network, which is disadvantageous if a greater allowance
for complexity would result in better designs. In this paper, we introduce a
methodology for taking outputs of non-finite dimension from neural networks, by
learning a "neural waveform," and then taking as outputs the coefficients of
its Fourier series representation. We then present experimental evidence that
neural networks can learn in this setting on a toy problem.
- Abstract(参考訳): 通常のディープラーニングモデルは、トレーニングと運用の前に人間の実践者によって決定されるアウトプットの次元を持つ必要があります。
設計タスクの場合、これはニューラルネットワークによって生成される設計の最大複雑性に厳しい制限を課す。
本稿では,ニューラルネットワークからの非有限次元の出力を「ニューラルウェーブフォーム」を学習し,そのフーリエ級数表現の出力として利用する手法を提案する。
次に、ニューラルネットワークがおもちゃの問題でこの設定で学習できることを実験的に証明する。
関連論文リスト
- Spiking mode-based neural networks [3.0349733976070024]
スパイクニューラルネットワークは、脳のようなニューロモルフィック計算において重要な役割を果たす。
大規模なスパイクニューラルネットワークのトレーニングの欠点のひとつは、すべての重みを更新するコストがかかることだ。
論文 参考訳(メタデータ) (2023-10-23T06:54:17Z) - Permutation Equivariant Neural Functionals [92.0667671999604]
この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。
隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。
実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
論文 参考訳(メタデータ) (2023-02-27T18:52:38Z) - Simple initialization and parametrization of sinusoidal networks via
their kernel bandwidth [92.25666446274188]
従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。
まず,このような正弦波ニューラルネットワークの簡易版を提案する。
次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
論文 参考訳(メタデータ) (2022-11-26T07:41:48Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Stochastic Neural Networks with Infinite Width are Deterministic [7.07065078444922]
使用中のニューラルネットワークの主要なタイプであるニューラルネットワークについて研究する。
最適化されたニューラルネットワークの幅が無限大になる傾向があるため、トレーニングセットの予測分散はゼロになる。
論文 参考訳(メタデータ) (2022-01-30T04:52:31Z) - A Sparse Coding Interpretation of Neural Networks and Theoretical
Implications [0.0]
深層畳み込みニューラルネットワークは、様々なコンピュータビジョンタスクにおいて前例のない性能を達成した。
本稿では、ReLUアクティベーションを持つニューラルネットワークのスパース符号化解釈を提案する。
正規化やプーリングなしに完全な畳み込みニューラルネットワークを導出する。
論文 参考訳(メタデータ) (2021-08-14T21:54:47Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳(メタデータ) (2021-04-29T14:31:09Z) - Reservoir Memory Machines as Neural Computers [70.5993855765376]
微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。
我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
論文 参考訳(メタデータ) (2020-09-14T12:01:30Z) - Beyond Dropout: Feature Map Distortion to Regularize Deep Neural
Networks [107.77595511218429]
本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。
上記の問題に対処するための特徴歪み法(Disout)を提案する。
より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
論文 参考訳(メタデータ) (2020-02-23T13:59:13Z) - Lossless Compression of Deep Neural Networks [17.753357839478575]
ディープニューラルネットワークは、画像や言語認識など、多くの予測モデリングタスクで成功している。
モバイルデバイスのような限られた計算資源の下でこれらのネットワークをデプロイすることは困難である。
生成した出力を変更せずに、ニューラルネットワークの単位と層を除去するアルゴリズムを導入する。
論文 参考訳(メタデータ) (2020-01-01T15:04:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。