論文の概要: Discrete Function Bases and Convolutional Neural Networks
- arxiv url: http://arxiv.org/abs/2103.05609v1
- Date: Tue, 9 Mar 2021 18:30:13 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-10 14:41:18.914197
- Title: Discrete Function Bases and Convolutional Neural Networks
- Title（参考訳）: 離散関数ベースと畳み込みニューラルネットワーク
- Authors: Andreas St\"ockel
- Abstract要約: レジェンド遅延ネットワーク(LDN)から派生した離散基底に特に焦点をあてた「離散関数ベース」について議論する。
遅延計算タスクにおけるこれらのベースの性能と,ニューラルネットワークにおける定時的畳み込みを特徴づける。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We discuss the notion of "discrete function bases" with a particular focus on
the discrete basis derived from the Legendre Delay Network (LDN). We
characterize the performance of these bases in a delay computation task, and as
fixed temporal convolutions in neural networks. Networks using fixed temporal
convolutions are conceptually simple and yield state-of-the-art results in
tasks such as psMNIST.
Main Results
(1) We present a numerically stable algorithm for constructing a matrix of
DLOPs L in O(qN)
(2) The Legendre Delay Network (LDN) can be used to form a discrete function
basis with a basis transformation matrix H in O(qN).
(3) If q < 300, convolving with the LDN basis online has a lower run-time
complexity than convolving with arbitrary FIR filters.
(4) Sliding window transformations exist for some bases (Haar, cosine,
Fourier) and require O(q) operations per sample and O(N) memory.
(5) LTI systems similar to the LDN can be constructed for many discrete
function bases; the LDN system is superior in terms of having a finite impulse
response.
(6) We compare discrete function bases by linearly decoding delays from
signals represented with respect to these bases. Results are depicted in Figure
20. Overall, decoding errors are similar. The LDN basis has the highest and the
Fourier and cosine bases have the smallest errors.
(7) The Fourier and cosine bases feature a uniform decoding error for all
delays. These bases should be used if the signal can be represented well in the
Fourier domain.
(8) Neural network experiments suggest that fixed temporal convolutions can
outperform learned convolutions. The basis choice is not critical; we roughly
observe the same performance trends as in the delay task.
(9) The LDN is the right choice for small q, if the O(q) Euler update is
feasible, and if the low O(q) memory requirement is of importance.
- Abstract（参考訳）: レジェンド遅延ネットワーク(LDN)から派生した離散基底に特に焦点をあてた「離散関数ベース」の概念について議論する。
遅延計算タスクにおけるこれらのベースの性能と,ニューラルネットワークにおける定時的畳み込みを特徴づける。
定時的畳み込みを用いたネットワークは概念的に単純であり、psMNISTのようなタスクで最先端の結果をもたらす。
主な結果(1) O(qN) において DLOPs L の行列を構成するための数値的に安定なアルゴリズムを提案する(2) 伝説遅延ネットワーク (LDN) は O(qN) において基底変換行列 H を用いて離散関数基底を形成することができる。
(3) q < 300 が LDN ベースとオンラインに結びつく場合、任意の FIR フィルタと結びつくよりもランタイムの複雑さが低い。
(4) いくつかの基底(Haar, cosine, Fourier)に対してスライディングウィンドウ変換が存在し、サンプル当たりのO(q)演算とO(N)メモリを必要とする。
(5) LDNに類似したLTI系は、多くの離散関数基底に対して構築できるが、LDN系は有限インパルス応答の点で優れている。
(6)これらのベースに対して表現された信号から遅延を線形に復号して離散関数ベースを比較する。
結果は図20に示します。
全体として、デコードエラーは似ている。
LDNベースは最高であり、フーリエベースとコサインベースは最小の誤差を有する。
(7) フーリエおよびコサインベースは、すべての遅延に対して均一な復号誤差を特徴とする。
これらのベースは、信号がフーリエ領域でうまく表現できれば使用するべきです。
(8) ニューラルネットワーク実験は、時間的畳み込みが学習された畳み込みよりも優れることを示唆している。
基本的な選択は重要ではありません。遅延タスクと同じパフォーマンストレンドを概観しています。
(9)LDNは小さい q に対して正しい選択であり、O(q) Euler の更新が実現可能であり、低い O(q) メモリ要求が重要である場合である。
関連論文リスト
- Non-convolutional Graph Neural Networks [46.79328529882998]
畳み込み演算子を完全に含まない単純なグラフ学習モジュールを設計し、RUMニューラルネットワークを用いたランダムウォークを作成した。
RUMは競合する性能を実現するが、より堅牢で、メモリ効率が高く、スケーラブルで、最も単純な畳み込みGNNよりも高速である。
論文 参考訳（メタデータ） (2024-07-31T21:29:26Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳（メタデータ） (2023-05-30T19:37:44Z) - Versatile Neural Processes for Learning Implicit Neural Representations [57.090658265140384]
本稿では,近似関数の能力を大幅に向上させるVersatile Neural Processs (VNP)を提案する。
具体的には、より少ない情報的コンテキストトークンを生成するボトルネックエンコーダを導入し、高い計算コストを軽減した。
提案したVNPが1D, 2D, 3D信号を含む様々なタスクに対して有効であることを示す。
論文 参考訳（メタデータ） (2023-01-21T04:08:46Z) - Implementing Neural Network-Based Equalizers in a Coherent Optical
Transmission System Using Field-Programmable Gate Arrays [3.1543509940301946]
我々は、コヒーレント光伝送システムにおける非線形性補償のための、リカレントおよびフィードフォワードニューラルネットワーク(NN)ベースの等化器のオフラインFPGA実現について述べる。
主な結果は、性能比較、アクティベーション関数の実装方法の分析、ハードウェアの複雑さに関するレポートの3つに分けられる。
論文 参考訳（メタデータ） (2022-12-09T07:28:45Z) - Neural Basis Functions for Accelerating Solutions to High Mach Euler
Equations [63.8376359764052]
ニューラルネットワークを用いた偏微分方程式(PDE)の解法を提案する。
ニューラルネットワークの集合を縮小順序 Proper Orthogonal Decomposition (POD) に回帰する。
これらのネットワークは、所定のPDEのパラメータを取り込み、PDEに還元順序近似を計算する分岐ネットワークと組み合わせて使用される。
論文 参考訳（メタデータ） (2022-08-02T18:27:13Z) - Functional Regularization for Reinforcement Learning via Learned Fourier
Features [98.90474131452588]
本稿では、入力を学習されたフーリエベースに埋め込むことにより、深層強化学習のための簡単なアーキテクチャを提案する。
その結果、状態ベースと画像ベースの両方のRLのサンプル効率が向上することがわかった。
論文 参考訳（メタデータ） (2021-12-06T18:59:52Z) - Space-Time Graph Neural Networks [104.55175325870195]
本研究では、時空間グラフニューラルネットワーク(ST-GNN)を導入し、時間変動ネットワークデータの時空間トポロジを共同処理する。
解析の結果,システムのネットワークトポロジと時間進化の変動はST-GNNの性能に大きく影響しないことがわかった。
論文 参考訳（メタデータ） (2021-10-06T16:08:44Z) - Breaking the Limits of Message Passing Graph Neural Networks [6.175401630947573]
グラフニューラルネットワーク(MPNN)は、スパースグラフに適用する場合のノード数に関して線形複雑である。
本稿では, 固有値の非線形なカスタム関数により, グラフ畳み込みサポートがスペクトル領域で設計されている場合, MPNNは1-WLテストよりも理論的に強力であることを示す。
論文 参考訳（メタデータ） (2021-06-08T13:26:56Z) - CDiNN -Convex Difference Neural Networks [0.8122270502556374]
reluアクティベーション関数を持つニューラルネットワークは、普遍関数近似が非スムース関数として関数マッピングを学ぶことが示されている。
ICNNと呼ばれる新しいニューラルネットワークアーキテクチャは、凸入力として出力を学習する。
論文 参考訳（メタデータ） (2021-03-31T17:31:16Z) - Learning to Solve the AC-OPF using Sensitivity-Informed Deep Neural
Networks [52.32646357164739]
最適な電力フロー(ACOPF)のソリューションを解決するために、ディープニューラルネットワーク(DNN)を提案します。
提案されたSIDNNは、幅広いOPFスキームと互換性がある。
他のLearning-to-OPFスキームとシームレスに統合できる。
論文 参考訳（メタデータ） (2021-03-27T00:45:23Z) - A Neural Network Approach for Online Nonlinear Neyman-Pearson
Classification [3.6144103736375857]
論文の中では,オンラインと非線形の両方で初となる新しいNeyman-Pearson(NP)分類器を提案する。
提案する分類器は、オンライン方式でバイナリラベル付きデータストリーム上で動作し、ユーザが指定し、制御可能な偽陽性率の検出能力を最大化する。
提案アルゴリズムは大規模データアプリケーションに適しており,実時間処理による偽陽性率制御性を実現している。
論文 参考訳（メタデータ） (2020-06-14T20:00:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。