Fugu-MT 論文翻訳(概要): Why Shallow Networks Struggle with Approximating and Learning High Frequency: A Numerical Study

論文の概要: Why Shallow Networks Struggle with Approximating and Learning High Frequency: A Numerical Study

arxiv url: http://arxiv.org/abs/2306.17301v1
Date: Thu, 29 Jun 2023 20:58:48 GMT
ステータス: 処理完了
システム内更新日: 2023-07-03 14:03:54.529320
Title: Why Shallow Networks Struggle with Approximating and Learning High Frequency: A Numerical Study
Title（参考訳）: 浅層ネットワークが高周波の近似と学習に苦戦する理由:数値的研究
Authors: Shijun Zhang, Hongkai Zhao, Yimin Zhong, Haomin Zhou
Abstract要約: この研究は、2層ニューラルネットワークが近似と学習において高い周波数を扱うのが難しい理由を示している。以下の基本的な計算問題について検討する。
参考スコア（独自算出の注目度）: 7.561644259011082
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this work, a comprehensive numerical study involving analysis and experiments shows why a two-layer neural network has difficulties handling high frequencies in approximation and learning when machine precision and computation cost are important factors in real practice. In particular, the following fundamental computational issues are investigated: (1) the best accuracy one can achieve given a finite machine precision, (2) the computation cost to achieve a given accuracy, and (3) stability with respect to perturbations. The key to the study is the spectral analysis of the corresponding Gram matrix of the activation functions which also shows how the properties of the activation function play a role in the picture.
Abstract（参考訳）: 本研究では,解析と実験を含む包括的数値実験により,機械の精度と計算コストが実運用において重要な要因である場合の近似と学習において,2層ニューラルネットワークが高周波数を扱うのになぜ困難かを示す。特に,(1)有限の機械精度を得られる最良の精度,(2)与えられた精度を達成するための計算コスト,(3)摂動に対する安定性など,基本的な計算問題について検討した。この研究の鍵は、活性化関数の対応するグラム行列のスペクトル解析であり、また、活性化関数の性質が画像にどのように作用するかを示す。

関連論文リスト

On Hardening DNNs against Noisy Computations [5.975221928631025]
本研究では,雑音に対するロバスト性を高めるために,量子化を用いたニューラルネットワークのトレーニングの有効性について検討する。我々は,これらの手法を,推論中に発生する雑音を模倣するトレーニング中にノイズ注入を組み込んだノイズ訓練と比較した。
論文参考訳（メタデータ） (2025-01-24T14:37:24Z)
Predicting Probabilities of Error to Combine Quantization and Early Exiting: QuEE [68.6018458996143]
本稿では,量子化と早期出口動的ネットワークを組み合わせたより一般的な動的ネットワークQuEEを提案する。我々のアルゴリズムは、ソフトアーリーエグジットや入力依存圧縮の一形態と見なすことができる。提案手法の重要な要素は、さらなる計算によって実現可能な潜在的な精度向上の正確な予測である。
論文参考訳（メタデータ） (2024-06-20T15:25:13Z)
A two stages Deep Learning Architecture for Model Reduction of Parametric Time-Dependent Problems [0.0]
パラメトリックな時間依存システムは、実現象をモデル化する上で非常に重要である。本稿では,低計算時間でその一般化を実現するための一般的な2段階のディープラーニングフレームワークを提案する。その結果, キャビティ内における非圧縮性ナビエ・ストークス方程式に適用した。
論文参考訳（メタデータ） (2023-01-24T11:24:18Z)
Correlation between entropy and generalizability in a neural network [9.223853439465582]
We use Wang-Landau Mote Carlo algorithm to compute the entropy at a specified test accuracy。この結果から,エントロピック力は一般化に有効であることが示唆された。
論文参考訳（メタデータ） (2022-07-05T12:28:13Z)
Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness [68.97830259849086]
ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
論文参考訳（メタデータ） (2021-10-21T07:28:11Z)
A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文参考訳（メタデータ） (2021-04-29T14:31:09Z)
A Survey of Quantization Methods for Efficient Neural Network Inference [75.55159744950859]
量子化は、必要なビット数を最小限に抑えるために、固定された離散数の集合に連続実数値を分散する問題である。近年、コンピュータビジョン、自然言語処理、関連分野でのニューラルネットワークモデルの顕著な性能のために最前線に達しています。浮動小数点表現から4ビット以下の低精度固定整数値への移行は、メモリフットプリントとレイテンシを16倍削減する可能性を秘めている。
論文参考訳（メタデータ） (2021-03-25T06:57:11Z)
Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
論文参考訳（メタデータ） (2020-09-08T13:26:51Z)
Active Importance Sampling for Variational Objectives Dominated by Rare Events: Consequences for Optimization and Generalization [12.617078020344618]
本稿では,レアイベントサンプリング手法とニューラルネットワーク最適化を組み合わせて,レアイベントに支配される目的関数を最適化する手法を提案する。重要度サンプリングは学習問題に対する解の分散を減少させ,一般化の利点を示唆することを示す。数値実験により,高次元データと希少データの複合化が困難である場合でも,学習を成功させることができた。
論文参考訳（メタデータ） (2020-08-11T23:38:09Z)
Vulnerability Under Adversarial Machine Learning: Bias or Variance? [77.30759061082085]
本研究では,機械学習が訓練された深層ニューラルネットワークのバイアスと分散に与える影響について検討する。我々の分析は、ディープニューラルネットワークが対向的摂動下で性能が劣っている理由に光を当てている。本稿では,計算処理の複雑さをよく知られた機械学習手法よりも低く抑えた,新しい逆機械学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-08-01T00:58:54Z)
Relational Neural Machines [19.569025323453257]
本稿では,学習者のパラメータと一階論理に基づく推論を共同で学習するフレームワークを提案する。ニューラルネットワークは、純粋な準記号学習の場合の古典的な学習結果とマルコフ論理ネットワークの両方を復元することができる。適切なアルゴリズム解は、大規模な問題において学習と推論が引き出すことができるように考案されている。
論文参考訳（メタデータ） (2020-02-06T10:53:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。