Fugu-MT 論文翻訳(概要): Why Shallow Networks Struggle with Approximating and Learning High Frequency: A Numerical Study

論文の概要: Why Shallow Networks Struggle with Approximating and Learning High Frequency: A Numerical Study

arxiv url: http://arxiv.org/abs/2306.17301v2
Date: Tue, 21 Nov 2023 23:42:55 GMT
ステータス: 処理完了
システム内更新日: 2023-11-23 18:53:36.730021
Title: Why Shallow Networks Struggle with Approximating and Learning High Frequency: A Numerical Study
Title（参考訳）: 浅層ネットワークが高周波の近似と学習に苦戦する理由:数値的研究
Authors: Shijun Zhang, Hongkai Zhao, Yimin Zhong, Haomin Zhou
Abstract要約: 2層ニューラルネットワークは近似と学習において高周波を扱うのが難しい。以下の基本的な計算問題について検討する。上記の質問に対して,数値的な検証を施した明示的な回答を提示する。
参考スコア（独自算出の注目度）: 10.596160761674703
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this work, a comprehensive numerical study involving analysis and experiments shows why a two-layer neural network has difficulties handling high frequencies in approximation and learning when machine precision and computation cost are important factors in real practice. In particular, the following basic computational issues are investigated: (1) the minimal numerical error one can achieve given a finite machine precision, (2) the computation cost to achieve a given accuracy, and (3) stability with respect to perturbations. The key to the study is the conditioning of the representation and its learning dynamics. Explicit answers to the above questions with numerical verifications are presented.
Abstract（参考訳）: 本研究では,解析と実験を含む包括的数値実験により,機械の精度と計算コストが実運用において重要な要因である場合の近似と学習において,2層ニューラルネットワークが高周波数を扱うのになぜ困難かを示す。特に,(1)有限機械精度で達成できる最小の数値誤差,(2)精度を達成する計算コスト,(3)摂動に対する安定性,といった基本的な計算問題について検討した。この研究の鍵は、表現の条件付けとその学習ダイナミクスにある。上記の質問に対して,数値的な検証を行う。

関連論文リスト

Predicting Probabilities of Error to Combine Quantization and Early Exiting: QuEE [68.6018458996143]
本稿では,量子化と早期出口動的ネットワークを組み合わせたより一般的な動的ネットワークQuEEを提案する。我々のアルゴリズムは、ソフトアーリーエグジットや入力依存圧縮の一形態と見なすことができる。提案手法の重要な要素は、さらなる計算によって実現可能な潜在的な精度向上の正確な予測である。
論文参考訳（メタデータ） (2024-06-20T15:25:13Z)
On Robust Numerical Solver for ODE via Self-Attention Mechanism [82.95493796476767]
我々は,内在性雑音障害を緩和し,AIによって強化された数値解法を,データサイズを小さくする訓練について検討する。まず,教師付き学習における雑音を制御するための自己認識機構の能力を解析し,さらに微分方程式の数値解に付加的な自己認識機構を導入し,簡便かつ有効な数値解法であるAttrを提案する。
論文参考訳（メタデータ） (2023-02-05T01:39:21Z)
A two stages Deep Learning Architecture for Model Reduction of Parametric Time-Dependent Problems [0.0]
パラメトリックな時間依存システムは、実現象をモデル化する上で非常に重要である。本稿では,低計算時間でその一般化を実現するための一般的な2段階のディープラーニングフレームワークを提案する。その結果, キャビティ内における非圧縮性ナビエ・ストークス方程式に適用した。
論文参考訳（メタデータ） (2023-01-24T11:24:18Z)
Correlation between entropy and generalizability in a neural network [9.223853439465582]
We use Wang-Landau Mote Carlo algorithm to compute the entropy at a specified test accuracy。この結果から,エントロピック力は一般化に有効であることが示唆された。
論文参考訳（メタデータ） (2022-07-05T12:28:13Z)
A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文参考訳（メタデータ） (2021-04-29T14:31:09Z)
A Survey of Quantization Methods for Efficient Neural Network Inference [75.55159744950859]
量子化は、必要なビット数を最小限に抑えるために、固定された離散数の集合に連続実数値を分散する問題である。近年、コンピュータビジョン、自然言語処理、関連分野でのニューラルネットワークモデルの顕著な性能のために最前線に達しています。浮動小数点表現から4ビット以下の低精度固定整数値への移行は、メモリフットプリントとレイテンシを16倍削減する可能性を秘めている。
論文参考訳（メタデータ） (2021-03-25T06:57:11Z)
Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
論文参考訳（メタデータ） (2020-09-08T13:26:51Z)
Active Importance Sampling for Variational Objectives Dominated by Rare Events: Consequences for Optimization and Generalization [12.617078020344618]
本稿では,レアイベントサンプリング手法とニューラルネットワーク最適化を組み合わせて,レアイベントに支配される目的関数を最適化する手法を提案する。重要度サンプリングは学習問題に対する解の分散を減少させ,一般化の利点を示唆することを示す。数値実験により,高次元データと希少データの複合化が困難である場合でも,学習を成功させることができた。
論文参考訳（メタデータ） (2020-08-11T23:38:09Z)
Vulnerability Under Adversarial Machine Learning: Bias or Variance? [77.30759061082085]
本研究では,機械学習が訓練された深層ニューラルネットワークのバイアスと分散に与える影響について検討する。我々の分析は、ディープニューラルネットワークが対向的摂動下で性能が劣っている理由に光を当てている。本稿では,計算処理の複雑さをよく知られた機械学習手法よりも低く抑えた,新しい逆機械学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-08-01T00:58:54Z)
Machine Learning to Tackle the Challenges of Transient and Soft Errors in Complex Circuits [0.16311150636417257]
機械学習モデルは、回路インスタンスの完全なリストに対して、インスタンスごとの正確な関数デレートデータを予測するために使用される。提案手法を実例に適用し,各種機械学習モデルの評価と比較を行った。
論文参考訳（メタデータ） (2020-02-18T18:38:54Z)
Relational Neural Machines [19.569025323453257]
本稿では,学習者のパラメータと一階論理に基づく推論を共同で学習するフレームワークを提案する。ニューラルネットワークは、純粋な準記号学習の場合の古典的な学習結果とマルコフ論理ネットワークの両方を復元することができる。適切なアルゴリズム解は、大規模な問題において学習と推論が引き出すことができるように考案されている。
論文参考訳（メタデータ） (2020-02-06T10:53:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。