Fugu-MT 論文翻訳(概要): Why Shallow Networks Struggle to Approximate and Learn High Frequencies

論文の概要: Why Shallow Networks Struggle to Approximate and Learn High Frequencies

arxiv url: http://arxiv.org/abs/2306.17301v3
Date: Tue, 03 Jun 2025 16:30:07 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-05 04:22:50.299423
Title: Why Shallow Networks Struggle to Approximate and Learn High Frequencies
Title（参考訳）: 浅層ネットワークが高頻度で近似と学習に頑丈な理由
Authors: Shijun Zhang, Hongkai Zhao, Yimin Zhong, Haomin Zhou,
Abstract要約: 2層ニューラルネットワークは近似と学習の両方において高い周波数を扱うのに苦労していることを示す。具体的には,以下の基本的な計算問題について考察する。
参考スコア（独自算出の注目度）: 9.699640804685629
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this work, we present a comprehensive study combining mathematical and computational analysis to explain why a two-layer neural network struggles to handle high frequencies in both approximation and learning, especially when machine precision, numerical noise, and computational cost are significant factors in practice. Specifically, we investigate the following fundamental computational issues: (1) the minimal numerical error achievable under finite precision, (2) the computational cost required to attain a given accuracy, and (3) the stability of the method with respect to perturbations. The core of our analysis lies in the conditioning of the representation and its learning dynamics. Explicit answers to these questions are provided, along with supporting numerical evidence.
Abstract（参考訳）: 本稿では,2層ニューラルネットワークが近似と学習の両方において高い周波数を扱うのに苦労する理由を説明するために,数学的および計算的分析を組み合わせた総合的研究について述べる。具体的には,(1)有限精度で達成可能な最小の数値誤差,(2)所定の精度を達成するために必要な計算コスト,(3)摂動に対する手法の安定性について検討する。我々の分析の核は表現の条件付けとその学習力学にある。これらの質問に対する明確な回答が提供され、数値的な証拠が裏付けられている。

関連論文リスト

On Hardening DNNs against Noisy Computations [5.975221928631025]
本研究では,雑音に対するロバスト性を高めるために,量子化を用いたニューラルネットワークのトレーニングの有効性について検討する。我々は,これらの手法を,推論中に発生する雑音を模倣するトレーニング中にノイズ注入を組み込んだノイズ訓練と比較した。
論文参考訳（メタデータ） (2025-01-24T14:37:24Z)
Predicting Probabilities of Error to Combine Quantization and Early Exiting: QuEE [68.6018458996143]
本稿では,量子化と早期出口動的ネットワークを組み合わせたより一般的な動的ネットワークQuEEを提案する。我々のアルゴリズムは、ソフトアーリーエグジットや入力依存圧縮の一形態と見なすことができる。提案手法の重要な要素は、さらなる計算によって実現可能な潜在的な精度向上の正確な予測である。
論文参考訳（メタデータ） (2024-06-20T15:25:13Z)
On Robust Numerical Solver for ODE via Self-Attention Mechanism [82.95493796476767]
我々は,内在性雑音障害を緩和し,AIによって強化された数値解法を,データサイズを小さくする訓練について検討する。まず,教師付き学習における雑音を制御するための自己認識機構の能力を解析し,さらに微分方程式の数値解に付加的な自己認識機構を導入し,簡便かつ有効な数値解法であるAttrを提案する。
論文参考訳（メタデータ） (2023-02-05T01:39:21Z)
A two stages Deep Learning Architecture for Model Reduction of Parametric Time-Dependent Problems [0.0]
パラメトリックな時間依存システムは、実現象をモデル化する上で非常に重要である。本稿では,低計算時間でその一般化を実現するための一般的な2段階のディープラーニングフレームワークを提案する。その結果, キャビティ内における非圧縮性ナビエ・ストークス方程式に適用した。
論文参考訳（メタデータ） (2023-01-24T11:24:18Z)
Correlation between entropy and generalizability in a neural network [9.223853439465582]
We use Wang-Landau Mote Carlo algorithm to compute the entropy at a specified test accuracy。この結果から,エントロピック力は一般化に有効であることが示唆された。
論文参考訳（メタデータ） (2022-07-05T12:28:13Z)
Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness [68.97830259849086]
ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
論文参考訳（メタデータ） (2021-10-21T07:28:11Z)
A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文参考訳（メタデータ） (2021-04-29T14:31:09Z)
A Survey of Quantization Methods for Efficient Neural Network Inference [75.55159744950859]
量子化は、必要なビット数を最小限に抑えるために、固定された離散数の集合に連続実数値を分散する問題である。近年、コンピュータビジョン、自然言語処理、関連分野でのニューラルネットワークモデルの顕著な性能のために最前線に達しています。浮動小数点表現から4ビット以下の低精度固定整数値への移行は、メモリフットプリントとレイテンシを16倍削減する可能性を秘めている。
論文参考訳（メタデータ） (2021-03-25T06:57:11Z)
Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
論文参考訳（メタデータ） (2020-09-08T13:26:51Z)
Active Importance Sampling for Variational Objectives Dominated by Rare Events: Consequences for Optimization and Generalization [12.617078020344618]
本稿では,レアイベントサンプリング手法とニューラルネットワーク最適化を組み合わせて,レアイベントに支配される目的関数を最適化する手法を提案する。重要度サンプリングは学習問題に対する解の分散を減少させ,一般化の利点を示唆することを示す。数値実験により,高次元データと希少データの複合化が困難である場合でも,学習を成功させることができた。
論文参考訳（メタデータ） (2020-08-11T23:38:09Z)
Vulnerability Under Adversarial Machine Learning: Bias or Variance? [77.30759061082085]
本研究では,機械学習が訓練された深層ニューラルネットワークのバイアスと分散に与える影響について検討する。我々の分析は、ディープニューラルネットワークが対向的摂動下で性能が劣っている理由に光を当てている。本稿では,計算処理の複雑さをよく知られた機械学習手法よりも低く抑えた,新しい逆機械学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-08-01T00:58:54Z)
Machine Learning to Tackle the Challenges of Transient and Soft Errors in Complex Circuits [0.16311150636417257]
機械学習モデルは、回路インスタンスの完全なリストに対して、インスタンスごとの正確な関数デレートデータを予測するために使用される。提案手法を実例に適用し,各種機械学習モデルの評価と比較を行った。
論文参考訳（メタデータ） (2020-02-18T18:38:54Z)
Relational Neural Machines [19.569025323453257]
本稿では,学習者のパラメータと一階論理に基づく推論を共同で学習するフレームワークを提案する。ニューラルネットワークは、純粋な準記号学習の場合の古典的な学習結果とマルコフ論理ネットワークの両方を復元することができる。適切なアルゴリズム解は、大規模な問題において学習と推論が引き出すことができるように考案されている。
論文参考訳（メタデータ） (2020-02-06T10:53:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。