Fugu-MT 論文翻訳(概要): Nearly Optimal VC-Dimension and Pseudo-Dimension Bounds for Deep Neural Network Derivatives

論文の概要: Nearly Optimal VC-Dimension and Pseudo-Dimension Bounds for Deep Neural Network Derivatives

arxiv url: http://arxiv.org/abs/2305.08466v1
Date: Mon, 15 May 2023 09:10:12 GMT
ステータス: 処理完了
システム内更新日: 2023-05-16 15:22:32.102701
Title: Nearly Optimal VC-Dimension and Pseudo-Dimension Bounds for Deep Neural Network Derivatives
Title（参考訳）: ディープニューラルネットワーク導波路におけるほぼ最適VC次元と擬似次元境界
Authors: Yahong Yang, Haizhao Yang, Yang Xiang
Abstract要約: 本稿では, ほぼ最適なVapnik-Chervonenkis次元(VC次元)の問題とディープニューラルネットワーク(DNN)の導関数の擬次元推定について述べる。この2つの重要な応用は,1) ソボレフ空間におけるDNNのほぼ密近似値の確立,2) 関数導関数を含む損失関数を持つ機械学習手法の一般化誤差のキャラクタリゼーションである。
参考スコア（独自算出の注目度）: 13.300625539460217
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper addresses the problem of nearly optimal Vapnik--Chervonenkis dimension (VC-dimension) and pseudo-dimension estimations of the derivative functions of deep neural networks (DNNs). Two important applications of these estimations include: 1) Establishing a nearly tight approximation result of DNNs in the Sobolev space; 2) Characterizing the generalization error of machine learning methods with loss functions involving function derivatives. This theoretical investigation fills the gap of learning error estimations for a wide range of physics-informed machine learning models and applications including generative models, solving partial differential equations, operator learning, network compression, distillation, regularization, etc.
Abstract（参考訳）: 本稿では,ほぼ最適なVapnik-Chervonenkis次元(VC次元)の問題とディープニューラルネットワーク(DNN)の導関数の擬次元推定について述べる。これらの推定の2つの重要な応用は以下のとおりである。 1) ソボレフ空間におけるDNNのほぼ緊密な近似結果の確立 2) 関数導関数を含む損失関数を含む機械学習手法の一般化誤差を特徴付ける。この理論的研究は、生成モデル、偏微分方程式の解法、演算子学習、ネットワーク圧縮、蒸留、正規化などを含む、幅広い物理インフォームド機械学習モデルと応用のための学習誤差推定のギャップを埋めるものである。

関連論文リスト

DimOL: Dimensional Awareness as A New 'Dimension' in Operator Learning [63.5925701087252]
本稿では,DimOL(Dimension-aware Operator Learning)を紹介し,次元解析から洞察を得る。 DimOLを実装するために,FNOおよびTransformerベースのPDEソルバにシームレスに統合可能なProdLayerを提案する。経験的に、DimOLモデルはPDEデータセット内で最大48%のパフォーマンス向上を達成する。
論文参考訳（メタデータ） (2024-10-08T10:48:50Z)
Nonlinear functional regression by functional deep neural network with kernel embedding [20.306390874610635]
本稿では,効率的かつ完全なデータ依存型次元減少法を備えた機能的ディープニューラルネットワークを提案する。機能ネットのアーキテクチャは、カーネル埋め込みステップ、プロジェクションステップ、予測のための深いReLUニューラルネットワークで構成される。スムーズなカーネル埋め込みを利用することで、我々の関数ネットは離散化不変であり、効率的で、頑健でノイズの多い観測が可能となる。
論文参考訳（メタデータ） (2024-01-05T16:43:39Z)
NeuralStagger: Accelerating Physics-constrained Neural PDE Solver with Spatial-temporal Decomposition [67.46012350241969]
本稿では,NeuralStaggerと呼ばれる一般化手法を提案する。元の学習タスクをいくつかの粗い解像度のサブタスクに分解する。本稿では,2次元および3次元流体力学シミュレーションにおけるNeuralStaggerの適用例を示す。
論文参考訳（メタデータ） (2023-02-20T19:36:52Z)
Certified machine learning: Rigorous a posteriori error bounds for PDE defined PINNs [0.0]
本稿では,物理インフォームドニューラルネットワークの予測誤差に関する厳密な上限を示す。これを輸送方程式、熱方程式、ナビエ・ストークス方程式、クライン・ゴルドン方程式の4つの問題に適用する。
論文参考訳（メタデータ） (2022-10-07T09:49:18Z)
Learning Physics-Informed Neural Networks without Stacked Back-propagation [82.26566759276105]
我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
論文参考訳（メタデータ） (2022-02-18T18:07:54Z)
Multigoal-oriented dual-weighted-residual error estimation using deep neural networks [0.0]
ディープラーニングは、関数を近似する柔軟性の高い強力なツールだと考えられている。提案手法は,誤差の局所化に付随する問題を解く後続誤差推定法に基づく。複数のゴール関数に対する後方誤差推定を得るために,効率的で実装が容易なアルゴリズムを開発した。
論文参考訳（メタデータ） (2021-12-21T16:59:44Z)
Characterizing possible failure modes in physics-informed neural networks [55.83255669840384]
科学機械学習における最近の研究は、いわゆる物理情報ニューラルネットワーク(PINN)モデルを開発した。既存のPINN方法論は比較的自明な問題に対して優れたモデルを学ぶことができるが、単純なPDEであっても、関連する物理現象を学習するのに失敗する可能性があることを実証する。これらの障害モードは,NNアーキテクチャの表現力の欠如によるものではなく,PINNのセットアップによって損失状況の最適化が極めて困難であることを示す。
論文参考訳（メタデータ） (2021-09-02T16:06:45Z)
Neural Network Approximations of Compositional Functions With Applications to Dynamical Systems [3.660098145214465]
我々は,合成関数とそのニューラルネットワーク近似の近似理論を開発した。構成関数の重要な特徴の集合と,ニューラルネットワークの特徴と複雑性の関係を同定する。関数近似に加えて、ニューラルネットワークの誤差上限の式もいくつか証明する。
論文参考訳（メタデータ） (2020-12-03T04:40:25Z)
Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
論文参考訳（メタデータ） (2020-09-08T13:26:51Z)
Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文参考訳（メタデータ） (2020-06-16T21:56:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。