論文の概要: Are Statistical Methods Obsolete in the Era of Deep Learning?

• arxiv url: http://arxiv.org/abs/2505.21723v1
• Date: Tue, 27 May 2025 20:11:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.266998
• Title: Are Statistical Methods Obsolete in the Era of Deep Learning?
• Title（参考訳）: 統計的手法は深層学習の時代に不完全か?
• Authors: Skyler Wu, Shihao Yang, S. C. Kou,
• Abstract要約: AIの時代、ニューラルネットワークはモデリング、推論、予測においてますます人気が高まっている。 このような深層学習モデルの普及に伴い、疑問が持ち上がる: よりリーンな統計手法はいまだに重要なのか? 統計的手法は,特にスパース観測やノイズ観測では,時代遅れには程遠い。
• 参考スコア（独自算出の注目度）: 0.8329456268842228
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the era of AI, neural networks have become increasingly popular for modeling, inference, and prediction, largely due to their potential for universal approximation. With the proliferation of such deep learning models, a question arises: are leaner statistical methods still relevant? To shed insight on this question, we employ the mechanistic nonlinear ordinary differential equation (ODE) inverse problem as a testbed, using physics-informed neural network (PINN) as a representative of the deep learning paradigm and manifold-constrained Gaussian process inference (MAGI) as a representative of statistically principled methods. Through case studies involving the SEIR model from epidemiology and the Lorenz model from chaotic dynamics, we demonstrate that statistical methods are far from obsolete, especially when working with sparse and noisy observations. On tasks such as parameter inference and trajectory reconstruction, statistically principled methods consistently achieve lower bias and variance, while using far fewer parameters and requiring less hyperparameter tuning. Statistical methods can also decisively outperform deep learning models on out-of-sample future prediction, where the absence of relevant data often leads overparameterized models astray. Additionally, we find that statistically principled approaches are more robust to accumulation of numerical imprecision and can represent the underlying system more faithful to the true governing ODEs.
• Abstract（参考訳）: AIの時代、ニューラルネットワークはモデリング、推論、予測においてますます人気が高まっている。 このような深層学習モデルの普及に伴い、疑問が持ち上がる: よりリーンな統計手法はいまだに重要なのか? この問題を解くために、我々は、物理情報ニューラルネットワーク(PINN)を深層学習パラダイムの代表として、統計学的に原理化された手法の代表として、力学非線形常微分方程式(ODE)逆問題(ODE)をテストベッドとして用いた。 疫学からのSEIRモデルとカオス力学からのロレンツモデルを含むケーススタディを通じて、統計学的手法は、特にスパース観測やノイズ観測において、決して時代遅れではないことを示した。 パラメータ推論や軌道再構成のようなタスクでは、統計的に原則化された手法は、パラメータをはるかに少なくし、ハイパーパラメータチューニングを少なくしながら、バイアスと分散を一貫して達成する。 統計的手法は、しばしば過度にパラメータ化されたモデルアストレイを導くような、サンプル外の将来の予測において、ディープラーニングモデルよりも決定的に優れている。 さらに、統計的に原理化されたアプローチは数値的な不正確さの蓄積に対してより堅牢であり、真に支配的なODEに忠実な基盤となるシステムを表現することができる。

関連論文リスト

• Bayesian Model Parameter Learning in Linear Inverse Problems with Application in EEG Focal Source Imaging [49.1574468325115]
  逆問題は、関心のシグナルを直接観測できない限定データ問題として記述することができる。 未知の非線形モデルパラメータを含む線形逆問題について検討した。 ベイズモデルに基づく学習手法を用いて,信号の回復とモデルパラメータの推定を行った。
  論文  参考訳（メタデータ） (2025-01-07T18:14:24Z)
• How Inverse Conditional Flows Can Serve as a Substitute for Distributional Regression [2.9873759776815527]
  逆流変換(DRIFT)を用いた分布回帰の枠組みを提案する。 DRIFTは解釈可能な統計モデルと柔軟なニューラルネットワークの両方をカバーする。
  論文  参考訳（メタデータ） (2024-05-08T21:19:18Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• Capturing dynamical correlations using implicit neural representations [85.66456606776552]
  実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。 そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
  論文  参考訳（メタデータ） (2023-04-08T07:55:36Z)
• Neural parameter calibration for large-scale multi-agent models [0.7734726150561089]
  本稿では,ニューラルネットワークを用いてパラメータの精度の高い確率密度を求める手法を提案する。 2つの組み合わせは、非常に大きなシステムであっても、モデルパラメータの密度を素早く見積もることができる強力なツールを作成する。
  論文  参考訳（メタデータ） (2022-09-27T17:36:26Z)
• On the Influence of Enforcing Model Identifiability on Learning dynamics of Gaussian Mixture Models [14.759688428864159]
  特異モデルからサブモデルを抽出する手法を提案する。 本手法はトレーニング中のモデルの識別性を強制する。 この手法がディープニューラルネットワークのようなより複雑なモデルにどのように適用できるかを示す。
  論文  参考訳（メタデータ） (2022-06-17T07:50:22Z)
• A Free Lunch with Influence Functions? Improving Neural Network Estimates with Concepts from Semiparametric Statistics [41.99023989695363]
  ニューラルネットワークや機械学習アルゴリズムの改善に使用される半パラメトリック理論の可能性を探る。 本稿では,単一アーキテクチャを用いてアンサンブルの柔軟性と多様性を求めるニューラルネットワーク手法であるMultiNetを提案する。
  論文  参考訳（メタデータ） (2022-02-18T09:35:51Z)
• Distributional Gradient Matching for Learning Uncertain Neural Dynamics Models [38.17499046781131]
  本稿では,数値積分ボトルネックを回避するため,不確実なニューラル・オーダを推定するための新しい手法を提案する。 我々のアルゴリズム - 分布勾配マッチング (DGM) は、よりスムーズなモデルと動的モデルを共同で訓練し、ワッサーシュタイン損失を最小化することでそれらの勾配と一致する。 数値積分に基づく従来の近似推論手法と比較して,我々の手法は訓練がより速く,これまで見つからなかった軌道の予測がより高速であり,ニューラルODEの文脈では,はるかに正確であることがわかった。
  論文  参考訳（メタデータ） (2021-06-22T08:40:51Z)
• Leveraging Global Parameters for Flow-based Neural Posterior Estimation [90.21090932619695]
  実験観測に基づくモデルのパラメータを推定することは、科学的方法の中心である。 特に困難な設定は、モデルが強く不確定であるとき、すなわち、パラメータの異なるセットが同一の観測をもたらすときである。 本稿では,グローバルパラメータを共有する観測の補助的セットによって伝達される付加情報を利用して,その不確定性を破る手法を提案する。
  論文  参考訳（メタデータ） (2021-02-12T12:23:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。