論文の概要: Theory Foundation of Physics-Enhanced Residual Learning
- arxiv url: http://arxiv.org/abs/2509.00348v1
- Date: Sat, 30 Aug 2025 04:08:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-04 15:17:03.189841
- Title: Theory Foundation of Physics-Enhanced Residual Learning
- Title(参考訳): 物理強化残留学習理論の基礎
- Authors: Shixiao Liang, Wang Chen, Keke Long, Peng Zhang, Xiaopeng Li, Jintao Ke,
- Abstract要約: 物理強化残留学習(PERL)と呼ばれる新しいアプローチは、学習を用いて物理モデル予測と基底真理の間の残差を推定することである。
PERLには、(1)必要なニューラルネットワークパラメータの数を減らすこと、(2)より高速な収束率、(3)同じ計算精度に必要なトレーニングサンプルを減らすこと、の3つの利点がある。
本稿では,PERLのこれらの利点を理論的に説明することを目的とする。
- 参考スコア(独自算出の注目度): 11.594229254220053
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Intensive studies have been conducted in recent years to integrate neural networks with physics models to balance model accuracy and interpretability. One recently proposed approach, named Physics-Enhanced Residual Learning (PERL), is to use learning to estimate the residual between the physics model prediction and the ground truth. Numeral examples suggested that integrating such residual with physics models in PERL has three advantages: (1) a reduction in the number of required neural network parameters; (2) faster convergence rates; and (3) fewer training samples needed for the same computational precision. However, these numerical results lack theoretical justification and cannot be adequately explained. This paper aims to explain these advantages of PERL from a theoretical perspective. We investigate a general class of problems with Lipschitz continuity properties. By examining the relationships between the bounds to the loss function and residual learning structure, this study rigorously proves a set of theorems explaining the three advantages of PERL. Several numerical examples in the context of automated vehicle trajectory prediction are conducted to illustrate the proposed theorems. The results confirm that, even with significantly fewer training samples, PERL consistently achieves higher accuracy than a pure neural network. These results demonstrate the practical value of PERL in real world autonomous driving applications where corner case data are costly or hard to obtain. PERL therefore improves predictive performance while reducing the amount of data required.
- Abstract(参考訳): 近年,モデル精度と解釈可能性のバランスをとるために,ニューラルネットワークと物理モデルを統合する研究が盛んに行われている。
最近提案された1つのアプローチは、物理モデル予測と基底真理の間の残差を学習を用いて推定することである。
これらの残差を物理モデルとPERLに組み込むことには、(1)必要なニューラルネットワークパラメータの数を減らすこと、(2)より高速な収束率、(3)同じ計算精度に必要なトレーニングサンプルを減らすこと、の3つの利点がある、という多くの例がある。
しかし、これらの数値結果は理論上の正当化に欠けており、十分に説明できない。
本稿では,PERLのこれらの利点を理論的に説明することを目的とする。
リプシッツ連続性特性の一般的なクラスについて検討する。
本研究は,損失関数と残差学習構造との関係を調べることによって,PERLの3つの利点を説明する定理の集合を厳密に証明する。
自動走行軌道予測の文脈におけるいくつかの数値的な例を,提案した定理を説明するために行った。
結果は、トレーニングサンプルが著しく少ないにもかかわらず、PERLは純粋なニューラルネットワークよりも高い精度を一貫して達成していることを確認した。
これらの結果は、コーナーケースデータが高価または入手困難である実世界の自動運転アプリケーションにおいて、PERLの実用的価値を示すものである。
したがって、PERLは必要なデータ量を減らしながら予測性能を向上させる。
関連論文リスト
- Multiply Robust Conformal Risk Control with Coarsened Data [0.0]
コンフォーマル予測(CP)は近年,膨大な関心を集めている。
本稿では、粗いデータから得られる結果に対して、分布自由な有効予測領域を得るという一般的な問題について考察する。
半パラメトリック理論の原則的利用は、フレキシブルな機械学習手法の促進の鍵となる利点を持つ。
論文 参考訳(メタデータ) (2025-08-21T12:14:44Z) - Statistically guided deep learning [10.619901778151336]
非パラメトリック回帰のための理論的に確立されたディープラーニングアルゴリズムを提案する。
本研究では、最適化、一般化、近似を同時に考慮したディープラーニングの理論解析により、新たなディープラーニング推定結果が得られることを示す。
論文 参考訳(メタデータ) (2025-04-11T12:36:06Z) - A Theoretical Perspective: How to Prevent Model Collapse in Self-consuming Training Loops [55.07063067759609]
高品質なデータは大規模な生成モデルのトレーニングには不可欠だが、オンラインで利用可能な実際のデータの膨大な蓄積はほとんど枯渇している。
モデルは、さらなるトレーニングのために独自のデータを生成し、自己消費訓練ループ(STL)を形成する。
一部のモデルは劣化または崩壊するが、他のモデルはこれらの失敗をうまく回避し、理論的な理解にかなりのギャップを残している。
論文 参考訳(メタデータ) (2025-02-26T06:18:13Z) - Learning Latent Graph Structures and their Uncertainty [63.95971478893842]
点予測損失の最小化は、潜時関係情報の適切な学習を保証するものではないことを示す。
本稿では,この共同学習課題を解決するサンプリングベース手法を提案する。
論文 参考訳(メタデータ) (2024-05-30T10:49:22Z) - On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。
アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文 参考訳(メタデータ) (2023-12-13T02:11:07Z) - No Wrong Turns: The Simple Geometry Of Neural Networks Optimization
Paths [12.068608358926317]
1次最適化アルゴリズムは、ディープニューラルネットワークにおいて好ましいミニマを効率的に見つけることが知られている。
2つの鍵経路における標本最適化量の基本的な幾何学的性質に焦点をあてる。
以上の結果から,最適化トラジェクトリは大きな障害に遭遇しないだけでなく,ほとんどのトレーニングにおいて安定なダイナミクスも維持できる可能性が示唆された。
論文 参考訳(メタデータ) (2023-06-20T22:10:40Z) - Joint Edge-Model Sparse Learning is Provably Efficient for Graph Neural
Networks [89.28881869440433]
本稿では,グラフニューラルネットワーク(GNN)における結合エッジモデルスパース学習の理論的特徴について述べる。
解析学的には、重要なノードをサンプリングし、最小のマグニチュードでプルーニングニューロンをサンプリングすることで、サンプルの複雑さを減らし、テスト精度を損なうことなく収束を改善することができる。
論文 参考訳(メタデータ) (2023-02-06T16:54:20Z) - Less is More: Rethinking Few-Shot Learning and Recurrent Neural Nets [2.824895388993495]
情報理論AEPに基づく信頼性学習の理論的保証を提供する。
次に、高効率なリカレントニューラルネット(RNN)フレームワークに焦点を当て、少数ショット学習のための縮小エントロピーアルゴリズムを提案する。
実験結果から,学習モデルのサンプル効率,一般化,時間的複雑さを向上する可能性が示唆された。
論文 参考訳(メタデータ) (2022-09-28T17:33:11Z) - Rethinking Influence Functions of Neural Networks in the
Over-parameterized Regime [12.501827786462924]
インフルエンス関数(IF)は、ニューラルネットワークにおける1つのトレーニングポイントを除去する効果を測定するように設計されている。
ニューラルネットワークの平均二乗損失を正規化して訓練したニューラルネットワークのIFを計算するために,ニューラルタンジェントカーネル(NTK)理論を用いる。
論文 参考訳(メタデータ) (2021-12-15T17:44:00Z) - Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。
最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。
偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。
本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
論文 参考訳(メタデータ) (2020-09-08T13:26:51Z) - Understanding the Effects of Data Parallelism and Sparsity on Neural
Network Training [126.49572353148262]
ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。
有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
論文 参考訳(メタデータ) (2020-03-25T10:49:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。