論文の概要: Visualizing the loss landscapes of physics-informed neural networks
- arxiv url: http://arxiv.org/abs/2602.05849v1
- Date: Thu, 05 Feb 2026 16:35:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-06 18:49:09.043316
- Title: Visualizing the loss landscapes of physics-informed neural networks
- Title（参考訳）: 物理インフォームドニューラルネットワークの損失景観を可視化する
- Authors: Conor Rowan, Finn Murphy-Blanchard,
- Abstract要約: ニューラルネットワークの損失は、ランドスケープにおけるデータ駆動のランドスケープとして多くの特性を持っている。
物理インフォームドニューラルネットワークの喪失は、データ駆動のランドスケープと同じような性質を持つことがわかった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Training a neural network requires navigating a high-dimensional, non-convex loss surface to find parameters that minimize this loss. In many ways, it is surprising that optimizers such as stochastic gradient descent and ADAM can reliably locate minima which perform well on both the training and test data. To understand the success of training, a "loss landscape" community has emerged to study the geometry of the loss function and the dynamics of optimization, often using visualization techniques. However, these loss landscape studies have mostly been limited to machine learning for image classification. In the newer field of physics-informed machine learning, little work has been conducted to visualize the landscapes of losses defined not by regression to large data sets, but by differential operators acting on state fields discretized by neural networks. In this work, we provide a comprehensive review of the loss landscape literature, as well as a discussion of the few existing physics-informed works which investigate the loss landscape. We then use a number of the techniques we survey to empirically investigate the landscapes defined by the Deep Ritz and squared residual forms of the physics loss function. We find that the loss landscapes of physics-informed neural networks have many of the same properties as the data-driven classification problems studied in the literature. Unexpectedly, we find that the two formulations of the physics loss often give rise to similar landscapes, which appear smooth, well-conditioned, and convex in the vicinity of the solution. The purpose of this work is to introduce the loss landscape perspective to the scientific machine learning community, compare the Deep Ritz and the strong form losses, and to challenge prevailing intuitions about the complexity of the loss landscapes of physics-informed networks.
- Abstract（参考訳）: ニューラルネットワークをトレーニングするには、この損失を最小限に抑えるパラメータを見つけるために、高次元の非凸損失表面をナビゲートする必要がある。
多くの点で、確率勾配降下やADAMのような最適化器が、トレーニングデータとテストデータの両方で良好に動作するミニマを確実に見つけることができるのは驚きである。
トレーニングの成功を理解するために、損失関数の幾何学と最適化のダイナミクスを研究するために、しばしば可視化技術を用いて「ロスランドスケープ」コミュニティが誕生した。
しかし、これらの失われた景観の研究は、主に画像分類のための機械学習に限られている。
物理インフォームド機械学習の新たな分野において、大規模なデータセットへの回帰ではなく、ニューラルネットワークによって離散化された状態場に作用する微分作用素によって定義された損失の風景を可視化する作業はほとんど行われていない。
本研究では,損失景観の文献を包括的にレビューするとともに,損失景観を調査した数少ない物理インフォームド作品について論じる。
次に、我々は、ディープ・リッツによって定義された景観と、物理損失関数の2乗残差形式を実証的に研究するために、調査した多くの技術を使用します。
物理インフォームドニューラルネットワークのロスランドスケープは、文献で研究されているデータ駆動型分類問題と同じ性質を持つことがわかった。
必然的に、物理損失の2つの定式化は、しばしば、溶液の近傍で滑らかで、よく条件が整った、凸状のように見える、同様の風景を生じさせる。
本研究の目的は、損失景観の視点を科学機械学習コミュニティに導入し、Deep Ritzと強力なフォームロスを比較し、物理インフォームドネットワークの損失景観の複雑さに関する一般的な直観に挑戦することである。
関連論文リスト
- LossLens: Diagnostics for Machine Learning through Loss Landscape Visual Analytics [40.39489322471626]
LossLensは視覚分析フレームワークで、複数のスケールでロスランドスケープを探索する。
LossLensの2つのケーススタディは、残差接続がResNet-20にどのように影響するかを視覚化し、物理的パラメータが単純な対流問題を解決する物理情報ニューラルネットワーク(PINN)にどのように影響するかを可視化する。
論文 参考訳（メタデータ） (2024-12-17T20:40:06Z) - Visualizing Loss Functions as Topological Landscape Profiles [41.15010759601887]
機械学習では、損失関数はモデル予測と接地真実(または目標)値の違いを測定する。
ニューラルネットワークモデルでは、モデルパラメータが変化するにつれてこの損失がどのように変化するかを視覚化することで、いわゆるロスランドスケープの局所構造に関する洞察を得ることができる。
本稿では,高次元ロスランドスケープの可視化を可能にするトポロジカルデータ解析に基づく新しい表現を提案する。
論文 参考訳（メタデータ） (2024-11-19T00:28:14Z) - Evaluating Loss Landscapes from a Topology Perspective [43.25939653609482]
ロスランドスケープの基盤となる形状(あるいはトポロジ)を特徴付け、トポロジを定量化し、ニューラルネットワークに関する新たな洞察を明らかにする。
その結果を機械学習(ML)の文献に関連付けるため,簡単なパフォーマンス指標を計算した。
損失景観の形状を定量化することで、モデル性能と学習ダイナミクスに対する新たな洞察が得られることを示す。
論文 参考訳（メタデータ） (2024-11-14T20:46:26Z) - Unraveling the Hessian: A Key to Smooth Convergence in Loss Function Landscapes [0.0]
我々は、完全に連結されたニューラルネットワークにおける損失景観の収束を理論的に解析し、新しいオブジェクトをサンプルに追加する際の損失関数値の差について上限を導出する。
画像分類作業における損失関数面の収束を実証し,これらの結果を様々なデータセットで検証した。
論文 参考訳（メタデータ） (2024-09-18T14:04:15Z) - On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。
アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文 参考訳（メタデータ） (2023-12-13T02:11:07Z) - Critical Investigation of Failure Modes in Physics-informed Neural
Networks [0.9137554315375919]
合成定式化による物理インフォームドニューラルネットワークは、最適化が難しい非学習損失面を生成することを示す。
また,2つの楕円問題に対する2つのアプローチを,より複雑な目標解を用いて評価する。
論文 参考訳（メタデータ） (2022-06-20T18:43:35Z) - FuNNscope: Visual microscope for interactively exploring the loss
landscape of fully connected neural networks [77.34726150561087]
ニューラルネットワークの高次元景観特性を探索する方法を示す。
我々は、小さなニューラルネットワークの観測結果をより複雑なシステムに一般化する。
インタラクティブダッシュボードは、いくつかのアプリケーションネットワークを開放する。
論文 参考訳（メタデータ） (2022-04-09T16:41:53Z) - Physics informed neural networks for continuum micromechanics [68.8204255655161]
近年,応用数学や工学における多種多様な問題に対して,物理情報ニューラルネットワークの適用が成功している。
グローバルな近似のため、物理情報ニューラルネットワークは、最適化によって局所的な効果と強い非線形解を表示するのに困難である。
実世界の$mu$CT-Scansから得られた不均一構造における非線形応力, 変位, エネルギー場を, 正確に解くことができる。
論文 参考訳（メタデータ） (2021-10-14T14:05:19Z) - Taxonomizing local versus global structure in neural network loss
landscapes [60.206524503782006]
ロスランドスケープが世界規模で良好に接続されている場合, 最適なテスト精度が得られることを示す。
また、モデルが小さい場合や、品質の低いデータに訓練された場合、世界規模で接続の不十分なランドスケープが生じる可能性があることも示しています。
論文 参考訳（メタデータ） (2021-07-23T13:37:14Z) - Topological obstructions in neural networks learning [67.8848058842671]
損失勾配関数フローのグローバル特性について検討する。
損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
論文 参考訳（メタデータ） (2020-12-31T18:53:25Z) - Binary Neural Networks: A Survey [126.67799882857656]
バイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。
バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。
本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを探索する。
論文 参考訳（メタデータ） (2020-03-31T16:47:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。