論文の概要: Optimization Landscapes Learned: Proxy Networks Boost Convergence in Physics-based Inverse Problems

• arxiv url: http://arxiv.org/abs/2501.16573v1
• Date: Mon, 27 Jan 2025 23:36:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-29 16:40:20.868533
• Title: Optimization Landscapes Learned: Proxy Networks Boost Convergence in Physics-based Inverse Problems
• Title（参考訳）: 最適化ランドスケープの学習:物理に基づく逆問題におけるプロキシネットワークの収束性向上
• Authors: Girnar Goyal, Philipp Holl, Sweta Agrawal, Nils Thuerey,
• Abstract要約: 反復最適化アルゴリズムは、物理学の逆問題を解決するためによく使われるが、しばしば局所的なミニマ、カオス、あるいはゼロ領域の領域に遭遇する。 これは、その局所的な情報と、基礎となる微分方程式(PDE)によって支配される非常にカオス的な逆損失ランドスケープへの過度な依存によるものである。
• 参考スコア（独自算出の注目度）: 24.546590995156755
• License:
• Abstract: Solving inverse problems in physics is central to understanding complex systems and advancing technologies in various fields. Iterative optimization algorithms, commonly used to solve these problems, often encounter local minima, chaos, or regions with zero gradients. This is due to their overreliance on local information and highly chaotic inverse loss landscapes governed by underlying partial differential equations (PDEs). In this work, we show that deep neural networks successfully replicate such complex loss landscapes through spatio-temporal trajectory inputs. They also offer the potential to control the underlying complexity of these chaotic loss landscapes during training through various regularization methods. We show that optimizing on network-smoothened loss landscapes leads to improved convergence in predicting optimum inverse parameters over conventional momentum-based optimizers such as BFGS on multiple challenging problems.
• Abstract（参考訳）: 物理学における逆問題の解法は、複雑なシステムを理解し、様々な分野における技術の進歩の中心である。 これらの問題を解決するためによく使われる反復最適化アルゴリズムは、しばしば局所的なミニマ、カオス、あるいはゼロ勾配の領域に遭遇する。 これは、局所的な情報と、基礎となる偏微分方程式(PDE)によって支配される非常にカオス的な逆損失ランドスケープに過度に依存するためである。 本研究では, 深層ニューラルネットワークが時空間軌道入力によって複雑な損失景観を再現することに成功したことを示す。 彼らはまた、様々な正規化手法を通じてトレーニング中にこれらのカオス的な損失景観の根底にある複雑さを制御する可能性も提供する。 ネットワークスムーズ化ロスランドスケープの最適化は,BFGSなどの従来のモーメントベース最適化よりも,複数の困難問題に対して,最適逆パラメータの予測における収束性の向上につながることを示す。

関連論文リスト

• Hallmarks of Optimization Trajectories in Neural Networks: Directional Exploration and Redundancy [75.15685966213832]
  最適化トラジェクトリのリッチな方向構造をポイントワイズパラメータで解析する。 トレーニング中のスカラーバッチノルムパラメータは,ネットワーク全体のトレーニング性能と一致していることを示す。
  論文  参考訳（メタデータ） (2024-03-12T07:32:47Z)
• Inverse analysis of granular flows using differentiable graph neural network simulator [1.8231854497751137]
  地すべりや土砂流などの粒状流の逆問題では, 物質パラメータや境界条件が推定される。 これらの逆問題に対する従来の高忠実性シミュレータは計算的に要求される。 グラフニューラルネットワークの逆モード自動微分と勾配に基づく最適化を組み合わせた新しい微分可能なグラフニューラルネットワークシミュレータ(GNS)を提案する。
  論文  参考訳（メタデータ） (2024-01-17T22:21:07Z)
• Convergence Guarantees of Overparametrized Wide Deep Inverse Prior [1.5362025549031046]
  逆優先法(Inverse Priors)は、ランダムな入力をフォワードモデルの下で画像が観察に一致するオブジェクトに変換する、教師なしのアプローチである。 本研究では, 連続時間勾配勾配勾配からトレーニングしたネットワークが, 高確率で指数関数的に高速に収束するオーバーパラメトリゼーション境界を提供する。 この研究は、過度にパラメータ化されたDIPネットワークの理論的理解への第一歩であり、より広い範囲で、逆問題設定におけるニューラルネットワークの理論的理解に関与している。
  論文  参考訳（メタデータ） (2023-03-20T16:49:40Z)
• Tunable Complexity Benchmarks for Evaluating Physics-Informed Neural Networks on Coupled Ordinary Differential Equations [64.78260098263489]
  本研究では,より複雑に結合した常微分方程式(ODE)を解く物理インフォームドニューラルネットワーク(PINN)の能力を評価する。 PINNの複雑性が増大するにつれて,これらのベンチマークに対する正しい解が得られないことが示される。 PINN損失のラプラシアンは,ネットワーク容量の不足,ODEの条件の低下,局所曲率の高さなど,いくつかの理由を明らかにした。
  論文  参考訳（メタデータ） (2022-10-14T15:01:32Z)
• Adaptive Self-supervision Algorithms for Physics-informed Neural Networks [59.822151945132525]
  物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。 これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。 モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
  論文  参考訳（メタデータ） (2022-07-08T18:17:06Z)
• Critical Investigation of Failure Modes in Physics-informed Neural Networks [0.9137554315375919]
  合成定式化による物理インフォームドニューラルネットワークは、最適化が難しい非学習損失面を生成することを示す。 また,2つの楕円問題に対する2つのアプローチを,より複雑な目標解を用いて評価する。
  論文  参考訳（メタデータ） (2022-06-20T18:43:35Z)
• Half-Inverse Gradients for Physical Deep Learning [25.013244956897832]
  異なる物理シミュレータをトレーニングプロセスに統合することは、結果の質を大幅に向上させる。 勾配に基づく解法は、多くの物理過程の固有の性質であるスケールと方向を操作できるため、勾配流に深い影響を与える。 本研究では,この現象に苦しむことのない新しい手法を導出するために,物理・ニューラルネットワーク最適化の特性を解析する。
  論文  参考訳（メタデータ） (2022-03-18T19:11:04Z)
• Unpaired Image Super-Resolution with Optimal Transport Maps [128.1189695209663]
  実世界の画像超解像(SR)タスクは、しばしば、教師付き技術の適用を制限するペアデータセットを持っていない。 本稿では,非バイアスのOTマップを知覚輸送コストで学習する未ペアSRのアルゴリズムを提案する。 我々のアルゴリズムは、大規模無人AIM-19データセット上で、最先端のパフォーマンスをほぼ提供する。
  論文  参考訳（メタデータ） (2022-02-02T16:21:20Z)
• Path Regularization: A Convexity and Sparsity Inducing Regularization for Parallel ReLU Networks [75.33431791218302]
  本稿では,ディープニューラルネットワークのトレーニング問題について検討し,最適化環境に隠された凸性を明らかにするための解析的アプローチを提案する。 我々は、標準のディープ・ネットワークとResNetを特別なケースとして含む、ディープ・パラレルなReLUネットワークアーキテクチャについて検討する。
  論文  参考訳（メタデータ） (2021-10-18T18:00:36Z)
• Physics informed neural networks for continuum micromechanics [68.8204255655161]
  近年,応用数学や工学における多種多様な問題に対して,物理情報ニューラルネットワークの適用が成功している。 グローバルな近似のため、物理情報ニューラルネットワークは、最適化によって局所的な効果と強い非線形解を表示するのに困難である。 実世界の$mu$CT-Scansから得られた不均一構造における非線形応力, 変位, エネルギー場を, 正確に解くことができる。
  論文  参考訳（メタデータ） (2021-10-14T14:05:19Z)
• What can linear interpolation of neural network loss landscapes tell us? [11.753360538833139]
  ロスランドスケープは、人間が理解しやすい方法で可視化することが非常に難しいことで知られています。 この問題に対処する一般的な方法は、ランドスケープの線形スライスをプロットすることである。
  論文  参考訳（メタデータ） (2021-06-30T11:54:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。