論文の概要: Initial Model Incorporation for Deep Learning FWI: Pretraining or Denormalization?

• arxiv url: http://arxiv.org/abs/2506.05484v1
• Date: Thu, 05 Jun 2025 18:06:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:43.186921
• Title: Initial Model Incorporation for Deep Learning FWI: Pretraining or Denormalization?
• Title（参考訳）: ディープラーニングFWIの初期モデル導入:事前学習か非正規化か?
• Authors: Ruihua Chen, Bangyu Wu, Meng Li, Kai Yang,
• Abstract要約: 地下特性ニューラルネットワークによるフルウェーブフォームインバージョン (FWI) が, 効果的な教師なし学習フレームワークとして登場した。 地下モデルを直接微調整する代わりに、トレーニング可能なニューラルネットワークパラメータを更新する。 トレーニングはまず、初期速度モデルに適合させることで、ニューラルネットワークのパラメータを規制する。 正規化の非正規化は、ネットワークの出力を直接事前訓練せずに初期モデルに追加する。
• 参考スコア（独自算出の注目度）: 7.032076746858836
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Subsurface property neural network reparameterized full waveform inversion (FWI) has emerged as an effective unsupervised learning framework, which can invert stably with an inaccurate starting model. It updates the trainable neural network parameters instead of fine-tuning on the subsurface model directly. There are primarily two ways to embed the prior knowledge of the initial model into neural networks, that is, pretraining and denormalization. Pretraining first regulates the neural networks' parameters by fitting the initial velocity model; Denormalization directly adds the outputs of the network into the initial models without pretraining. In this letter, we systematically investigate the influence of the two ways of initial model incorporation for the neural network reparameterized FWI. We demonstrate that pretraining requires inverting the model perturbation based on a constant velocity value (mean) with a two-stage implementation. It leads to a complex workflow and inconsistency of objective functions in the two-stage process, causing the network parameters to become inactive and lose plasticity. Experimental results demonstrate that denormalization can simplify workflows, accelerate convergence, and enhance inversion accuracy compared with pretraining.
• Abstract（参考訳）: 地下特性ニューラルネットワークの再パラメータ化フル波形インバージョン(FWI)は、不正確な開始モデルで安定して逆転できる効果的な教師なし学習フレームワークとして登場した。 地下モデルを直接微調整する代わりに、トレーニング可能なニューラルネットワークパラメータを更新する。 最初のモデルの以前の知識をニューラルネットワークに埋め込むには、主に2つの方法がある。 Pretrainingは最初に、初期速度モデルを適用することで、ニューラルネットワークのパラメータを規制する。 本稿では,ニューラルネットワーク再パラメータ化FWIにおける初期モデル導入の2つの方法の影響を系統的に検討する。 本研究では,2段階実装の定速度値(平均値)に基づいてモデル摂動を逆転させる事前学習が必要であることを実証する。 2段階のプロセスでは複雑なワークフローと目的関数の不整合が生じ、ネットワークパラメータが不活性になり、可塑性が失われる。 実験により、非正規化はワークフローを単純化し、収束を加速し、事前学習と比較してインバージョン精度を向上できることが示された。

関連論文リスト

• PreAdaptFWI: Pretrained-Based Adaptive Residual Learning for Full-Waveform Inversion Without Dataset Dependency [8.719356558714246]
  フルウェーブフォーム・インバージョン(Full-waveform Inversion、FWI)は、地震データを用いて地下媒体の物理パラメータを反転させる手法である。 異常な性質のため、FWIは局所的なミニマに閉じ込められやすい。 ニューラルネットワークとFWIを組み合わせることで、インバージョンプロセスの安定化が試みられている。
  論文  参考訳（メタデータ） (2025-02-17T15:30:17Z)
• Initialization Matters: Unraveling the Impact of Pre-Training on Federated Learning [21.440470901377182]
  事前訓練されたモデルの初期化は、機械学習の標準的なプラクティスになりつつある。 我々は,2層畳み込みニューラルネットワーク(CNN)のクラスについて検討し,FedAvgでトレーニングしたネットワークのトレーニングエラー収束とテストエラーのバウンダリを提供する。
  論文  参考訳（メタデータ） (2025-02-11T23:53:16Z)
• MILP initialization for solving parabolic PDEs with PINNs [2.5932373010465364]
  物理インフォームドニューラルネットワーク(PINN)は物理系の解とパラメータ推定を提供する強力なディープラーニング手法である。 ニューラルネットワーク構造の複雑さを考えると、収束速度は数値的手法と比較しても制限される。
  論文  参考訳（メタデータ） (2025-01-27T15:46:38Z)
• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• Epistemic Modeling Uncertainty of Rapid Neural Network Ensembles for Adaptive Learning [0.0]
  新しいタイプのニューラルネットワークは、高速ニューラルネットワークパラダイムを用いて提示される。 提案したエミュレータを組み込んだニューラルネットワークは,予測精度を損なうことなく,ほぼ瞬時に学習できることが判明した。
  論文  参考訳（メタデータ） (2023-09-12T22:34:34Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• On feedforward control using physics-guided neural networks: Training cost regularization and optimized initialization [0.0]
  モデルベースのフィードフォワードコントローラの性能は、典型的には逆システム力学モデルの精度によって制限される。 本稿では,特定物理パラメータを用いた正規化手法を提案する。 実生活の産業用リニアモーターで検証され、追跡精度と外挿の精度が向上する。
  論文  参考訳（メタデータ） (2022-01-28T12:51:25Z)
• A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
  モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。 線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。 以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
  論文  参考訳（メタデータ） (2020-10-27T17:56:14Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。