論文の概要: Physics-informed Neural Networks for Solving Inverse Problems of Nonlinear Biot's Equations: Batch Training

• arxiv url: http://arxiv.org/abs/2005.09638v1
• Date: Mon, 18 May 2020 18:48:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-02 00:49:45.191005
• Title: Physics-informed Neural Networks for Solving Inverse Problems of Nonlinear Biot's Equations: Batch Training
• Title（参考訳）: 非線形ビオット方程式の逆問題解決のための物理情報ニューラルネットワーク:バッチトレーニング
• Authors: Teeratorn Kadeethum, Thomas M J{\o}rgensen, Hamidreza M Nick
• Abstract要約: バイオメディカルエンジニアリング,地震予知,地中エネルギー収穫では,多孔質体の物理的特性を間接的に推定することが重要である。 ここでは、非線形ビオット方程式に関する逆問題の解法として、物理インフォームドニューラルネットワークを適用する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In biomedical engineering, earthquake prediction, and underground energy harvesting, it is crucial to indirectly estimate the physical properties of porous media since the direct measurement of those are usually impractical/prohibitive. Here we apply the physics-informed neural networks to solve the inverse problem with regard to the nonlinear Biot's equations. Specifically, we consider batch training and explore the effect of different batch sizes. The results show that training with small batch sizes, i.e., a few examples per batch, provides better approximations (lower percentage error) of the physical parameters than using large batches or the full batch. The increased accuracy of the physical parameters, comes at the cost of longer training time. Specifically, we find the size should not be too small since a very small batch size requires a very long training time without a corresponding improvement in estimation accuracy. We find that a batch size of 8 or 32 is a good compromise, which is also robust to additive noise in the data. The learning rate also plays an important role and should be used as a hyperparameter.
• Abstract（参考訳）: 生物工学, 地震予知, 地中エネルギー収穫では, 直接測定は非現実的・抑制的であるため, 多孔質媒体の物理的特性を間接的に推定することが重要である。 本稿では,非線形ビオット方程式の逆問題に対する物理情報ニューラルネットワークの適用について述べる。 具体的には、バッチトレーニングを検討し、異なるバッチサイズの影響について検討する。 その結果、バッチサイズが小さいトレーニング、例えばバッチあたりのサンプルは、大きなバッチや全バッチを使用するよりも、物理パラメータの近似(低いパーセンテージエラー)がより良くなることが示された。 物理パラメータの精度が向上すると、トレーニング時間が長くなる。 特に、非常に小さなバッチサイズでは、推定精度が向上することなく、非常に長いトレーニング時間を必要とするため、サイズが小さすぎるべきではない。 8または32のバッチサイズは、データ内の追加ノイズに対して堅牢な、優れた妥協点であることが分かりました。 学習率も重要な役割を担っており、ハイパーパラメータとして使う必要がある。

関連論文リスト

• Scaling Laws for Precision [73.24325358259753]
  トレーニングと推論の両方に"精度対応"のスケーリング法則を考案する。 推論では,学習後の量子化によって生じる劣化が,モデルがより多くのデータに基づいて訓練されるにつれて増加することが分かる。 トレーニングのために、我々のスケーリング法則は、異なるパーツの異なるモデルの損失を、異なる精度で予測することができる。
  論文  参考訳（メタデータ） (2024-11-07T00:10:10Z)
• Power Scheduler: A Batch Size and Token Number Agnostic Learning Rate Scheduler [34.416299887009195]
  提案したWSDスケジューラの最適学習率,バッチサイズ,トレーニングトークン数の相関について検討した。 本稿では,学習率スケジューラであるPowerスケジューラを提案する。 Powerスケジューラでトレーニングした3B高密度モデルとMoEモデルは、最先端の小型言語モデルと同等のパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2024-08-23T20:22:20Z)
• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• Less is More: On the Feature Redundancy of Pretrained Models When Transferring to Few-shot Tasks [120.23328563831704]
  事前訓練されたモデルを下流タスクに転送することは、ターゲットデータと線形探索を行うのと同じくらい簡単である。 線形探索では, 下流データが少ない場合に, 事前学習した特徴が極めて冗長であることを示す。
  論文  参考訳（メタデータ） (2023-10-05T19:00:49Z)
• The Emergence of Essential Sparsity in Large Pre-trained Models: The Weights that Matter [113.35761858962522]
  本稿では,複数の大きな事前学習された視覚と言語変換器のスパースパターンを誘導する。 本稿では,性能がはるかに速く低下する急激な落差点で定義される本質的疎度の存在を提案する。 また、N:Mのスパーシティパターンと近代的な大規模言語モデルに有効であることを示す。
  論文  参考訳（メタデータ） (2023-06-06T15:49:09Z)
• PLATON: Pruning Large Transformer Models with Upper Confidence Bound of Weight Importance [114.1541203743303]
  本稿では,重要度推定の上位信頼度境界(UCB)による重要度スコアの不確かさを捉えるPLATONを提案する。 我々は、自然言語理解、質問応答、画像分類に関するトランスフォーマーモデルを用いて、広範囲にわたる実験を行った。
  論文  参考訳（メタデータ） (2022-06-25T05:38:39Z)
• Parameter-Efficient Sparsity for Large Language Models Fine-Tuning [63.321205487234074]
  私たちはaを提案します。 Sparse- efficient Sparse Training (PST) は、スパース・アウェア・トレーニング中にトレーニング可能なパラメータの数を減少させる手法である。 多様なネットワーク(BERT、RoBERTa、GPT-2)を用いた実験では、PSTは従来のスパーシリティ法よりも同等以上の性能を示した。
  論文  参考訳（メタデータ） (2022-05-23T02:43:45Z)
• Small Batch Sizes Improve Training of Low-Resource Neural MT [1.0818470627926648]
  低リソース環境でのニューラルマシン翻訳のためのトランスフォーマーのトレーニングを統括する必要不可欠なハイパーパラメータの役割、すなわちバッチサイズについて検討する。 低リソース環境では、バッチサイズが小さくなれば、より短いトレーニング時間でスコアが高くなります。
  論文  参考訳（メタデータ） (2022-03-20T15:14:39Z)
• Existence and Estimation of Critical Batch Size for Training Generative Adversarial Networks with Two Time-Scale Update Rule [0.2741266294612775]
  これまで、異なる学習率を用いた2つの時間スケール更新ルール(TTUR)が、理論および実際におけるGAN(Generative Adversarial Network)のトレーニングに有用であることが示されてきた。 本稿では,一定の学習率に基づいて,バッチサイズとGANをTTURで訓練するために必要なステップ数との関係について検討する。
  論文  参考訳（メタデータ） (2022-01-28T08:52:01Z)
• How do SGD hyperparameters in natural training affect adversarial robustness? [5.406299794900294]
  学習速度、バッチサイズ、運動量は、SGDアルゴリズムにおいて3つの重要なハイパーパラメータである。 本稿では,SGDハイパーパラメータが未飽和試料を用いてトレーニングしたネットワークの精度と対角的ロバスト性に及ぼす影響を実証的に観察する。
  論文  参考訳（メタデータ） (2020-06-20T16:04:44Z)
• Generalizable semi-supervised learning method to estimate mass from sparsely annotated images [0.22940141855172036]
  本研究では,サトウキビを収穫機でリアルタイムに走らせながら,サトウキビの質量を正確に推定できる視覚システムの開発と試験を行う。 ディープニューラルネットワーク(DNN)は、サトウキビの質量を正確に把握し、古いボリュームベースの手法を超えることに成功した。
  論文  参考訳（メタデータ） (2020-03-05T18:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。