論文の概要: Meta-learning PINN loss functions

• arxiv url: http://arxiv.org/abs/2107.05544v1
• Date: Mon, 12 Jul 2021 16:13:39 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-13 17:38:26.325814
• Title: Meta-learning PINN loss functions
• Title（参考訳）: メタラーニングPINN損失関数
• Authors: Apostolos F Psaros, Kenji Kawaguchi, George Em Karniadakis
• Abstract要約: 本稿では,物理インフォームドニューラルネットワーク(PINN)損失関数のオフライン発見のためのメタラーニング手法を提案する。 パラメータ化偏微分方程式(PDE)に基づく多様なタスク分布に対応する勾配に基づくメタラーニングアルゴリズムを開発した。 この結果から,共有タスクのオフライン学習損失関数を用いることで,大幅な性能向上が達成できることが示唆された。
• 参考スコア（独自算出の注目度）: 5.543220407902113
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a meta-learning technique for offline discovery of physics-informed neural network (PINN) loss functions. We extend earlier works on meta-learning, and develop a gradient-based meta-learning algorithm for addressing diverse task distributions based on parametrized partial differential equations (PDEs) that are solved with PINNs. Furthermore, based on new theory we identify two desirable properties of meta-learned losses in PINN problems, which we enforce by proposing a new regularization method or using a specific parametrization of the loss function. In the computational examples, the meta-learned losses are employed at test time for addressing regression and PDE task distributions. Our results indicate that significant performance improvement can be achieved by using a shared-among-tasks offline-learned loss function even for out-of-distribution meta-testing. In this case, we solve for test tasks that do not belong to the task distribution used in meta-training, and we also employ PINN architectures that are different from the PINN architecture used in meta-training. To better understand the capabilities and limitations of the proposed method, we consider various parametrizations of the loss function and describe different algorithm design options and how they may affect meta-learning performance.
• Abstract（参考訳）: 本稿では,物理インフォームドニューラルネットワーク(PINN)損失関数のオフライン発見のためのメタラーニング手法を提案する。 我々は、メタラーニングに関する先行研究を拡張し、ピンで解くパラメトリズド偏微分方程式(pdes)に基づく多様なタスク分布に対処するための勾配に基づくメタラーニングアルゴリズムを開発した。 さらに,新しい理論に基づいて,PINN問題におけるメタ学習損失の2つの望ましい性質を同定し,新しい正規化法を提案するか,損失関数の特定のパラメトリゼーションを用いる。 計算例では、回帰とPDEタスク分布に対処するテスト時にメタ学習損失が使用される。 その結果,分散型メタテストにおいても,共用型タスクのオフライン学習型ロス関数を用いることで,大幅なパフォーマンス向上が期待できることがわかった。 この場合、メタトレーニングで使用されるタスク分布に属さないテストタスクに対して解決し、メタトレーニングで使用されるPINNアーキテクチャとは異なるPINNアーキテクチャを採用する。 提案手法の能力と限界をよりよく理解するために、損失関数の様々なパラメトリゼーションを検討し、異なるアルゴリズム設計オプションとメタラーニング性能に与える影響について述べる。

関連論文リスト

• Fast and Efficient Local Search for Genetic Programming Based Loss Function Learning [12.581217671500887]
  本稿では,タスクとモデルに依存しない損失関数学習のためのメタラーニングフレームワークを提案する。 その結果, 学習した損失関数は, 収束性, サンプル効率, グラフ化, コンピュータビジョン, 自然言語処理問題に対する推論性能の向上をもたらすことがわかった。
  論文  参考訳（メタデータ） (2024-03-01T02:20:04Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• A practical PINN framework for multi-scale problems with multi-magnitude loss terms [3.8645424244172135]
  PINNを用いたマルチスケール問題に対する実践的なディープラーニングフレームワークを提案する。 新しいPINN法は主に2つの点で従来のPINN法とは異なる。 提案手法は計算効率と計算精度において従来のPINN法より有意に優れていた。
  論文  参考訳（メタデータ） (2023-08-13T03:26:01Z)
• Theoretical Characterization of the Generalization Performance of Overfitted Meta-Learning [70.52689048213398]
  本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。 シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。 本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
  論文  参考訳（メタデータ） (2023-04-09T20:36:13Z)
• Learning Symbolic Model-Agnostic Loss Functions via Meta-Learning [12.581217671500887]
  本稿では,ハイブリッド型ニューロシンボリックサーチ手法を用いて,モデルに依存しない損失関数を学習するためのメタラーニングフレームワークを提案する。 その結果,提案手法により発見されたメタ学習損失関数は,クロスエントロピー損失と最先端の損失関数学習の両方よりも優れていた。
  論文  参考訳（メタデータ） (2022-09-19T10:29:01Z)
• InverseForm: A Loss Function for Structured Boundary-Aware Segmentation [80.39674800972182]
  逆変換ネットワークを用いたセマンティックセグメンテーションのための新しい境界認識損失項を提案する。 このプラグイン損失項は境界変換の捕捉におけるクロスエントロピー損失を補完する。 室内および屋外のセグメンテーションベンチマークにおける損失関数の定量的および定性的効果を解析した。
  論文  参考訳（メタデータ） (2021-04-06T18:52:45Z)
• Meta-Learning with Neural Tangent Kernels [58.06951624702086]
  メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。 このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。 本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
  論文  参考訳（メタデータ） (2021-02-07T20:53:23Z)
• Auto Seg-Loss: Searching Metric Surrogates for Semantic Segmentation [56.343646789922545]
  そこで本研究では,各計量に対する相異なるサロゲート損失を探索することにより,計量固有損失関数の設計を自動化することを提案する。 PASCAL VOCとCityscapesの実験では、探索されたサロゲート損失は手動で設計した損失関数よりも優れていた。
  論文  参考訳（メタデータ） (2020-10-15T17:59:08Z)
• Meta-Learning with Network Pruning [40.07436648243748]
  本稿では,ネットワークのキャパシティを明示的に制御することで,ネットワークプルーニングに基づくメタラーニング手法を提案する。 我々はDense-Sparse-Dense (DSD) と Iterative Hard Thresholding (IHT) の2つのネットワークプルーニングルーチンを組み込んだReptile上でのアプローチを実装した。
  論文  参考訳（メタデータ） (2020-07-07T06:13:11Z)
• MOPS-Net: A Matrix Optimization-driven Network forTask-Oriented 3D Point Cloud Downsampling [86.42733428762513]
  MOPS-Netは行列最適化のための新しい解釈可能な深層学習手法である。 我々はMOPS-Netが様々なタスクに対して最先端の深層学習手法に対して好適な性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-05-01T14:01:53Z)
• Optimizing Loss Functions Through Multivariate Taylor Polynomial Parameterization [16.8615211682877]
  ロス関数はメタ知識の一種であり、ディープニューラルネットワーク(DNN)アーキテクチャの効果的なトレーニングに不可欠である。 本稿では,テイラーパラメータ化の連続CMA-ES最適化を提案する。 MNIST、CIFAR-10、SVHNのベンチマークタスクでは、TaylorGLOはGPで発見された関数よりも優れた新しい損失関数を発見した。
  論文  参考訳（メタデータ） (2020-01-31T21:25:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。