論文の概要: L-HYDRA: Multi-Head Physics-Informed Neural Networks
- arxiv url: http://arxiv.org/abs/2301.02152v1
- Date: Thu, 5 Jan 2023 16:54:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-06 14:45:32.299918
- Title: L-HYDRA: Multi-Head Physics-Informed Neural Networks
- Title（参考訳）: L-HYDRA:マルチヘッド物理インフォームニューラルネットワーク
- Authors: Zongren Zou and George Em Karniadakis
- Abstract要約: 我々は、マルチタスク学習(MTL)、生成モデリング、少数ショット学習のための強力なツールとして、マルチヘッド物理情報ニューラルネットワーク(MH-PINN)を構築した。
MH-PINNは、ヘッドの共有分布と同様に、基本関数として、共有体を介して複数の機能/タスクを接続する。
5つのベンチマークでMH-PINNの有効性を実証し,回帰分析における相乗的学習の可能性についても検討した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce multi-head neural networks (MH-NNs) to physics-informed machine
learning, which is a type of neural networks (NNs) with all nonlinear hidden
layers as the body and multiple linear output layers as multi-head. Hence, we
construct multi-head physics-informed neural networks (MH-PINNs) as a potent
tool for multi-task learning (MTL), generative modeling, and few-shot learning
for diverse problems in scientific machine learning (SciML). MH-PINNs connect
multiple functions/tasks via a shared body as the basis functions as well as a
shared distribution for the head. The former is accomplished by solving
multiple tasks with MH-PINNs with each head independently corresponding to each
task, while the latter by employing normalizing flows (NFs) for density
estimate and generative modeling. To this end, our method is a two-stage
method, and both stages can be tackled with standard deep learning tools of
NNs, enabling easy implementation in practice. MH-PINNs can be used for various
purposes, such as approximating stochastic processes, solving multiple tasks
synergistically, providing informative prior knowledge for downstream few-shot
learning tasks such as meta-learning and transfer learning, learning
representative basis functions, and uncertainty quantification. We demonstrate
the effectiveness of MH-PINNs in five benchmarks, investigating also the
possibility of synergistic learning in regression analysis. We name the
open-source code "Lernaean Hydra" (L-HYDRA), since this mythical creature
possessed many heads for performing important multiple tasks, as in the
proposed method.
- Abstract（参考訳）: 非線形隠れ層を本体とし,複数の線形出力層をマルチヘッドとする,ニューラルネットワークの一種である物理に変形した機械学習に,マルチヘッドニューラルネットワーク(mh-nns)を導入する。
そこで本研究では,マルチタスク学習(mtl),生成モデリング,およびsciml(sciml)における多種多様な問題に対する数発学習のための強力なツールとして,マルチヘッド物理インフォームドニューラルネットワーク(mh-pinns)を構築する。
MH-PINNは、ヘッドの共有分布と同様に、基本関数として、共有体を介して複数の機能/タスクを接続する。
前者はMH-PINNによる複数のタスクを各タスクに独立して解決し、後者は密度推定と生成モデルに正規化フロー(NF)を用いる。
この目的のために,本手法は二段階法であり,両方の段階をnnsの標準ディープラーニングツールで扱うことが可能であり,実装が容易である。
mh-pinnは、確率過程の近似、複数のタスクの相乗的解決、メタラーニングやトランスファー学習のような下流のマイノリティ学習タスクのための情報的事前知識の提供、代表基底関数の学習、不確実性定量化など、様々な目的に使用できる。
5つのベンチマークでMH-PINNの有効性を実証し,回帰分析における相乗学習の可能性についても検討した。
この神話的な生物は、提案手法のように重要な複数のタスクを実行するために多くの頭を持っていたため、オープンソースのコード「Lernaean Hydra」(L-HYDRA)を命名した。
関連論文リスト
- Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
本稿では,重み空間学習におけるSANEアプローチを紹介する。
ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
論文 参考訳（メタデータ） (2024-06-14T13:12:07Z) - Fully Spiking Actor Network with Intra-layer Connections for
Reinforcement Learning [51.386945803485084]
エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。
既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。
浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
論文 参考訳（メタデータ） (2024-01-09T07:31:34Z) - Sparse Multitask Learning for Efficient Neural Representation of Motor
Imagery and Execution [30.186917337606477]
運動画像(MI)と運動実行(ME)タスクのためのスパースマルチタスク学習フレームワークを提案する。
MI-ME分類のためのデュアルタスクCNNモデルが与えられた場合、過渡的な接続に対して、サリエンシに基づくスペーシフィケーションアプローチを適用する。
以上の結果から, この調整された疎水性は, 過度に適合する問題を緩和し, 少ないデータ量でテスト性能を向上させることが示唆された。
論文 参考訳（メタデータ） (2023-12-10T09:06:16Z) - Randomly Weighted Neuromodulation in Neural Networks Facilitates
Learning of Manifolds Common Across Tasks [1.9580473532948401]
幾何知覚ハッシュ関数(Geometric Sensitive Hashing function)は、教師あり学習においてクラス固有の多様体幾何を学ぶニューラルネットワークモデルである。
神経変調システムを用いたランダムに重み付けされたニューラルネットワークは,この機能を実現することができることを示す。
論文 参考訳（メタデータ） (2023-11-17T15:22:59Z) - Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。
私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
論文 参考訳（メタデータ） (2023-07-13T16:39:08Z) - Neural Routing in Meta Learning [9.070747377130472]
入力タスクに条件付けされたモデルの部分のみを選択的に使用することにより,現在のメタ学習アルゴリズムのモデル性能を向上させることを目指している。
本稿では、バッチ正規化層におけるスケーリング係数を活用することにより、深層畳み込みニューラルネットワーク(CNN)におけるタスク依存の動的ニューロン選択を研究するアプローチについて述べる。
提案手法であるニューラルルーティング・イン・メタラーニング(NRML)は,数ショットの分類タスクにおいて,既知のメタラーニングベースラインの1つである。
論文 参考訳（メタデータ） (2022-10-14T16:31:24Z) - MT-SNN: Spiking Neural Network that Enables Single-Tasking of Multiple
Tasks [0.0]
マルチタスクスパイクニューラルネットワーク(MT-SNN)を実装し、同時に2つ以上の分類タスクを学習し、同時に1つのタスクを実行する。
このネットワークは、Loihi2ニューロモルフィックチップ用のIntelのLavaプラットフォームを使って実装されている。
論文 参考訳（メタデータ） (2022-08-02T15:17:07Z) - Multi-Task Neural Processes [105.22406384964144]
我々はマルチタスク学習のためのニューラル・プロセスの新たな変種であるマルチタスク・ニューラル・プロセスを開発する。
特に,各タスク改善のための帰納的バイアスを提供するために,関数空間内の関連するタスクから伝達可能な知識を探索することを提案する。
その結果、マルチタスク学習におけるタスク間の有用な知識の伝達におけるマルチタスクニューラルプロセスの有効性が示された。
論文 参考訳（メタデータ） (2021-11-10T17:27:46Z) - One Network Fits All? Modular versus Monolithic Task Formulations in
Neural Networks [36.07011014271394]
単一のニューラルネットワークは,複合データセットから複数のタスクを同時に学習できることを示す。
このような組み合わせタスクの学習の複雑さは、タスクコードの複雑さとともにどのように成長するかを研究する。
論文 参考訳（メタデータ） (2021-03-29T01:16:42Z) - Deep Multimodal Neural Architecture Search [178.35131768344246]
様々なマルチモーダル学習タスクのための一般化された深層マルチモーダルニューラルアーキテクチャサーチ(MMnas)フレームワークを考案する。
マルチモーダル入力が与えられたら、まずプリミティブ演算のセットを定義し、その後、ディープエンコーダ-デコーダベースの統一バックボーンを構築する。
統合されたバックボーンの上にタスク固有のヘッドをアタッチして、異なるマルチモーダル学習タスクに取り組む。
論文 参考訳（メタデータ） (2020-04-25T07:00:32Z) - The Microsoft Toolkit of Multi-Task Deep Neural Networks for Natural
Language Understanding [97.85957811603251]
MT-DNNはオープンソースの自然言語理解(NLU)ツールキットであり、研究者や開発者がカスタマイズされたディープラーニングモデルを訓練しやすくする。
PyTorchとTransformersをベースとして開発されたMT-DNNは、幅広いNLUタスクの迅速なカスタマイズを容易にするように設計されている。
MT-DNNのユニークな特徴は、対戦型マルチタスク学習パラダイムを用いた堅牢で移動可能な学習のサポートである。
論文 参考訳（メタデータ） (2020-02-19T03:05:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。