論文の概要: Zeroth-Order SciML: Non-intrusive Integration of Scientific Software
with Deep Learning
- arxiv url: http://arxiv.org/abs/2206.02785v1
- Date: Sat, 4 Jun 2022 17:52:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-11 14:55:26.168829
- Title: Zeroth-Order SciML: Non-intrusive Integration of Scientific Software
with Deep Learning
- Title(参考訳): Zeroth-Order SciML: ディープラーニングによる科学ソフトウェアの非侵襲的な統合
- Authors: Ioannis Tsaknakis, Bhavya Kailkhura, Sijia Liu, Donald Loveland, James
Diffenderfer, Anna Maria Hiszpanski, Mingyi Hong
- Abstract要約: 本稿では,SKSと深層学習(DL)の学習プロセスを統合することを提案する。
既存の知識統合アプローチは、一階のDLトレーニングパラダイムと互換性のある差別化可能な知識ソースを使用することに限定されます。
提案手法は、DLトレーニングと科学的知識を効果的に統合し、データ限定科学応用のための純粋にデータ駆動モデルより優れていることを示す。
- 参考スコア(独自算出の注目度): 46.924429562606086
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Using deep learning (DL) to accelerate and/or improve scientific workflows
can yield discoveries that are otherwise impossible. Unfortunately, DL models
have yielded limited success in complex scientific domains due to large data
requirements. In this work, we propose to overcome this issue by integrating
the abundance of scientific knowledge sources (SKS) with the DL training
process. Existing knowledge integration approaches are limited to using
differentiable knowledge source to be compatible with first-order DL training
paradigm. In contrast, our proposed approach treats knowledge source as a
black-box in turn allowing to integrate virtually any knowledge source. To
enable an end-to-end training of SKS-coupled-DL, we propose to use zeroth-order
optimization (ZOO) based gradient-free training schemes, which is
non-intrusive, i.e., does not require making any changes to the SKS. We
evaluate the performance of our ZOO training scheme on two real-world material
science applications. We show that proposed scheme is able to effectively
integrate scientific knowledge with DL training and is able to outperform
purely data-driven model for data-limited scientific applications. We also
discuss some limitations of the proposed method and mention potentially
worthwhile future directions.
- Abstract(参考訳): 深層学習(DL)を用いて科学ワークフローを加速または改善することは、そうでなければ不可能な発見をもたらす。
残念なことに、DLモデルは大量のデータ要求のために複雑な科学領域で限られた成功を収めた。
本研究では,学術知識源(SKS)をDL学習プロセスに統合することにより,この問題を克服することを提案する。
既存の知識統合アプローチは、一階のDLトレーニングパラダイムと互換性のある異なる知識ソースを使用することに限定されます。
対照的に,提案手法では,知識ソースをブラックボックスとして扱うことで,事実上あらゆる知識ソースを統合することができる。
SKS結合DLのエンドツーエンドのトレーニングを可能にするため、ゼロ階最適化(ZOO)に基づく勾配のないトレーニングスキームを提案する。
2つの実世界の物質科学応用におけるZOOトレーニングスキームの性能評価を行った。
提案手法は,dl訓練と科学的知識を効果的に統合でき,データ制限型科学応用において純粋データ駆動モデルよりも優れることを示す。
また,提案手法の限界についても論じ,将来的な方向性を示す。
関連論文リスト
- InfuserKI: Enhancing Large Language Models with Knowledge Graphs via
Infuser-Guided Knowledge Integration [61.554209059971576]
大規模言語モデル(LLM)は、様々な領域にまたがる顕著なオープンジェネレーション機能を示している。
新しい知識を注入すると、以前に獲得した知識を忘れるリスクが生じる。
Infuser-Guided Knowledge Integration フレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-18T03:36:26Z) - Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning
Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。
課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。
我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。
トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文 参考訳(メタデータ) (2023-12-07T07:17:24Z) - Using Gradient to Boost the Generalization Performance of Deep Learning
Models for Fluid Dynamics [0.0]
本稿では,Deep Learningの一般化能力を高めるための新しい研究について述べる。
我々の戦略は、DLネットワークのより良い一般化に向けた良い結果を示している。
論文 参考訳(メタデータ) (2022-10-09T10:20:09Z) - EXPANSE: A Deep Continual / Progressive Learning System for Deep
Transfer Learning [1.1024591739346294]
現在のDTL技術は、破滅的な忘れジレンマまたは過度に偏った事前訓練モデルに悩まされている。
本稿では,これらの制約に対処する深層移動学習のための新しい連続的・進行的学習手法を提案する。
私たちは、人間の教育システムにインスパイアされたディープラーニングモデルをトレーニングする新しい方法を提供する。
論文 参考訳(メタデータ) (2022-05-19T03:54:58Z) - Model-Constrained Deep Learning Approaches for Inverse Problems [0.0]
ディープラーニング(DL)は純粋にデータ駆動であり、物理を必要としない。
元の形式におけるDL法は、基礎となる数学的モデルを尊重することができない。
一般非線形問題に対する定式化の直観を提示する。
論文 参考訳(メタデータ) (2021-05-25T16:12:39Z) - CosSGD: Nonlinear Quantization for Communication-efficient Federated
Learning [62.65937719264881]
フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。
圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。
本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
論文 参考訳(メタデータ) (2020-12-15T12:20:28Z) - Modeling Token-level Uncertainty to Learn Unknown Concepts in SLU via
Calibrated Dirichlet Prior RNN [98.4713940310056]
現代パーソナルアシスタントにおける音声言語理解(SLU)の主な課題は、発話から意味概念を抽出することである。
最近の研究では、疑問と回答を収集し、未知のデータを学習し、質問すべきである。
疑わしい監督なしにシーケンスの不確かさをモデル化するために、ソフトマックスベースのスロット充填ニューラルネットワークアーキテクチャを組み込んだ。
論文 参考訳(メタデータ) (2020-10-16T02:12:30Z) - Deep Learning in Science [0.0]
本稿では,科学におけるディープラーニングの拡散と影響について考察する。
我々はarXiv.orgの出版コーパスに対して自然言語処理(NLP)アプローチを用いる。
以上の結果から,DLは複雑な知識ランドスケープをナビゲートし,その構造を覆す自動操縦機として機能していないことが示唆された。
論文 参考訳(メタデータ) (2020-09-03T10:41:29Z) - Transfer Learning without Knowing: Reprogramming Black-box Machine
Learning Models with Scarce Data and Limited Resources [78.72922528736011]
そこで我々は,ブラックボックス・アタベラル・リプログラミング (BAR) という新しい手法を提案する。
ゼロオーダー最適化とマルチラベルマッピング技術を用いて、BARは入力出力応答のみに基づいてブラックボックスMLモデルをプログラムする。
BARは最先端の手法より優れ、バニラ対逆プログラミング法に匹敵する性能を得る。
論文 参考訳(メタデータ) (2020-07-17T01:52:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。