論文の概要: Zeroth-Order SciML: Non-intrusive Integration of Scientific Software with Deep Learning

• arxiv url: http://arxiv.org/abs/2206.02785v1
• Date: Sat, 4 Jun 2022 17:52:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-11 14:55:26.168829
• Title: Zeroth-Order SciML: Non-intrusive Integration of Scientific Software with Deep Learning
• Title（参考訳）: Zeroth-Order SciML: ディープラーニングによる科学ソフトウェアの非侵襲的な統合
• Authors: Ioannis Tsaknakis, Bhavya Kailkhura, Sijia Liu, Donald Loveland, James Diffenderfer, Anna Maria Hiszpanski, Mingyi Hong
• Abstract要約: 本稿では,SKSと深層学習(DL)の学習プロセスを統合することを提案する。 既存の知識統合アプローチは、一階のDLトレーニングパラダイムと互換性のある差別化可能な知識ソースを使用することに限定されます。 提案手法は、DLトレーニングと科学的知識を効果的に統合し、データ限定科学応用のための純粋にデータ駆動モデルより優れていることを示す。
• 参考スコア（独自算出の注目度）: 46.924429562606086
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Using deep learning (DL) to accelerate and/or improve scientific workflows can yield discoveries that are otherwise impossible. Unfortunately, DL models have yielded limited success in complex scientific domains due to large data requirements. In this work, we propose to overcome this issue by integrating the abundance of scientific knowledge sources (SKS) with the DL training process. Existing knowledge integration approaches are limited to using differentiable knowledge source to be compatible with first-order DL training paradigm. In contrast, our proposed approach treats knowledge source as a black-box in turn allowing to integrate virtually any knowledge source. To enable an end-to-end training of SKS-coupled-DL, we propose to use zeroth-order optimization (ZOO) based gradient-free training schemes, which is non-intrusive, i.e., does not require making any changes to the SKS. We evaluate the performance of our ZOO training scheme on two real-world material science applications. We show that proposed scheme is able to effectively integrate scientific knowledge with DL training and is able to outperform purely data-driven model for data-limited scientific applications. We also discuss some limitations of the proposed method and mention potentially worthwhile future directions.
• Abstract（参考訳）: 深層学習(DL)を用いて科学ワークフローを加速または改善することは、そうでなければ不可能な発見をもたらす。 残念なことに、DLモデルは大量のデータ要求のために複雑な科学領域で限られた成功を収めた。 本研究では,学術知識源(SKS)をDL学習プロセスに統合することにより,この問題を克服することを提案する。 既存の知識統合アプローチは、一階のDLトレーニングパラダイムと互換性のある異なる知識ソースを使用することに限定されます。 対照的に,提案手法では,知識ソースをブラックボックスとして扱うことで,事実上あらゆる知識ソースを統合することができる。 SKS結合DLのエンドツーエンドのトレーニングを可能にするため、ゼロ階最適化(ZOO)に基づく勾配のないトレーニングスキームを提案する。 2つの実世界の物質科学応用におけるZOOトレーニングスキームの性能評価を行った。 提案手法は,dl訓練と科学的知識を効果的に統合でき,データ制限型科学応用において純粋データ駆動モデルよりも優れることを示す。 また,提案手法の限界についても論じ,将来的な方向性を示す。

関連論文リスト

• KBAlign: Efficient Self Adaptation on Specific Knowledge Bases [75.78948575957081]
  大規模言語モデル(LLM)は通常、知識材料を瞬時に活用するために、検索強化世代に依存している。 本稿では,知識ベースを含む下流タスクへの効率的な適応を目的としたKBAlignを提案する。 提案手法は,Q&Aペアやリビジョン提案などの自己注釈付きデータを用いて反復学習を行い,モデルが知識内容を効率的に把握できるようにする。
  論文  参考訳（メタデータ） (2024-11-22T08:21:03Z)
• Multi-Stage Knowledge Integration of Vision-Language Models for Continual Learning [79.46570165281084]
  蒸留法における人間の学習過程をエミュレートするマルチステージ知識統合ネットワーク(MulKI)を提案する。 Mulkiは、イデオロギーの排除、新しいイデオロギーの追加、イデオロギーの排除、コネクティクスの作りという4つの段階を通じてこれを達成している。 提案手法は,下流タスク間の連続学習をサポートしながら,ゼロショット能力の維持における大幅な改善を示す。
  論文  参考訳（メタデータ） (2024-11-11T07:36:19Z)
• Mind the Interference: Retaining Pre-trained Knowledge in Parameter Efficient Continual Learning of Vision-Language Models [79.28821338925947]
  ドメインクラスのインクリメンタル学習は現実的だが、継続的な学習シナリオである。 これらの多様なタスクに対処するために、事前訓練されたビジョンランゲージモデル(VLM)を導入し、その強力な一般化性を実現する。 事前訓練されたVLMにエンコードされた知識は、新しいタスクに適応する際に妨げられ、固有のゼロショット能力を損なう。 既存の手法では、膨大なオーバーヘッドを必要とする余分なデータセットに知識蒸留でVLMをチューニングすることで、この問題に対処している。 我々は、事前学習した知識を保持できるDIKI(Distributed-Aware Interference-free Knowledge Integration)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-07T12:19:37Z)
• Science-Informed Deep Learning (ScIDL) With Applications to Wireless Communications [11.472232944923558]
  本稿では,ScIDL(Science-informed Deep Learning)に関するチュートリアルを紹介する。 ScIDLは、既存の科学知識をDL技術と統合し、より強力なアルゴリズムを開発することを目的としている。 我々は、ScidLの最近の応用と、無線通信分野における今後の研究方向性について論じる。
  論文  参考訳（メタデータ） (2024-06-29T02:35:39Z)
• Using Gradient to Boost the Generalization Performance of Deep Learning Models for Fluid Dynamics [0.0]
  本稿では,Deep Learningの一般化能力を高めるための新しい研究について述べる。 我々の戦略は、DLネットワークのより良い一般化に向けた良い結果を示している。
  論文  参考訳（メタデータ） (2022-10-09T10:20:09Z)
• EXPANSE: A Deep Continual / Progressive Learning System for Deep Transfer Learning [1.1024591739346294]
  現在のDTL技術は、破滅的な忘れジレンマまたは過度に偏った事前訓練モデルに悩まされている。 本稿では,これらの制約に対処する深層移動学習のための新しい連続的・進行的学習手法を提案する。 私たちは、人間の教育システムにインスパイアされたディープラーニングモデルをトレーニングする新しい方法を提供する。
  論文  参考訳（メタデータ） (2022-05-19T03:54:58Z)
• CosSGD: Nonlinear Quantization for Communication-efficient Federated Learning [62.65937719264881]
  フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。 圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。 本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
  論文  参考訳（メタデータ） (2020-12-15T12:20:28Z)
• Transfer Learning without Knowing: Reprogramming Black-box Machine Learning Models with Scarce Data and Limited Resources [78.72922528736011]
  そこで我々は,ブラックボックス・アタベラル・リプログラミング (BAR) という新しい手法を提案する。 ゼロオーダー最適化とマルチラベルマッピング技術を用いて、BARは入力出力応答のみに基づいてブラックボックスMLモデルをプログラムする。 BARは最先端の手法より優れ、バニラ対逆プログラミング法に匹敵する性能を得る。
  論文  参考訳（メタデータ） (2020-07-17T01:52:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。