論文の概要: Deep Multi-Fidelity Active Learning of High-dimensional Outputs
- arxiv url: http://arxiv.org/abs/2012.00901v1
- Date: Wed, 2 Dec 2020 00:02:31 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-30 17:37:57.402043
- Title: Deep Multi-Fidelity Active Learning of High-dimensional Outputs
- Title(参考訳): 高次元出力の多次元能動学習
- Authors: Shibo Li, Robert M. Kirby, Shandian Zhe
- Abstract要約: 我々は,高次元出力で学習するためのディープニューラルネットワークに基づく多忠実度モデルを開発した。
次に,予測エントロピーの原理を拡張する情報に基づく相互獲得関数を提案する。
計算物理学と工学設計のいくつかの応用において,本手法の利点を示す。
- 参考スコア(独自算出の注目度): 17.370056935194786
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Many applications, such as in physical simulation and engineering design,
demand we estimate functions with high-dimensional outputs. The training
examples can be collected with different fidelities to allow a cost/accuracy
trade-off. In this paper, we consider the active learning task that identifies
both the fidelity and input to query new training examples so as to achieve the
best benefit-cost ratio. To this end, we propose DMFAL, a Deep Multi-Fidelity
Active Learning approach. We first develop a deep neural network-based
multi-fidelity model for learning with high-dimensional outputs, which can
flexibly, efficiently capture all kinds of complex relationships across the
outputs and fidelities to improve prediction. We then propose a mutual
information-based acquisition function that extends the predictive entropy
principle. To overcome the computational challenges caused by large output
dimensions, we use multi-variate Delta's method and moment-matching to estimate
the output posterior, and Weinstein-Aronszajn identity to calculate and
optimize the acquisition function. The computation is tractable, reliable and
efficient. We show the advantage of our method in several applications of
computational physics and engineering design.
- Abstract(参考訳): 物理シミュレーションや工学設計などの多くの応用では、高次元の出力を持つ関数を推定する必要がある。
トレーニング例は、コスト/精度のトレードオフを可能にするために、さまざまな忠実度で収集することができる。
本稿では,新たなトレーニング事例を探索し,有効性とインプットの両方を識別する能動的学習タスクについて考察する。
そこで本研究では,Deep Multi-Fidelity Active LearningアプローチであるDMFALを提案する。
まず、高次元出力で学習するディープニューラルネットワークに基づく多要素モデルを開発し、このモデルにより、出力と忠実さのあらゆる種類の複雑な関係を柔軟に、効率的に捕捉し、予測を改善することができる。
次に,予測エントロピー原理を拡張する相互情報に基づく獲得関数を提案する。
大きな出力次元によって生じる計算上の課題を克服するために、多変量デルタ法とモーメントマッチングを用いて出力の後方推定を行い、weinstein-aronszajn id を用いて取得関数の計算と最適化を行う。
計算は扱いやすく、信頼性があり、効率的である。
計算物理学と工学設計のいくつかの応用において,本手法の利点を示す。
関連論文リスト
- When Parameter-efficient Tuning Meets General-purpose Vision-language
Models [65.19127815275307]
PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。
実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
論文 参考訳(メタデータ) (2023-12-16T17:13:08Z) - Multi-Resolution Active Learning of Fourier Neural Operators [35.32147657972097]
本稿では,FNO(MRA-FNO)の多解能動学習を提案する。
具体的には,確率的多分解能FNOを提案し,モンテカルロのアンサンブルを用いて効果的な後部推論アルゴリズムを提案する。
いくつかのベンチマーク演算子学習タスクにおいて,本手法の利点を示した。
論文 参考訳(メタデータ) (2023-09-29T04:41:27Z) - A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳(メタデータ) (2023-09-02T11:01:16Z) - Disentangled Multi-Fidelity Deep Bayesian Active Learning [19.031567953748453]
マルチ忠実能動学習は、入力パラメータからシミュレーション出力への直接マッピングを最も高い忠実度で学習することを目的としている。
深層学習に基づく手法は、しばしば隠れ表現に階層構造を課し、低忠実度から高忠実度への情報伝達のみをサポートする。
本稿では,D-MFDAL(Disentangled Multi-fidelity Deep Bayesian Active Learning)と呼ばれる新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-07T23:14:58Z) - Batch Multi-Fidelity Active Learning with Budget Constraints [37.420149663263835]
Batch Multi-Fidelity Active Learning with Budget Constraints (BMFAL-BC)
本稿では,多要素クエリのバッチと対象関数間の相互情報を計測する新しいバッチ取得関数を提案する。
計算物理学と工学のいくつかの応用において,本手法の利点を示す。
論文 参考訳(メタデータ) (2022-10-23T11:39:56Z) - Offline Reinforcement Learning with Differentiable Function
Approximation is Provably Efficient [65.08966446962845]
歴史的データを用いて意思決定戦略を最適化することを目的としたオフライン強化学習は、現実の応用に広く適用されている。
微分関数クラス近似(DFA)を用いたオフライン強化学習の検討から一歩踏み出した。
最も重要なことは、悲観的な適合Q-ラーニングアルゴリズムを解析することにより、オフライン微分関数近似が有効であることを示すことである。
論文 参考訳(メタデータ) (2022-10-03T07:59:42Z) - Infinite-Fidelity Coregionalization for Physical Simulation [22.524773932668023]
多要素モデリングと学習は、物理シミュレーション関連の応用において重要である。
Infinite Fidelity Co Regionalalization (IFC) を提案する。
計算物理学におけるいくつかのベンチマークタスクにおいて,本手法の利点を示す。
論文 参考訳(メタデータ) (2022-07-01T23:01:10Z) - Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。
我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。
コア最適化問題の実用的なパラメトリゼーションを提供する。
論文 参考訳(メタデータ) (2021-07-08T18:01:02Z) - Active Importance Sampling for Variational Objectives Dominated by Rare
Events: Consequences for Optimization and Generalization [12.617078020344618]
本稿では,レアイベントサンプリング手法とニューラルネットワーク最適化を組み合わせて,レアイベントに支配される目的関数を最適化する手法を提案する。
重要度サンプリングは学習問題に対する解の分散を減少させ,一般化の利点を示唆することを示す。
数値実験により,高次元データと希少データの複合化が困難である場合でも,学習を成功させることができた。
論文 参考訳(メタデータ) (2020-08-11T23:38:09Z) - Task-Feature Collaborative Learning with Application to Personalized
Attribute Prediction [166.87111665908333]
本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。
具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。
実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
論文 参考訳(メタデータ) (2020-04-29T02:32:04Z) - Continual Learning using a Bayesian Nonparametric Dictionary of Weight
Factors [75.58555462743585]
訓練されたニューラルネットワークは、シーケンシャルなタスク設定で破滅的な忘れを経験する傾向がある。
Indian Buffet Process (IBP) に基づく原則的非パラメトリック手法を提案する。
連続学習ベンチマークにおける本手法の有効性を実証し、トレーニングを通して重み要因の配分と再利用方法を分析する。
論文 参考訳(メタデータ) (2020-04-21T15:20:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。