論文の概要: Deep Multi-Fidelity Active Learning of High-dimensional Outputs

• arxiv url: http://arxiv.org/abs/2012.00901v1
• Date: Wed, 2 Dec 2020 00:02:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-30 17:37:57.402043
• Title: Deep Multi-Fidelity Active Learning of High-dimensional Outputs
• Title（参考訳）: 高次元出力の多次元能動学習
• Authors: Shibo Li, Robert M. Kirby, Shandian Zhe
• Abstract要約: 我々は,高次元出力で学習するためのディープニューラルネットワークに基づく多忠実度モデルを開発した。 次に,予測エントロピーの原理を拡張する情報に基づく相互獲得関数を提案する。 計算物理学と工学設計のいくつかの応用において,本手法の利点を示す。
• 参考スコア（独自算出の注目度）: 17.370056935194786
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many applications, such as in physical simulation and engineering design, demand we estimate functions with high-dimensional outputs. The training examples can be collected with different fidelities to allow a cost/accuracy trade-off. In this paper, we consider the active learning task that identifies both the fidelity and input to query new training examples so as to achieve the best benefit-cost ratio. To this end, we propose DMFAL, a Deep Multi-Fidelity Active Learning approach. We first develop a deep neural network-based multi-fidelity model for learning with high-dimensional outputs, which can flexibly, efficiently capture all kinds of complex relationships across the outputs and fidelities to improve prediction. We then propose a mutual information-based acquisition function that extends the predictive entropy principle. To overcome the computational challenges caused by large output dimensions, we use multi-variate Delta's method and moment-matching to estimate the output posterior, and Weinstein-Aronszajn identity to calculate and optimize the acquisition function. The computation is tractable, reliable and efficient. We show the advantage of our method in several applications of computational physics and engineering design.
• Abstract（参考訳）: 物理シミュレーションや工学設計などの多くの応用では、高次元の出力を持つ関数を推定する必要がある。 トレーニング例は、コスト/精度のトレードオフを可能にするために、さまざまな忠実度で収集することができる。 本稿では,新たなトレーニング事例を探索し,有効性とインプットの両方を識別する能動的学習タスクについて考察する。 そこで本研究では,Deep Multi-Fidelity Active LearningアプローチであるDMFALを提案する。 まず、高次元出力で学習するディープニューラルネットワークに基づく多要素モデルを開発し、このモデルにより、出力と忠実さのあらゆる種類の複雑な関係を柔軟に、効率的に捕捉し、予測を改善することができる。 次に,予測エントロピー原理を拡張する相互情報に基づく獲得関数を提案する。 大きな出力次元によって生じる計算上の課題を克服するために、多変量デルタ法とモーメントマッチングを用いて出力の後方推定を行い、weinstein-aronszajn id を用いて取得関数の計算と最適化を行う。 計算は扱いやすく、信頼性があり、効率的である。 計算物理学と工学設計のいくつかの応用において,本手法の利点を示す。

関連論文リスト

• Predicting Probabilities of Error to Combine Quantization and Early Exiting: QuEE [68.6018458996143]
  本稿では,量子化と早期出口動的ネットワークを組み合わせたより一般的な動的ネットワークQuEEを提案する。 我々のアルゴリズムは、ソフトアーリーエグジットや入力依存圧縮の一形態と見なすことができる。 提案手法の重要な要素は、さらなる計算によって実現可能な潜在的な精度向上の正確な予測である。
  論文  参考訳（メタデータ） (2024-06-20T15:25:13Z)
• Towards Efficient Pareto Set Approximation via Mixture of Experts Based Model Fusion [53.33473557562837]
  大規模深層ニューラルネットワークに対する多目的最適化問題を解くことは、損失ランドスケープの複雑さと高価な計算コストのために難しい課題である。 本稿では,専門家(MoE)をベースとしたモデル融合を用いて,この問題を実用的でスケーラブルに解決する手法を提案する。 特殊な単一タスクモデルの重みをまとめることで、MoEモジュールは複数の目的間のトレードオフを効果的に捉えることができる。
  論文  参考訳（メタデータ） (2024-06-14T07:16:18Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Disentangled Multi-Fidelity Deep Bayesian Active Learning [19.031567953748453]
  マルチ忠実能動学習は、入力パラメータからシミュレーション出力への直接マッピングを最も高い忠実度で学習することを目的としている。 深層学習に基づく手法は、しばしば隠れ表現に階層構造を課し、低忠実度から高忠実度への情報伝達のみをサポートする。 本稿では,D-MFDAL(Disentangled Multi-fidelity Deep Bayesian Active Learning)と呼ばれる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-07T23:14:58Z)
• Batch Multi-Fidelity Active Learning with Budget Constraints [37.420149663263835]
  Batch Multi-Fidelity Active Learning with Budget Constraints (BMFAL-BC) 本稿では,多要素クエリのバッチと対象関数間の相互情報を計測する新しいバッチ取得関数を提案する。 計算物理学と工学のいくつかの応用において,本手法の利点を示す。
  論文  参考訳（メタデータ） (2022-10-23T11:39:56Z)
• Offline Reinforcement Learning with Differentiable Function Approximation is Provably Efficient [65.08966446962845]
  歴史的データを用いて意思決定戦略を最適化することを目的としたオフライン強化学習は、現実の応用に広く適用されている。 微分関数クラス近似(DFA)を用いたオフライン強化学習の検討から一歩踏み出した。 最も重要なことは、悲観的な適合Q-ラーニングアルゴリズムを解析することにより、オフライン微分関数近似が有効であることを示すことである。
  論文  参考訳（メタデータ） (2022-10-03T07:59:42Z)
• Infinite-Fidelity Coregionalization for Physical Simulation [22.524773932668023]
  多要素モデリングと学習は、物理シミュレーション関連の応用において重要である。 Infinite Fidelity Co Regionalalization (IFC) を提案する。 計算物理学におけるいくつかのベンチマークタスクにおいて,本手法の利点を示す。
  論文  参考訳（メタデータ） (2022-07-01T23:01:10Z)
• Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
  マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。 我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。 コア最適化問題の実用的なパラメトリゼーションを提供する。
  論文  参考訳（メタデータ） (2021-07-08T18:01:02Z)
• Active Importance Sampling for Variational Objectives Dominated by Rare Events: Consequences for Optimization and Generalization [12.617078020344618]
  本稿では,レアイベントサンプリング手法とニューラルネットワーク最適化を組み合わせて,レアイベントに支配される目的関数を最適化する手法を提案する。 重要度サンプリングは学習問題に対する解の分散を減少させ,一般化の利点を示唆することを示す。 数値実験により,高次元データと希少データの複合化が困難である場合でも,学習を成功させることができた。
  論文  参考訳（メタデータ） (2020-08-11T23:38:09Z)
• Multi-Fidelity Bayesian Optimization via Deep Neural Networks [19.699020509495437]
  多くのアプリケーションでは、目的関数を複数の忠実度で評価することで、コストと精度のトレードオフを可能にする。 本稿では,DNN-MFBO(Deep Neural Network Multi-Fidelity Bayesian Optimization)を提案する。 本手法の利点は, 総合的なベンチマークデータセットと, 工学設計における実世界の応用の両方にある。
  論文  参考訳（メタデータ） (2020-07-06T23:28:40Z)
• Continual Learning using a Bayesian Nonparametric Dictionary of Weight Factors [75.58555462743585]
  訓練されたニューラルネットワークは、シーケンシャルなタスク設定で破滅的な忘れを経験する傾向がある。 Indian Buffet Process (IBP) に基づく原則的非パラメトリック手法を提案する。 連続学習ベンチマークにおける本手法の有効性を実証し、トレーニングを通して重み要因の配分と再利用方法を分析する。
  論文  参考訳（メタデータ） (2020-04-21T15:20:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。