論文の概要: Batch Multi-Fidelity Active Learning with Budget Constraints

• arxiv url: http://arxiv.org/abs/2210.12704v1
• Date: Sun, 23 Oct 2022 11:39:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 18:23:38.518072
• Title: Batch Multi-Fidelity Active Learning with Budget Constraints
• Title（参考訳）: 予算制約付きバッチマルチ忠実度アクティブラーニング
• Authors: Shibo Li, Jeff M. Phillips, Xin Yu, Robert M. Kirby, and Shandian Zhe
• Abstract要約: Batch Multi-Fidelity Active Learning with Budget Constraints (BMFAL-BC) 本稿では,多要素クエリのバッチと対象関数間の相互情報を計測する新しいバッチ取得関数を提案する。 計算物理学と工学のいくつかの応用において,本手法の利点を示す。
• 参考スコア（独自算出の注目度）: 37.420149663263835
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning functions with high-dimensional outputs is critical in many applications, such as physical simulation and engineering design. However, collecting training examples for these applications is often costly, e.g. by running numerical solvers. The recent work (Li et al., 2022) proposes the first multi-fidelity active learning approach for high-dimensional outputs, which can acquire examples at different fidelities to reduce the cost while improving the learning performance. However, this method only queries at one pair of fidelity and input at a time, and hence has a risk to bring in strongly correlated examples to reduce the learning efficiency. In this paper, we propose Batch Multi-Fidelity Active Learning with Budget Constraints (BMFAL-BC), which can promote the diversity of training examples to improve the benefit-cost ratio, while respecting a given budget constraint for batch queries. Hence, our method can be more practically useful. Specifically, we propose a novel batch acquisition function that measures the mutual information between a batch of multi-fidelity queries and the target function, so as to penalize highly correlated queries and encourages diversity. The optimization of the batch acquisition function is challenging in that it involves a combinatorial search over many fidelities while subject to the budget constraint. To address this challenge, we develop a weighted greedy algorithm that can sequentially identify each (fidelity, input) pair, while achieving a near $(1 - 1/e)$-approximation of the optimum. We show the advantage of our method in several computational physics and engineering applications.
• Abstract（参考訳）: 高次元出力を持つ学習関数は、物理シミュレーションや工学設計など多くの応用において重要である。 しかし、これらのアプリケーションのトレーニング例の収集は、例えば数値解法を実行するなど、コストがかかることが多い。 最近の研究(Li et al., 2022)では、高次元出力のための最初の多要素能動学習手法が提案されている。 しかし,本手法は一度に1対の忠実度と入力度しかクエリできないため,学習効率を低下させるために,強い相関例をもたらすリスクがある。 本稿では,バッチクエリに対して与えられた予算制約を尊重しつつ,訓練例の多様性を促進し,費用対効果を向上させるために,予算制約付きバッチマルチ忠実度アクティブラーニング(bmfal-bc)を提案する。 したがって,本手法はより実用的に有用である。 具体的には,マルチ忠実度問合せのバッチと対象関数の相互情報を計測し,高い相関性を有する問合せをペナライズし,多様性を促進する新しいバッチ獲得関数を提案する。 バッチ獲得関数の最適化は、予算制約に従わずに多くのフィデリティの組合せ探索を伴うという点で困難である。 この課題に対処するために,各ペア(忠実度,入力)を逐次識別できる重み付き欲望アルゴリズムを開発した。 計算物理学および工学の応用において,本手法の利点を示す。

関連論文リスト

• Optimization by Parallel Quasi-Quantum Annealing with Gradient-Based Sampling [0.0]
  本研究では、連続緩和による勾配に基づく更新と準量子アナリング(QQA)を組み合わせた別のアプローチを提案する。 数値実験により,本手法はiSCOと学習型解法に匹敵する性能を有する汎用解法であることが示された。
  論文  参考訳（メタデータ） (2024-09-02T12:55:27Z)
• Multi-Resolution Active Learning of Fourier Neural Operators [33.63483360957646]
  本稿では,FNO(MRA-FNO)の多解能動的学習を提案する。 具体的には,確率的多分解能FNOを提案し,モンテカルロのアンサンブルを用いて効果的な後部推論アルゴリズムを提案する。 いくつかのベンチマーク演算子学習タスクにおいて,本手法の利点を示した。
  論文  参考訳（メタデータ） (2023-09-29T04:41:27Z)
• BatchGFN: Generative Flow Networks for Batch Active Learning [80.73649229919454]
  BatchGFNは、生成フローネットワークを使用してバッチ報酬に比例したデータポイントのセットをサンプリングする、プールベースのアクティブラーニングのための新しいアプローチである。 提案手法は,おもちゃの回帰問題において,1点当たり1回の前方通過で推定時間に近距離最適効用バッチをサンプリングすることを可能にした。
  論文  参考訳（メタデータ） (2023-06-26T20:41:36Z)
• OverPrompt: Enhancing ChatGPT through Efficient In-Context Learning [49.38867353135258]
  複数のタスク入力を処理するために,LLMのコンテキスト内学習機能を活用したOverPromptを提案する。 本実験により,OverPromptはタスク性能を著しく損なうことなく,コスト効率の良いゼロショット分類を実現することができることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T10:08:04Z)
• Multi-task Bias-Variance Trade-off Through Functional Constraints [102.64082402388192]
  マルチタスク学習は、多様なタスクによく機能する関数の集合を取得することを目的としている。 本稿では,2つの極端な学習シナリオ,すなわちすべてのタスクに対する単一関数と,他のタスクを無視するタスク固有関数から直感を抽出する。 本稿では,集中関数に対するドメイン固有解を強制する制約付き学習定式化を導入する。
  論文  参考訳（メタデータ） (2022-10-27T16:06:47Z)
• Mitigating Gradient Bias in Multi-objective Learning: A Provably Convergent Stochastic Approach [38.76462300149459]
  我々は多目的勾配最適化のための多目的補正法(MoCo)を開発した。 本手法の特長は,非公正勾配を増大させることなく収束を保証できる点である。
  論文  参考訳（メタデータ） (2022-10-23T05:54:26Z)
• Batch Active Learning at Scale [39.26441165274027]
  バッチクエリをラベル付けオラクルに適応的に発行するバッチアクティブラーニングは、この問題に対処するための一般的なアプローチである。 本研究では,大規模なバッチ設定に着目した効率的な能動学習アルゴリズムを解析する。 本研究では,不確実性と多様性の概念を組み合わせたサンプリング手法について,従来より数桁大きなバッチサイズ(100K-1M)に容易にスケール可能であることを示す。
  論文  参考訳（メタデータ） (2021-07-29T18:14:05Z)
• Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
  マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。 我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。 コア最適化問題の実用的なパラメトリゼーションを提供する。
  論文  参考訳（メタデータ） (2021-07-08T18:01:02Z)
• Deep Multi-Fidelity Active Learning of High-dimensional Outputs [17.370056935194786]
  我々は,高次元出力で学習するためのディープニューラルネットワークに基づく多忠実度モデルを開発した。 次に,予測エントロピーの原理を拡張する情報に基づく相互獲得関数を提案する。 計算物理学と工学設計のいくつかの応用において,本手法の利点を示す。
  論文  参考訳（メタデータ） (2020-12-02T00:02:31Z)
• Multi-task Supervised Learning via Cross-learning [102.64082402388192]
  我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。 我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。 これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
  論文  参考訳（メタデータ） (2020-10-24T21:35:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。