Fugu-MT 論文翻訳(概要): Multi-Fidelity Bayesian Optimization With Across-Task Transferable Max-Value Entropy Search

論文の概要: Multi-Fidelity Bayesian Optimization With Across-Task Transferable Max-Value Entropy Search

arxiv url: http://arxiv.org/abs/2403.09570v2
Date: Wed, 24 Apr 2024 16:37:02 GMT
ステータス: 処理完了
システム内更新日: 2024-04-26 23:27:32.626649
Title: Multi-Fidelity Bayesian Optimization With Across-Task Transferable Max-Value Entropy Search
Title（参考訳）: Across-Task Transferable Max-Value Entropy Search を用いた多要素ベイズ最適化
Authors: Yunchuan Zhang, Sangwoo Park, Osvaldo Simeone,
Abstract要約: 本稿では,現在のタスクに関する情報を取得する必要性と,将来的なタスクに伝達可能な情報を集めることのバランスをとる新しい情報理論獲得機能を提案する。実世界の実世界の実例にまたがる実験結果から,提案手法が十分なタスク数を処理すると,最適化効率を大幅に向上できることが明らかとなった。
参考スコア（独自算出の注目度）: 36.14499894307206
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In many applications, ranging from logistics to engineering, a designer is faced with a sequence of optimization tasks for which the objectives are in the form of black-box functions that are costly to evaluate. For example, the designer may need to tune the hyperparameters of neural network models for different learning tasks over time. Rather than evaluating the objective function for each candidate solution, the designer may have access to approximations of the objective functions, for which higher-fidelity evaluations entail a larger cost. Existing multi-fidelity black-box optimization strategies select candidate solutions and fidelity levels with the goal of maximizing the information accrued about the optimal value or solution for the current task. Assuming that successive optimization tasks are related, this paper introduces a novel information-theoretic acquisition function that balances the need to acquire information about the current task with the goal of collecting information transferable to future tasks. The proposed method includes shared inter-task latent variables, which are transferred across tasks by implementing particle-based variational Bayesian updates. Experimental results across synthetic and real-world examples reveal that the proposed provident acquisition strategy that caters to future tasks can significantly improve the optimization efficiency as soon as a sufficient number of tasks is processed.
Abstract（参考訳）: 多くのアプリケーションにおいて、ロジスティクスからエンジニアリングまで、設計者は、その目的が評価にコストがかかるブラックボックス関数の形で、一連の最適化タスクに直面している。例えば、デザイナは、時間とともに異なる学習タスクのために、ニューラルネットワークモデルのハイパーパラメータを調整する必要があるかもしれない。各候補解に対する目的関数を評価するのではなく、設計者は目的関数の近似にアクセスでき、高い忠実度評価はより大きなコストを伴う。既存のマルチフィデリティブラックボックス最適化戦略では、現在のタスクの最適値や解に関する情報を最大化することを目的として、候補解とフィデリティレベルを選択する。逐次最適化タスクが関連していると仮定すると,本論文では,現在のタスクに関する情報を取得する必要性と,将来のタスクに転送可能な情報収集の目標とのバランスをとる,新たな情報理論獲得機能を導入する。提案手法は,タスク間で伝達されるタスク間潜伏変数の共有を含む。実世界の実世界の実例にまたがる実験結果から,将来的な課題に適合する提案した提案手法が,十分な数のタスクを処理すれば,最適化効率を大幅に向上できることがわかった。

関連論文リスト

Optima: Optimizing Effectiveness and Efficiency for LLM-Based Multi-Agent System [75.25394449773052]
大規模言語モデル (LLM) に基づくマルチエージェントシステム (MAS) は協調的問題解決において顕著な可能性を示している。通信効率の低下、スケーラビリティの低下、効果的なパラメータ更新方法の欠如などです。本稿では,コミュニケーション効率とタスク効率を両立させ,これらの課題に対処する新しいフレームワークOptimaを提案する。
論文参考訳（メタデータ） (2024-10-10T17:00:06Z)
End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
論文参考訳（メタデータ） (2024-02-12T16:33:35Z)
Bayesian Inverse Transfer in Evolutionary Multiobjective Optimization [29.580786235313987]
InvTrEMO(InvTrEMO)の第1回リバーストランスファー・マルチオブジェクト(InvTrEMO)を紹介する。 InvTrEMOは、決定空間がタスク間で正確に整合していない場合でも、多くの一般的な領域で共通の目的関数を利用する。 InvTrEMOは、高い精度の逆モデルを重要な副産物とし、オンデマンドで調整されたソリューションの生成を可能にする。
論文参考訳（メタデータ） (2023-12-22T14:12:18Z)
Achieving Diversity in Objective Space for Sample-efficient Search of Multiobjective Optimization Problems [4.732915763557618]
本稿では,LMS 取得機能を導入し,その挙動と特性を解析し,その実現可能性を示す。この手法は、意思決定者に対して、将来性のある設計決定の堅牢なプールを提供し、優れたソリューションの空間をよりよく理解するのに役立つ。
論文参考訳（メタデータ） (2023-06-23T20:42:22Z)
DeepHive: A multi-agent reinforcement learning approach for automated discovery of swarm-based optimization policies [0.0]
Swarm内の各エージェントの状態は、設計空間内の現在の位置と関数値として定義される。提案手法は,様々なベンチマーク最適化関数を用いて検証し,他のグローバル最適化手法との比較を行った。
論文参考訳（メタデータ） (2023-03-29T18:08:08Z)
Transfer Learning for Bayesian Optimization: A Survey [29.229660973338145]
ブラックボックス最適化は、このような高価なブラックボックス機能をモデル化し、最適化する強力なツールである。 BOコミュニティの研究者たちは、最適化プロセスの高速化にトランスファーラーニングの精神を取り入れることを提案する。
論文参考訳（メタデータ） (2023-02-12T14:37:25Z)
Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
統計的決定論の研究からシャノンエントロピーの一般化を考える。まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
論文参考訳（メタデータ） (2022-10-04T04:43:58Z)
Are we Forgetting about Compositional Optimisers in Bayesian Optimisation? [66.39551991177542]
本稿では,グローバル最適化のためのサンプル手法を提案する。この中、重要なパフォーマンス決定の自明さは、取得機能を最大化することです。 3958実験における機能最適化手法の実証的利点を強調する。
論文参考訳（メタデータ） (2020-12-15T12:18:38Z)
Resource Aware Multifidelity Active Learning for Efficient Optimization [0.8717253904965373]
本稿では,ブラックボックス関数の最適化を高速化するためのリソース・アウェア・アクティブ・ラーニング(RAAL)戦略を紹介する。 RAAL戦略は最適化タスクの大幅な高速化を可能にするために、最適に複数のポイントを投入する。
論文参考訳（メタデータ） (2020-07-09T10:01:32Z)
Automatically Learning Compact Quality-aware Surrogates for Optimization Problems [55.94450542785096]
未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
論文参考訳（メタデータ） (2020-06-18T19:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。