論文の概要: On the Effects of Heterogeneous Errors on Multi-fidelity Bayesian Optimization

• arxiv url: http://arxiv.org/abs/2309.02771v1
• Date: Wed, 6 Sep 2023 06:26:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-07 16:37:09.156403
• Title: On the Effects of Heterogeneous Errors on Multi-fidelity Bayesian Optimization
• Title（参考訳）: 多要素ベイズ最適化における不均一誤差の影響について
• Authors: Zahra Zanjani Foumani, Amin Yousefpour, Mehdi Shishehbor, Ramin Bostanabad
• Abstract要約: データソース毎にノイズモデルを学習するMFエミュレーション手法を提案する。 材料設計における分析例と工学的問題を通して,本手法の性能について解説する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bayesian optimization (BO) is a sequential optimization strategy that is increasingly employed in a wide range of areas including materials design. In real world applications, acquiring high-fidelity (HF) data through physical experiments or HF simulations is the major cost component of BO. To alleviate this bottleneck, multi-fidelity (MF) methods are used to forgo the sole reliance on the expensive HF data and reduce the sampling costs by querying inexpensive low-fidelity (LF) sources whose data are correlated with HF samples. However, existing multi-fidelity BO (MFBO) methods operate under the following two assumptions that rarely hold in practical applications: (1) LF sources provide data that are well correlated with the HF data on a global scale, and (2) a single random process can model the noise in the fused data. These assumptions dramatically reduce the performance of MFBO when LF sources are only locally correlated with the HF source or when the noise variance varies across the data sources. In this paper, we dispense with these incorrect assumptions by proposing an MF emulation method that (1) learns a noise model for each data source, and (2) enables MFBO to leverage highly biased LF sources which are only locally correlated with the HF source. We illustrate the performance of our method through analytical examples and engineering problems on materials design.
• Abstract（参考訳）: ベイズ最適化 (bayesian optimization, bo) は、材料設計を含む幅広い分野においてますます採用されている逐次最適化戦略である。 実世界のアプリケーションでは、物理実験やHFシミュレーションを通じて高忠実度(HF)データを取得することがBOの主要なコスト要素である。 このボトルネックを軽減するために、MF法は、高価なHFデータのみに依存することを防ぎ、HFサンプルと相関した安価な低密度(LF)ソースをクエリすることでサンプリングコストを削減する。 しかし、既存の多元性bo(mfbo)法は、(1)lfソースは、hfデータとグローバルスケールでよく相関するデータを提供し、(2)単一ランダムプロセスは、融合データのノイズをモデル化できるという、実用的応用ではめったにない2つの仮定の下で動作する。 これらの仮定は、LFソースがHFソースと局所的にのみ相関している場合や、データソース間でノイズのばらつきが変化する場合、MFBOの性能を劇的に低下させる。 本稿では,(1)データソース毎にノイズモデルを学習するMFエミュレーション法を提案し,(2)HFソースにのみ相関する高バイアスのLFソースをMFBOが利用できるようにすることにより,これらの誤った仮定を解消する。 材料設計に関する分析例と工学的課題から,本手法の性能について述べる。

関連論文リスト

• Collaboratively Learning Federated Models from Noisy Decentralized Data [21.3209961590772]
  フェデレーテッド・ラーニング(FL)は、エッジデバイスからのローカルデータを使用して機械学習モデルを協調訓練するための重要な方法として登場した。 本稿では,ラベルノイズと比較して探索されていない領域である入力空間におけるノイズデータの問題に焦点をあてる。 本稿では,FedNS (Federated Noise-Sifting) という雑音を考慮したFLアグリゲーション手法を提案する。
  論文  参考訳（メタデータ） (2024-09-03T18:00:51Z)
• Semi-Federated Learning: Convergence Analysis and Optimization of A Hybrid Learning Framework [70.83511997272457]
  本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。 我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
  論文  参考訳（メタデータ） (2023-10-04T03:32:39Z)
• Mitigating the Alignment Tax of RLHF [76.4300447532456]
  強化学習(Reinforcement Learning)とヒューマンフィードバック(Human Feedback)の下のLLMの調整は、事前訓練された能力(アライメント税(アライメント税)としても知られる)を忘れてしまう可能性がある。 最小アライメント税を課しながらアライメント性能を最大化するためのモデル平均化を提案する。 我々は,OpenLLaMA-3B上でのRLHFアルゴリズムによるHMAの性能評価を行い,さらにMistral-7Bまで拡張した。
  論文  参考訳（メタデータ） (2023-09-12T14:16:54Z)
• Analysis and Optimization of Wireless Federated Learning with Data Heterogeneity [72.85248553787538]
  本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。 ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。 実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-04T04:18:01Z)
• Multi-Source to Multi-Target Decentralized Federated Domain Adaptation [15.681197161658835]
  本稿では,デバイス間でのラベル付きおよびラベルなしデータの量/分布に着目する。 高品質なラベル付きデータを持つデバイスから高品質なラベル付きデータまたはラベルなしデータを持つデバイスへMLモデルの転送を検討する分散化されたドメイン適応手法を開発した。 我々の手法であるソースターゲット決定とリンク形成(ST-LF)は、デバイスをソースとターゲットに分類し、ソースとターゲットのリンク形成を最適化する。
  論文  参考訳（メタデータ） (2023-04-24T19:57:13Z)
• Probabilistic Neural Data Fusion for Learning from an Arbitrary Number of Multi-fidelity Data Sets [0.0]
  本稿では,データ融合にニューラルネットワーク(NN)を用いる。 本稿では,MFモデリングを非線形多様体学習問題に変換するユニークなNNアーキテクチャを提案する。 我々のアプローチは、様々な情報源の不確実性を定量化しながら、高い予測力を提供します。
  論文  参考訳（メタデータ） (2023-01-30T20:27:55Z)
• Multi-Fidelity Cost-Aware Bayesian Optimization [0.0]
  ベイズ最適化(BO)における一般的な戦略は、高忠実度データにのみ依存するのではなく、安価な低忠実度データを提供する情報ソースのアンサンブルを使用することである。 本稿では, 高効率, 整合性, 堅牢性の観点から, 最先端技術を劇的に向上させる多要素コスト対応BOフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-04T20:07:24Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)
• GAN-MDF: A Method for Multi-fidelity Data Fusion in Digital Twins [82.71367011801242]
  Internet of Things(IoT)は、スマートファクトリ、インテリジェントロボット、ヘルスケアシステムなどの物理システムのリアルタイムデータを収集する。 高忠実度(HF)応答は、関心の系を正確に記述するが、コストがかかる。 低忠実性(LF)応答は計算コストが低いが、要求される精度を満たせなかった。 デジタル双生児(GAN-MDF)におけるMDFの新たな生成的対向ネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-24T06:40:35Z)
• Adaptive Multi-View ICA: Estimation of noise levels for optimal inference [65.94843987207445]
  Adaptive MultiView ICA (AVICA) はノイズの多いICAモデルであり、各ビューは共有された独立したソースと付加的なノイズの線形混合である。 AVICAは、その明示的なMMSE推定器により、他のICA法よりも優れたソース推定値が得られる。 実脳磁図(MEG)データでは,分解がサンプリングノイズに対する感度が低く,ノイズ分散推定が生物学的に妥当であることを示す。
  論文  参考訳（メタデータ） (2021-02-22T13:10:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。