論文の概要: A Latent Variable Approach for Non-Hierarchical Multi-Fidelity Adaptive Sampling

• arxiv url: http://arxiv.org/abs/2310.03298v1
• Date: Thu, 5 Oct 2023 03:56:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-06 19:20:55.301937
• Title: A Latent Variable Approach for Non-Hierarchical Multi-Fidelity Adaptive Sampling
• Title（参考訳）: 非階層的マルチフィデリティ適応サンプリングのための潜在変数アプローチ
• Authors: Yi-Ping Chen, Liwei Wang, Yigitcan Comlek, Wei Chen
• Abstract要約: 資源を忠実度モデル間で動的に割り当てるアダプティブサンプリング手法は、設計空間の探索と活用において高い効率を達成することができる。 本稿では,異なる忠実度モデルに対する潜伏埋め込みとそれに関連する事前解析に基づいて,それらの相関関係を適応サンプリングに明示的に活用するフレームワークを提案する。 提案手法は,MFグローバルフィッティング(GF)とベイズ最適化(BO)の両問題において,収束率とロバスト性においてベンチマーク法より優れていることを示す。
• 参考スコア（独自算出の注目度）: 18.02518660778453
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-fidelity (MF) methods are gaining popularity for enhancing surrogate modeling and design optimization by incorporating data from various low-fidelity (LF) models. While most existing MF methods assume a fixed dataset, adaptive sampling methods that dynamically allocate resources among fidelity models can achieve higher efficiency in the exploring and exploiting the design space. However, most existing MF methods rely on the hierarchical assumption of fidelity levels or fail to capture the intercorrelation between multiple fidelity levels and utilize it to quantify the value of the future samples and navigate the adaptive sampling. To address this hurdle, we propose a framework hinged on a latent embedding for different fidelity models and the associated pre-posterior analysis to explicitly utilize their correlation for adaptive sampling. In this framework, each infill sampling iteration includes two steps: We first identify the location of interest with the greatest potential improvement using the high-fidelity (HF) model, then we search for the next sample across all fidelity levels that maximize the improvement per unit cost at the location identified in the first step. This is made possible by a single Latent Variable Gaussian Process (LVGP) model that maps different fidelity models into an interpretable latent space to capture their correlations without assuming hierarchical fidelity levels. The LVGP enables us to assess how LF sampling candidates will affect HF response with pre-posterior analysis and determine the next sample with the best benefit-to-cost ratio. Through test cases, we demonstrate that the proposed method outperforms the benchmark methods in both MF global fitting (GF) and Bayesian Optimization (BO) problems in convergence rate and robustness. Moreover, the method offers the flexibility to switch between GF and BO by simply changing the acquisition function.
• Abstract（参考訳）: MF(Multi-fidelity)法は、様々な低忠実度(LF)モデルのデータを組み込むことで、サロゲートモデリングと設計最適化の強化で人気を集めている。 既存のmf法は固定データセットを想定しているが、フィデリティモデル間で動的にリソースを割り当てる適応サンプリング手法は、設計空間の探索と活用において高い効率を達成することができる。 しかし、既存のMF法の多くは、階層的なフィデリティレベルの仮定に依存するか、複数のフィデリティレベルの相互相関を捉えず、将来のサンプル値の定量化と適応サンプリングのナビゲートに利用している。 このハードルに対処するために、異なる忠実度モデルに対する潜伏埋め込みとそれに関連する事前解析に基づくフレームワークを提案し、それらの相関関係を適応サンプリングに明示的に活用する。 このフレームワークでは、まず、高忠実度モデル(HF)モデルを用いて、興味のある場所を最大化し、次に、次のサンプルを全ての忠実度レベルにわたって探索し、第1ステップで特定した位置におけるユニットコスト当たりの改善を最大化する。 これは、異なる忠実度モデルを解釈可能な潜在空間にマッピングし、階層的忠実度レベルを仮定することなくそれらの相関を捕捉する単一の潜在可変ガウス過程(LVGP)モデルによって実現される。 lvgpにより,lfサンプリング候補がhf応答にどのように影響するかを事前分析により評価し,次のサンプルを最善の利得対コスト比で決定できる。 実験事例を通して,提案手法がmfグローバルフィッティング(gf)とベイズ最適化(bo)の収束率とロバスト性において,ベンチマーク手法よりも優れていることを示す。 さらに、この方法は、取得関数を単に変更するだけでGFとBOを切り替える柔軟性を提供する。

関連論文リスト

• MITA: Bridging the Gap between Model and Data for Test-time Adaptation [68.62509948690698]
  テスト時間適応(TTA)は、モデルの一般化性を高めるための有望なパラダイムとして登場した。 本稿では,Met-In-The-MiddleをベースとしたMITAを提案する。
  論文  参考訳（メタデータ） (2024-10-12T07:02:33Z)
• Variational Learning of Gaussian Process Latent Variable Models through Stochastic Gradient Annealed Importance Sampling [22.256068524699472]
  本研究では,これらの問題に対処するために,Annealed Importance Smpling (AIS)アプローチを提案する。 シークエンシャルモンテカルロサンプリング器とVIの強度を組み合わせることで、より広い範囲の後方分布を探索し、徐々にターゲット分布に接近する。 実験結果から,本手法はより厳密な変動境界,高い対数類似度,より堅牢な収束率で最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-13T08:09:05Z)
• On ADMM in Heterogeneous Federated Learning: Personalization, Robustness, and Fairness [16.595935469099306]
  本稿では,乗算器の交互方向法(ADMM)を利用して,パーソナライズおよびグローバルモデルの学習を行う最適化フレームワークFLAMEを提案する。 我々の理論的解析は、軽度の仮定の下で、FLAMEのグローバル収束と2種類の収束速度を確立する。 実験の結果,FLAMEは収束と精度において最先端の手法より優れており,各種攻撃下では高い精度を達成できることがわかった。
  論文  参考訳（メタデータ） (2024-07-23T11:35:42Z)
• Model Inversion Attacks Through Target-Specific Conditional Diffusion Models [54.69008212790426]
  モデル反転攻撃(MIA)は、ターゲット分類器のトレーニングセットからプライベートイメージを再構築することを目的としており、それによってAIアプリケーションにおけるプライバシー上の懸念が高まる。 従来のGANベースのMIAは、GANの固有の欠陥と潜伏空間における最適化の偏りにより、劣った遺伝子的忠実度に悩まされる傾向にある。 これらの問題を緩和するために拡散モデル反転(Diff-MI)攻撃を提案する。
  論文  参考訳（メタデータ） (2024-07-16T06:38:49Z)
• Controlling the Fidelity and Diversity of Deep Generative Models via Pseudo Density [70.14884528360199]
  本稿では, GAN や拡散モデルなどのバイアス深層生成モデルへのアプローチを導入し, 忠実度の向上や多様性の向上を図ったデータ生成手法を提案する。 提案手法では, 擬似密度という, 個人サンプルの新たな測定基準を用いて, トレーニングとデータ生成の分布を操作する。
  論文  参考訳（メタデータ） (2024-07-11T16:46:04Z)
• Every Parameter Matters: Ensuring the Convergence of Federated Learning with Dynamic Heterogeneous Models Reduction [22.567754688492414]
  クロスデバイス・フェデレーション・ラーニング(FL)は、ユニークなコントリビューションを行う可能性のあるローエンドのクライアントが、リソースのボトルネックのため、大規模なモデルのトレーニングから除外されるという、大きな課題に直面します。 近年,グローバルモデルから縮小サイズのモデルを抽出し,それに応じてローカルクライアントに適用することによって,モデル不均一FLに焦点を当てている。 本稿では,オンラインモデル抽出を用いた不均一FLアルゴリズムの一元化フレームワークを提案し,一般収束解析を初めて提供する。
  論文  参考訳（メタデータ） (2023-10-12T19:07:58Z)
• Consistency Regularization for Generalizable Source-free Domain Adaptation [62.654883736925456]
  ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。 既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。 より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-03T07:45:53Z)
• Optimizing Hyperparameters with Conformal Quantile Regression [7.316604052864345]
  本稿では,観測ノイズについて最小限の仮定を行う等化量子レグレッションを活用することを提案する。 これは経験的ベンチマークでのHPO収束を早くすることを意味する。
  論文  参考訳（メタデータ） (2023-05-05T15:33:39Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。