論文の概要: Transfer Learning of Surrogate Models: Integrating Domain Warping and Affine Transformations

• arxiv url: http://arxiv.org/abs/2501.18344v1
• Date: Thu, 30 Jan 2025 13:46:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-31 15:12:43.750490
• Title: Transfer Learning of Surrogate Models: Integrating Domain Warping and Affine Transformations
• Title（参考訳）: 代理モデルの伝達学習:ドメインワープとアフィン変換の統合
• Authors: Shuaiqun Pan, Diederick Vermetten, Manuel López-Ibáñez, Thomas Bäck, Hao Wang,
• Abstract要約: サロゲートモデルは、計算的に要求される現実世界のプロセスに効率的な代替手段を提供する。 従来の研究では、微分可能および非微分可能サロゲートモデルの移動について研究されてきた。 本稿は、より広い範囲のトランスフォーメーションに対処することで、これまでの研究を拡張している。
• 参考スコア（独自算出の注目度）: 4.515998639772672
• License:
• Abstract: Surrogate models provide efficient alternatives to computationally demanding real-world processes but often require large datasets for effective training. A promising solution to this limitation is the transfer of pre-trained surrogate models to new tasks. Previous studies have investigated the transfer of differentiable and non-differentiable surrogate models, typically assuming an affine transformation between the source and target functions. This paper extends previous research by addressing a broader range of transformations, including linear and nonlinear variations. Specifically, we consider the combination of an unknown input warping, such as one modelled by the beta cumulative distribution function, with an unspecified affine transformation. Our approach achieves transfer learning by employing a limited number of data points from the target task to optimize these transformations, minimizing empirical loss on the transfer dataset. We validate the proposed method on the widely used Black-Box Optimization Benchmark (BBOB) testbed and a real-world transfer learning task from the automobile industry. The results underscore the significant advantages of the approach, revealing that the transferred surrogate significantly outperforms both the original surrogate and the one built from scratch using the transfer dataset, particularly in data-scarce scenarios.
• Abstract（参考訳）: 代理モデルは、計算的に要求される現実世界のプロセスに代わる効率的な代替手段を提供するが、しばしば効果的なトレーニングのために大きなデータセットを必要とする。 この制限に対する有望な解決策は、事前訓練された代理モデルの新しいタスクへの移行である。 従来の研究は、典型的にはソースとターゲット関数の間のアフィン変換を仮定する、微分可能および非微分可能サロゲートモデルの移動について研究してきた。 本稿では,線形および非線形の変動を含む,より広い範囲の変換に対処することによって,これまでの研究を拡張した。 具体的には、ベータ累積分布関数によってモデル化された未知の入力ワープと、不特定なアフィン変換の組み合わせについて考察する。 提案手法は,対象タスクから限られた数のデータポイントを用いてこれらの変換を最適化し,転送データセットにおける経験的損失を最小限に抑えることによって,転送学習を実現する。 提案手法を,自動車業界から広く利用されているBBOBテストベッドと実世界における移動学習タスクで検証した。 結果は、トランスファーサロゲートが元のサロゲートとスクラッチから構築したサロゲートの両方を、特にデータスカースシナリオで著しく上回っていることを明らかにする。

関連論文リスト

• Transfer Learning of Surrogate Models via Domain Affine Transformation Across Synthetic and Real-World Benchmarks [4.515998639772672]
  代理モデルはしばしば、現実世界のプロセスのコストのかかる実行のための効率的な代用として使われる。 本研究は、原関数から対象関数への非微分可能な代理モデルを転送することに焦点を当てる。 これらのドメインは未知のアフィン変換によって関連づけられていると仮定し、ターゲット上で評価された限られた量の転送データポイントのみを使用する。
  論文  参考訳（メタデータ） (2025-01-23T18:44:25Z)
• Bayesian Inverse Transfer in Evolutionary Multiobjective Optimization [29.580786235313987]
  InvTrEMO(InvTrEMO)の第1回リバーストランスファー・マルチオブジェクト(InvTrEMO)を紹介する。 InvTrEMOは、決定空間がタスク間で正確に整合していない場合でも、多くの一般的な領域で共通の目的関数を利用する。 InvTrEMOは、高い精度の逆モデルを重要な副産物とし、オンデマンドで調整されたソリューションの生成を可能にする。
  論文  参考訳（メタデータ） (2023-12-22T14:12:18Z)
• Efficient Bayesian Optimization with Deep Kernel Learning and Transformer Pre-trained on Multiple Heterogeneous Datasets [9.510327380529892]
  本稿では,トランスフォーマーベースのエンコーダから学習した深い特徴に基づいてカーネルが定義されたガウス過程(GP)であるサロゲートを事前訓練する簡単な手法を提案する。 総合的および実ベンチマーク問題に対する実験は,提案した事前学習および転送BO戦略の有効性を実証するものである。
  論文  参考訳（メタデータ） (2023-08-09T01:56:10Z)
• Towards Estimating Transferability using Hard Subsets [25.86053764521497]
  HASTEは、ターゲットデータのより厳しいサブセットのみを用いて、ソースモデルの特定のターゲットタスクへの転送可能性を推定する新しい戦略である。 HASTEは既存の転送可能性測定値と組み合わせて信頼性を向上させることができることを示す。 複数のソースモデルアーキテクチャ、ターゲットデータセット、トランスファー学習タスクにまたがる実験結果から、HASTEの修正されたメトリクスは、一貫して、あるいは、アートトランスファービリティーメトリクスの状態と同等であることが示された。
  論文  参考訳（メタデータ） (2023-01-17T14:50:18Z)
• Estimation and inference for transfer learning with high-dimensional quantile regression [3.4510296013600374]
  本研究では,高次元量子レグレッションモデルの枠組みにおける伝達学習手法を提案する。 我々は、微妙に選択された転送可能なソースドメインに基づいて、転送学習推定器の誤差境界を確立する。 データ分割手法を採用することにより、負の転送を回避できる転送可能性検出手法を提案する。
  論文  参考訳（メタデータ） (2022-11-26T14:40:19Z)
• Invariance Learning in Deep Neural Networks with Differentiable Laplace Approximations [76.82124752950148]
  我々はデータ拡張を選択するための便利な勾配法を開発した。 我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
  論文  参考訳（メタデータ） (2022-02-22T02:51:11Z)
• How Well Do Sparse Imagenet Models Transfer? [75.98123173154605]
  転送学習は、大規模な"上流"データセットで事前訓練されたモデルが、"下流"データセットで良い結果を得るために適応される古典的なパラダイムである。 本研究では、ImageNetデータセットでトレーニングされた畳み込みニューラルネットワーク(CNN)のコンテキストにおいて、この現象を詳細に調査する。 スパースモデルでは, 高空間であっても, 高密度モデルの転送性能にマッチしたり, 性能に優れることを示す。
  論文  参考訳（メタデータ） (2021-11-26T11:58:51Z)
• Frustratingly Easy Transferability Estimation [64.42879325144439]
  本稿では,TransRate という,シンプルで効率的かつ効果的な転送可能性尺度を提案する。 TransRateは、事前訓練されたモデルによって抽出された対象サンプルの特徴とそれらのラベルとの間の相互情報として、転送可能性を測定する。 10行のコードで並外れた単純さにもかかわらず、TransRateは、22の事前訓練されたモデルと16のダウンストリームタスクに対する広範囲な評価において、非常にうまく機能している。
  論文  参考訳（メタデータ） (2021-06-17T10:27:52Z)
• Transformer-Based Source-Free Domain Adaptation [134.67078085569017]
  本研究では,ソースフリードメイン適応(SFDA)の課題について検討する。 我々は、FDAの一般化モデルを学ぶためのTransformer(TransDA)という、汎用的で効果的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-05-28T23:06:26Z)
• Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning [96.75889543560497]
  多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。 少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。 幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
  論文  参考訳（メタデータ） (2021-03-01T21:14:33Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。