Fugu-MT 論文翻訳(概要): Transfer Learning Architectures for Scalable Multi-Fidelity Bayesian Optimization

論文の概要: Transfer Learning Architectures for Scalable Multi-Fidelity Bayesian Optimization

arxiv url: http://arxiv.org/abs/2607.23404v1
Date: Sun, 26 Jul 2026 01:23:06 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-28 22:34:15.092261
Title: Transfer Learning Architectures for Scalable Multi-Fidelity Bayesian Optimization
Title（参考訳）: スケーラブルなマルチフィデリティベイズ最適化のための伝達学習アーキテクチャ
Abstract要約: 自動運転車研究所は、安価で安価な高価なものに対する近似的な評価と、その中核に予測的サロゲートのバランスをとるために、多要素ベイズ最適化(MFBO)をますます頼りにしている。ここでは,合成関数から実際の化学および材料問題までの9つのタスクに対して,同じ選択規則,忠実度予算,モデルサイズのGP法に対して,11の移動学習サロゲートをベンチマークする。 GPは滑らかで低次元の関数で勝利するが、分子や材料の問題では最悪の結果となる。
参考スコア（独自算出の注目度）: 4.4064027951243165
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Self-driving laboratories increasingly rely on multi-fidelity Bayesian optimization (MFBO) to balance cheap, approximate evaluations against scarce, expensive ones, with a predictive surrogate at its core. Gaussian processes (GPs) are the default choice, but they scale poorly as data accumulate and assume a smooth landscape that molecular and materials search spaces routinely violate. Transfer learning offers an alternative suited to this regime: it learns a representation from abundant cheap data and adapts it to sparse expensive data. Despite its use in property prediction, transfer learning has not been tested as the engine of a closed-loop optimization. Here we benchmark eleven transfer-learning surrogates against four GP methods under an identical selection rule, fidelity budget, and model size, across nine tasks spanning synthetic functions to real chemistry and materials problems. GPs win on smooth, low-dimensional functions but perform worst on molecular and materials problems, where transfer-learning surrogates reach substantially better solutions using far less computation. Because acquisition policy is held fixed across surrogates, this advantage is attributable to the surrogate itself. Uncertainty-driven exploration is not reliably beneficial, and calibration does not predict optimization performance, so greedy exploitation of the transfer-learned mean is the more robust default. Transfer learning is therefore the surrogate of choice for molecular and materials MFBO.
Abstract（参考訳）: 自動運転車研究所は、安価で安価な高価なものに対する近似的な評価と、その中核に予測的サロゲートのバランスをとるために、多要素ベイズ最適化(MFBO)をますます頼りにしている。ガウス過程(GP)はデフォルトの選択であるが、データは蓄積され、分子や物質の探索空間が日常的に違反するスムーズな景観を仮定するので、スケールが低くなる。トランスファーラーニングは、豊富な安価なデータから表現を学び、高価なデータを疎結合にします。特性予測に使われているにもかかわらず、伝達学習はクローズドループ最適化のエンジンとしてテストされていない。ここでは,合成関数から実際の化学および材料問題までの9つのタスクに対して,同じ選択規則,忠実度予算,モデルサイズのGP法に対して,11の移動学習サロゲートをベンチマークする。 GPは滑らかで低次元の関数で勝利するが、分子や材料の問題では最悪の結果となる。取得ポリシーはサロゲート間で固定されているため、この利点はサロゲート自体に起因する。不確実性駆動による探索は確実な有用性はなく、キャリブレーションは最適化性能を予測しないため、転送学習平均の厳密な利用はより堅牢なデフォルトである。したがって、転移学習は分子および材料MFBOの選択の代理である。

関連論文リスト

Frugal Bayesian Optimization: Scalable Surrogates for Data- and Resource-Limited Discovery [0.6927055673104934]
我々は,ガウス過程,ランダムフォレスト,NGBoost,ベイズ適応スプライン面の4つの代理モデルを評価する。ガウスプロセスに基づくBOは、最適化やサンプル効率を向上することなく、最高時間とメモリオーバーヘッドを発生させることを示す。本稿では,安価なデータセット特性から最も適切なBOサロゲートを予測するサロゲート勧告フレームワークを提案する。
論文参考訳（メタデータ） (2026-07-31T09:55:38Z)
How to Set the Learning Rate for Large-Scale Pre-training? [73.03133634525635]
我々はこの調査を2つの異なる研究パラダイムであるフィッティングとトランスファーに定式化する。フィッティングパラダイムでは,探索係数のスケーリング法則を導入し,O(n3) から O(n*C_D*C_) への探索複雑性を予測モデルにより効果的に低減する。我々は、$Transferの原則をMixture of Experts (MoE)アーキテクチャに拡張し、モデル深さ、重量減衰、トークン水平線を含む適用範囲を広げる。
論文参考訳（メタデータ） (2026-01-08T15:55:13Z)
Data Mixture Optimization: A Multi-fidelity Multi-scale Bayesian Framework [10.317740844867913]
我々は,SlimPajamaデータセットから,さまざまなデータ構成を用いて,472言語モデルによる事前学習実行をベースとしたシミュレータを構築した。単純な取得関数でさえ、20Mから1Bまでのトレーニングモデル間で、原則化されたトレーニング決定を可能にすることを観察する。
論文参考訳（メタデータ） (2025-03-26T22:19:47Z)
Transfer Learning of Surrogate Models: Integrating Domain Warping and Affine Transformations [4.515998639772672]
サロゲートモデルは、計算的に要求される現実世界のプロセスに効率的な代替手段を提供する。従来の研究では、微分可能および非微分可能サロゲートモデルの移動について研究されてきた。本稿は、より広い範囲のトランスフォーメーションに対処することで、これまでの研究を拡張している。
論文参考訳（メタデータ） (2025-01-30T13:46:48Z)
Transfer Learning of Surrogate Models via Domain Affine Transformation Across Synthetic and Real-World Benchmarks [4.515998639772672]
代理モデルはしばしば、現実世界のプロセスのコストのかかる実行のための効率的な代用として使われる。本研究は、原関数から対象関数への非微分可能な代理モデルを転送することに焦点を当てる。これらのドメインは未知のアフィン変換によって関連づけられていると仮定し、ターゲット上で評価された限られた量の転送データポイントのみを使用する。
論文参考訳（メタデータ） (2025-01-23T18:44:25Z)
Synergistic Development of Perovskite Memristors and Algorithms for Robust Analog Computing [53.77822620185878]
本稿では,ペロブスカイト・メムリスタの製作を同時に最適化し,ロバストなアナログDNNを開発するための相乗的手法を提案する。 BO誘導ノイズインジェクションを利用したトレーニング戦略であるBayesMultiを開発した。我々の統合されたアプローチは、より深くより広いネットワークでのアナログコンピューティングの使用を可能にし、最大100倍の改善を実現します。
論文参考訳（メタデータ） (2024-12-03T19:20:08Z)
Self-Steering Optimization: Autonomous Preference Optimization for Large Language Models [79.84205827056907]
本稿では,高品質な嗜好データを自律的に生成するアルゴリズムであるセルフステアリング最適化(SSO$)を提案する。 $SSO$は、ポリシーモデル自体からデータジェネレータを構築するために、特別な最適化目標を採用しています。評価の結果,$SSO$は人選好アライメントと報酬最適化のベースラインを一貫して上回っていることがわかった。
論文参考訳（メタデータ） (2024-10-22T16:04:03Z)
Data-driven Prior Learning for Bayesian Optimisation [5.199765487172328]
PLeBOと先行転送は少ない評価で良好な入力が得られることを示す。学習先を検証し,伝達学習手法の広さと比較する。 PLeBOと先行転送は少ない評価で良好な入力が得られることを示す。
論文参考訳（メタデータ） (2023-11-24T18:37:52Z)
Unleashing the Power of Pre-trained Language Models for Offline Reinforcement Learning [50.9692060692705]
本稿では、オフラインRL用の決定変換器をベースとした一般的なフレームワークである、$textbfMo$tion Control(textbfLaMo$)のための$textbfLanguage Modelsを紹介する。私たちのフレームワークは4つの重要なコンポーネントを強調しています。逐次事前学習したLMを用いた決定変換器の初期化(2)LoRA微細調整法を用いて特に,本手法は,限られたデータサンプルを持つシナリオにおいて,優れた性能を示す。
論文参考訳（メタデータ） (2023-10-31T16:24:17Z)
Learning (Local) Surrogate Loss Functions for Predict-Then-Optimize Problems [58.954414264760956]
決定焦点学習(Decision-Focused Learning, DFL)は、予測モデルを下流の最適化タスクに調整するためのパラダイムである。本稿では,(a)最適化問題を解き,一般化可能なブラックボックスオラクルへのアクセスのみを必要とする忠実なタスク固有サロゲートを学習し,(b)勾配で凸し,容易に最適化できる手法を提案する。
論文参考訳（メタデータ） (2022-03-30T05:46:54Z)
An Experimental Design Perspective on Model-Based Reinforcement Learning [73.37942845983417]
環境からの状態遷移を観察するのは費用がかかる。標準RLアルゴリズムは通常、学習するために多くの観測を必要とする。本稿では,マルコフ決定過程について,状態-作用対がどの程度の情報を提供するかを定量化する獲得関数を提案する。
論文参考訳（メタデータ） (2021-12-09T23:13:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。