論文の概要: Black-Box Optimization From Small Offline Datasets via Meta Learning with Synthetic Tasks
- arxiv url: http://arxiv.org/abs/2604.12325v1
- Date: Tue, 14 Apr 2026 06:00:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-15 19:11:32.272984
- Title: Black-Box Optimization From Small Offline Datasets via Meta Learning with Synthetic Tasks
- Title（参考訳）: 合成タスクを用いたメタ学習による小さなオフラインデータセットからのブラックボックス最適化
- Authors: Azza Fadhel, The Hung Tran, Trong Nghia Hoang, Jana Doppa,
- Abstract要約: 本稿では,OptBiasを用いたSurrogate Learningを提案する。
OptBiasは、ガウス過程から生成された合成タスクのトレーニングによって再利用可能な最適化バイアスを学び、ターゲットタスクの小さなデータ上の代理モデルを微調整する。
さまざまな継続的および離散的なオフライン最適化ベンチマークを通じて、OpsBiasは、小さなデータレシエーションにおける最先端のベースラインを一貫して上回っている。
- 参考スコア（独自算出の注目度）: 13.72315847318598
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We consider the problem of offline black-box optimization, where the goal is to discover optimal designs (e.g., molecules or materials) from past experimental data. A key challenge in this setting is data scarcity: in many scientific applications, only small or poor-quality datasets are available, which severely limits the effectiveness of existing algorithms. Prior work has theoretically and empirically shown that performance of offline optimization algorithms depends on how well the surrogate model captures the optimization bias (i.e., ability to rank input designs correctly), which is challenging to accomplish with limited experimental data. This paper proposes Surrogate Learning with Optimization Bias via Synthetic Task Generation (OptBias), a meta-learning framework that directly tackles data scarcity. OptBias learns a reusable optimization bias by training on synthetic tasks generated from a Gaussian process, and then fine-tunes the surrogate model on the small data for the target task. Across diverse continuous and discrete offline optimization benchmarks, OptBias consistently outperforms state-of-the-art baselines in small data regimes. These results highlight OptBias as a robust and practical solution for offline optimization in realistic small data settings.
- Abstract（参考訳）: オフラインのブラックボックス最適化では、過去の実験データから最適な設計(分子や材料など)を見つけることが目的である。
この設定における重要な課題はデータの不足である。多くの科学的応用において、既存のアルゴリズムの有効性を著しく制限する、小規模または低品質のデータセットのみが利用可能である。
従来の研究は、オフライン最適化アルゴリズムの性能は、サロゲートモデルが最適化バイアス(例えば、入力設計を正しくランク付けする能力)をどれだけうまく捉えているかに依存しており、限られた実験データで達成することが難しいことを理論的に実証的に示してきた。
本稿では,データ不足に直接対処するメタ学習フレームワークであるSurrogate Learning with Optimization Bias(OptBias)を提案する。
OptBiasは、ガウス過程から生成された合成タスクのトレーニングによって再利用可能な最適化バイアスを学び、ターゲットタスクの小さなデータ上の代理モデルを微調整する。
さまざまな継続的および離散的なオフライン最適化ベンチマークを通じて、OpsBiasは、小さなデータレシエーションにおける最先端のベースラインを一貫して上回っている。
これらの結果は、現実的な小さなデータ設定におけるオフライン最適化のための堅牢で実用的なソリューションとして、OpsBiasを強調している。
関連論文リスト
- Two-Stage Optimizer-Aware Online Data Selection for Large Language Models [49.576993784867035]
我々は,大規模言語モデルの微調整において,勾配に基づくオンラインデータ選択と重み付けのための原則付きフレームワークを提案する。
私たちのキーとなる考え方は、オンライン選択を静的なサンプルランキングではなく、次のターゲット指向のアップデートを州の下で形作ることです。
実験の結果,本手法は既存のオンラインデータ選択ベースラインに対するコンバージェンスとダウンストリームのパフォーマンスを,同じデータ予算下で一貫して改善することが示された。
論文 参考訳（メタデータ） (2026-03-08T21:46:16Z) - Learning Surrogates for Offline Black-Box Optimization via Gradient Matching [29.831762991506242]
本稿では,オフラインデータに基づく潜伏勾配場とサロゲートがいかによく一致しているかに基づいて,最適化品質を明示的に境界付けることによって,オフラインブラックボックス最適化を理解するための理論的枠組みを提案する。
そこで本研究では,オフライン最適化のための効果的なサロゲートモデル作成のためのブラックボックス勾配マッチングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-02-26T22:35:54Z) - Self-Steering Optimization: Autonomous Preference Optimization for Large Language Models [79.84205827056907]
本稿では,高品質な嗜好データを自律的に生成するアルゴリズムであるセルフステアリング最適化(SSO$)を提案する。
$SSO$は、ポリシーモデル自体からデータジェネレータを構築するために、特別な最適化目標を採用しています。
評価の結果,$SSO$は人選好アライメントと報酬最適化のベースラインを一貫して上回っていることがわかった。
論文 参考訳（メタデータ） (2024-10-22T16:04:03Z) - Functional Graphical Models: Structure Enables Offline Data-Driven Optimization [111.28605744661638]
構造がサンプル効率のよいデータ駆動最適化を実現する方法を示す。
また、FGM構造自体を推定するデータ駆動最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-01-08T22:33:14Z) - From Function to Distribution Modeling: A PAC-Generative Approach to
Offline Optimization [30.689032197123755]
本稿では、オフラインデータ例の集合を除いて目的関数が不明なオフライン最適化の問題について考察する。
未知の目的関数を学習して最適化するのではなく、より直感的で直接的な視点で、最適化は生成モデルからサンプリングするプロセスと考えることができる。
論文 参考訳（メタデータ） (2024-01-04T01:32:50Z) - ROMO: Retrieval-enhanced Offline Model-based Optimization [14.277672372460785]
データ駆動型ブラックボックスモデルベース最適化(MBO)の問題は、多くの実用的なアプリケーションシナリオで発生します。
検索強化オフラインモデルベース最適化(ROMO)を提案する。
ROMOは実装が簡単で、CoMBO設定における最先端のアプローチよりも優れている。
論文 参考訳（メタデータ） (2023-10-11T15:04:33Z) - A Data-Driven Evolutionary Transfer Optimization for Expensive Problems
in Dynamic Environments [9.098403098464704]
データ駆動、つまりサロゲート支援、進化的最適化は、高価なブラックボックス最適化問題に対処するための効果的なアプローチとして認識されている。
本稿では,データ駆動型進化的最適化により動的最適化問題を解くための,シンプルだが効果的な伝達学習フレームワークを提案する。
提案手法の有効性を実世界のケーススタディで実証した。
論文 参考訳（メタデータ） (2022-11-05T11:19:50Z) - Conservative Objective Models for Effective Offline Model-Based
Optimization [78.19085445065845]
計算設計の問題は、合成生物学からコンピュータアーキテクチャまで、様々な場面で発生している。
本研究では,分布外入力に対する接地的目標の実際の値を低くする目的関数のモデルを学習する手法を提案する。
COMは、様々なMBO問題に対して、既存のメソッドの実装と性能の面では単純である。
論文 参考訳（メタデータ） (2021-07-14T17:55:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。