論文の概要: GPTOpt: Towards Efficient LLM-Based Black-Box Optimization

• arxiv url: http://arxiv.org/abs/2510.25404v1
• Date: Wed, 29 Oct 2025 11:21:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-30 15:50:45.474805
• Title: GPTOpt: Towards Efficient LLM-Based Black-Box Optimization
• Title（参考訳）: GPTopt: 効率的なLCMベースのブラックボックス最適化を目指して
• Authors: Jamison Meindl, Yunsheng Tian, Tony Cui, Veronika Thost, Zhang-Wei Hong, Jie Chen, Wojciech Matusik, Mina Konaković Luković,
• Abstract要約: 大規模言語モデル(LLM)は幅広い能力を示してきたが、継続的なブラックボックス最適化タスクの解決にはまだ最先端のモデルが限られている。 連続的なブラックボックス最適化機能を備えたLLMを最適化するGPToptを導入する。
• 参考スコア（独自算出の注目度）: 33.09351655863645
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Global optimization of expensive, derivative-free black-box functions demands extreme sample efficiency. Classical methods such as Bayesian Optimization (BO) can be effective, but they often require careful parameter tuning to each application domain. At the same time, Large Language Models (LLMs) have shown broad capabilities, yet state-of-the-art models remain limited in solving continuous black-box optimization tasks. We introduce GPTOpt, an LLM-based optimization method that equips LLMs with continuous black-box optimization capabilities. By fine-tuning large language models on extensive synthetic datasets derived from diverse BO parameterizations, GPTOpt leverages LLM pre-training to generalize across optimization tasks. On a variety of black-box optimization benchmarks, GPTOpt surpasses traditional optimizers, highlighting the capacity of LLMs for advanced numerical reasoning and introducing a flexible framework for global optimization without parameter tuning.
• Abstract（参考訳）: 高価なデリバティブフリーのブラックボックス関数のグローバルな最適化は、極端なサンプル効率を必要とする。 ベイズ最適化(BO)のような古典的な手法は効果的であるが、各アプリケーションドメインに注意深いパラメータチューニングを必要とすることが多い。 同時に、Large Language Models (LLMs) は幅広い能力を示しているが、継続的なブラックボックス最適化タスクの解決には最先端のモデルが制限されている。 連続的なブラックボックス最適化機能を備えたLLMを最適化するGPToptを導入する。 多様なBOパラメーター化から派生した広範囲な合成データセットに大規模な言語モデルを微調整することにより、GPTOptはLLM事前学習を利用して最適化タスクを一般化する。 様々なブラックボックス最適化ベンチマークにおいて、GPTOptは従来のオプティマイザを超え、高度な数値推論のためのLLMの容量を強調し、パラメータチューニングなしでグローバル最適化のためのフレキシブルなフレームワークを導入している。

関連論文リスト

• ZeroShotOpt: Towards Zero-Shot Pretrained Models for Efficient Black-Box Optimization [31.894110383242566]
  提案するZeroShotは,2次元から20次元までの連続的なブラックボックス最適化タスクのための汎用的,事前訓練されたモデルである。 提案手法は,12種類のBOから収集した大規模最適化タスクに対して,オフライン強化学習を利用する。
  論文  参考訳（メタデータ） (2025-10-03T14:33:23Z)
• Large Language Model Assisted Automated Algorithm Generation and Evolution via Meta-black-box optimization [9.184788298623062]
  AwesomeDEは大規模言語モデル(LLM)をメタ最適化の戦略として活用し、人間の介入なしに制約付き進化アルゴリズムの更新ルールを生成する。 素早い設計と反復的な改良を含む重要なコンポーネントは、設計品質への影響を判断するために体系的に分析される。 実験の結果,提案手法は計算効率と解の精度で既存手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2025-09-16T17:02:24Z)
• Align-Pro: A Principled Approach to Prompt Optimization for LLM Alignment [40.71270945505082]
  大規模言語モデル(LLM)は、様々な社会的および意思決定プロセスに統合されつつある。 人間のフィードバックからの強化学習(RLHF)のような従来の手法は、微調整モデルパラメータによるアライメントを実現する。 対照的に、迅速な最適化はLLMアライメントのためのRLHFの代替となる。
  論文  参考訳（メタデータ） (2025-01-07T03:14:39Z)
• Optima: Optimizing Effectiveness and Efficiency for LLM-Based Multi-Agent System [75.25394449773052]
  大規模言語モデル (LLM) に基づくマルチエージェントシステム (MAS) は協調的問題解決において顕著な可能性を示している。 通信効率の低下、スケーラビリティの低下、効果的なパラメータ更新方法の欠如などです。 本稿では,コミュニケーション効率とタスク効率を両立させ,これらの課題に対処する新しいフレームワークOptimaを提案する。
  論文  参考訳（メタデータ） (2024-10-10T17:00:06Z)
• LLM as a Complementary Optimizer to Gradient Descent: A Case Study in Prompt Tuning [69.95292905263393]
  グラデーションベースとハイレベルなLLMは、協調最適化フレームワークを効果的に組み合わせることができることを示す。 本稿では,これらを相互に補完し,組み合わせた最適化フレームワークを効果的に連携させることができることを示す。
  論文  参考訳（メタデータ） (2024-05-30T06:24:14Z)
• Pretrained Optimization Model for Zero-Shot Black Box Optimization [16.391389860521134]
  多様なタスクの最適化から得られた知識を活用する事前学習最適化モデル(POM)を提案する。 POMは、直接アプリケーションや数発のサンプルによる微調整を通じて、ゼロショット最適化の効率的なソリューションを提供する。 少数のサンプルと予算を持つ微調整POMは、大幅な性能改善をもたらす。
  論文  参考訳（メタデータ） (2024-05-06T09:11:49Z)
• Multi-Objective Hyperparameter Optimization in Machine Learning -- An Overview [10.081056751778712]
  本稿では,多目的ハイパーパラメータ最適化の基礎を導入し,応用MLにおけるその有用性を動機づける。 進化的アルゴリズムの領域とベイズ最適化の両方から、既存の最適化戦略を広範囲に調査する。 動作条件,予測時間,スパースネス,フェアネス,解釈可能性,ロバストネスなどの目的を考慮し,複数の特定のMLアプリケーションにおけるMOOの有用性を解説する。
  論文  参考訳（メタデータ） (2022-06-15T10:23:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。