論文の概要: Improving LLM-based Global Optimization with Search Space Partitioning

• arxiv url: http://arxiv.org/abs/2505.21372v1
• Date: Tue, 27 May 2025 16:01:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.78175
• Title: Improving LLM-based Global Optimization with Search Space Partitioning
• Title（参考訳）: 探索空間分割によるLLMによるグローバル最適化の改善
• Authors: Andrej Schwanke, Lyubomir Ivanov, David Salinas, Fabio Ferreira, Aaron Klein, Frank Hutter, Arber Zela,
• Abstract要約: 大規模言語モデル(LLM)は、グローバル最適化フレームワーク内で有効な代理モデルと候補ジェネレータとして登場した。 HOLLMは,探索空間を有望な部分領域に分割することでLLM駆動サンプリングを強化する,新しいグローバル最適化アルゴリズムである。 標準最適化ベンチマークの実証的な評価は、HOLLMがベイズ最適化と信頼領域法に一貫して適合するか、超越していることを示している。
• 参考スコア（独自算出の注目度）: 40.61249592871905
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have recently emerged as effective surrogate models and candidate generators within global optimization frameworks for expensive blackbox functions. Despite promising results, LLM-based methods often struggle in high-dimensional search spaces or when lacking domain-specific priors, leading to sparse or uninformative suggestions. To overcome these limitations, we propose HOLLM, a novel global optimization algorithm that enhances LLM-driven sampling by partitioning the search space into promising subregions. Each subregion acts as a ``meta-arm'' selected via a bandit-inspired scoring mechanism that effectively balances exploration and exploitation. Within each selected subregion, an LLM then proposes high-quality candidate points, without any explicit domain knowledge. Empirical evaluation on standard optimization benchmarks shows that HOLLM consistently matches or surpasses leading Bayesian optimization and trust-region methods, while substantially outperforming global LLM-based sampling strategies.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、最近、高価なブラックボックス機能のためのグローバル最適化フレームワークにおいて、効果的な代理モデルと候補ジェネレータとして登場した。 有望な結果にもかかわらず、LLMベースの手法は高次元の検索空間やドメイン固有の事前知識が欠如している場合にしばしば苦労する。 これらの制限を克服するために,探索空間を有望な部分領域に分割することでLLM駆動サンプリングを強化する新しいグローバル最適化アルゴリズムであるHOLLMを提案する。 各サブリージョンは、探索と搾取を効果的にバランスさせる、バンドイットにインスパイアされたスコアリングメカニズムを介して選択された‘ミータアーム’として機能する。 選択された各部分領域の中で、LLMは、明示的なドメイン知識なしで高品質な候補点を提案する。 標準最適化ベンチマークにおける実証的な評価は,HOLLMがベイズ最適化と信頼領域法に一貫して適合し,かつ,グローバルなLCMに基づくサンプリング戦略を大幅に上回っていることを示している。

関連論文リスト

• Sample-Efficient Alignment for LLMs [29.477421976548015]
  本研究では,大規模言語モデル (LLM) と人選好を協調させる手法について検討した。 我々はトンプソンサンプリングに基づく統一アルゴリズムを導入し、2つの異なるLCMアライメントシナリオでその応用を強調した。 その結果,SEAはオラクルの嗜好と高いサンプル効率の整合性を達成し,近年のLCMの活発な探査方法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-11-03T09:18:28Z)
• LLaMA-Berry: Pairwise Optimization for O1-like Olympiad-Level Mathematical Reasoning [56.273799410256075]
  このフレームワークはMonte Carlo Tree Search (MCTS)と反復的なSelf-Refineを組み合わせて推論パスを最適化する。 このフレームワークは、一般的なベンチマークと高度なベンチマークでテストされており、探索効率と問題解決能力の点で優れた性能を示している。
  論文  参考訳（メタデータ） (2024-10-03T18:12:29Z)
• Search-Based LLMs for Code Optimization [16.843870288512363]
  開発者によって書かれたコードは、通常効率上の問題に悩まされ、様々なパフォーマンス上のバグを含んでいる。 最近の研究は、タスクをシーケンス生成問題とみなし、大規模言語モデル(LLM)のようなディープラーニング(DL)技術を活用している。 改良された最適化手法の反復的洗練と発見を可能にする,SBLLM という検索ベース LLM フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-22T06:59:46Z)
• SelectLLM: Query-Aware Efficient Selection Algorithm for Large Language Models [8.558834738072363]
  大規模言語モデル(LLM)は、様々なアプリケーションにまたがる顕著な性能のために広く採用されている。 これらの個々のLCMは、固有のトレーニングバイアス、モデルサイズ制約、トレーニング前のデータセットの品質や多様性による、複雑なタスクの一般化とパフォーマンスの制限を示す。 本稿では,入力クエリをLLMの最も適切なサブセットに効率的に誘導するSelectLLMを紹介する。
  論文  参考訳（メタデータ） (2024-08-16T06:11:21Z)
• Self-Exploring Language Models: Active Preference Elicitation for Online Alignment [88.56809269990625]
  本研究では, 分布域外領域を積極的に探索するために, 潜在的に高次応答に対して楽観的に偏りを呈する2段階的客観性を提案する。 実験の結果,Zephyr-7B-SFTとLlama-3-8B-Instructモデルで微調整した場合,SELM(Self-Exploring Language Models)は命令追従ベンチマークの性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-05-29T17:59:07Z)
• Localized Zeroth-Order Prompt Optimization [54.964765668688806]
  そこで我々は,ZOPO(Localized zeroth-order prompt optimization)という新しいアルゴリズムを提案する。 ZOPOはニューラル・タンジェント・カーネルをベースとしたガウス法を標準ゼロ階次最適化に取り入れ、高速な局所最適探索を高速化する。 注目すべきは、ZOPOは最適化性能とクエリ効率の両方の観点から、既存のベースラインを上回っていることだ。
  論文  参考訳（メタデータ） (2024-03-05T14:18:15Z)
• High-dimensional Bayesian Optimization via Covariance Matrix Adaptation Strategy [16.521207412129833]
  本稿では,CMA(Covariance Matrix Adaptation)戦略を用いて局所領域を定義する手法を提案する。 この探索分布に基づいて,大域的最適である確率の高いデータポイントからなる局所領域を定義する。 提案手法は,BO,TuRBO,BAxUSなどの既存のブラックボックスBOを組み込んでグローバルな最適解を求めるメタアルゴリズムとして機能する。
  論文  参考訳（メタデータ） (2024-02-05T15:32:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。