論文の概要: Large Language Models to Enhance Bayesian Optimization

• arxiv url: http://arxiv.org/abs/2402.03921v1
• Date: Tue, 6 Feb 2024 11:44:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 15:07:20.114509
• Title: Large Language Models to Enhance Bayesian Optimization
• Title（参考訳）: ベイズ最適化を支援する大規模言語モデル
• Authors: Tennison Liu and Nicol\'as Astorga and Nabeel Seedat and Mihaela van der Schaar
• Abstract要約: 我々は,大規模言語モデル(LLM)をベイズ最適化に組み込む新しいアプローチであるtextttLLAMBOを提案する。 以上の結果から,texttLLAMBOはゼロショットウォームスタートに有効であり,サロゲートモデリングや候補サンプリングの改善が期待できる。
• 参考スコア（独自算出の注目度）: 57.474613739645605
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bayesian optimization (BO) is a powerful approach for optimizing complex and expensive-to-evaluate black-box functions. Its importance is underscored in many applications, notably including hyperparameter tuning, but its efficacy depends on efficiently balancing exploration and exploitation. While there has been substantial progress in BO methods, striking this balance still remains a delicate process. In this light, we present \texttt{LLAMBO}, a novel approach that integrates the capabilities of large language models (LLM) within BO. At a high level, we frame the BO problem in natural language terms, enabling LLMs to iteratively propose promising solutions conditioned on historical evaluations. More specifically, we explore how combining contextual understanding, few-shot learning proficiency, and domain knowledge of LLMs can enhance various components of model-based BO. Our findings illustrate that \texttt{LLAMBO} is effective at zero-shot warmstarting, and improves surrogate modeling and candidate sampling, especially in the early stages of search when observations are sparse. Our approach is performed in context and does not require LLM finetuning. Additionally, it is modular by design, allowing individual components to be integrated into existing BO frameworks, or function cohesively as an end-to-end method. We empirically validate \texttt{LLAMBO}'s efficacy on the problem of hyperparameter tuning, highlighting strong empirical performance across a range of diverse benchmarks, proprietary, and synthetic tasks.
• Abstract（参考訳）: ベイズ最適化(BO)は、複雑で高価なブラックボックス関数を最適化するための強力なアプローチである。 その重要性は、特にハイパーパラメータチューニングを含む多くのアプリケーションで強調されているが、その効果は探索と搾取の効率的なバランスに依存する。 BO法にはかなりの進歩があったが、このバランスを打つことは依然として微妙なプロセスである。 本稿では,大規模言語モデル (LLM) の能力をBO内に組み込んだ新しいアプローチである \texttt{LLAMBO} を提案する。 高レベルでは、自然言語でbo問題をフレーム化することで、llmは歴史的評価に基づく有望なソリューションを反復的に提案できる。 より具体的には、文脈理解、少ない学習能力、llmのドメイン知識を組み合わせることで、モデルベースのboの様々なコンポーネントがいかに強化されるかを検討する。 以上の結果から,<texttt{LLAMBO} はゼロショットウォームスタートに有効であることが示唆され,サロゲートモデリングや候補サンプリングの改善が期待できる。 我々のアプローチは文脈で実行され、llmの微調整は不要です。 さらに、それは設計によってモジュール化されており、個々のコンポーネントを既存のBOフレームワークに統合できる。 我々は,ハイパーパラメータチューニング問題に対する‘texttt{LLAMBO}’の有効性を実証的に検証し,多様なベンチマーク,プロプライエタリ,合成タスクにまたがる強力な経験的性能を強調した。

関連論文リスト

• Optima: Optimizing Effectiveness and Efficiency for LLM-Based Multi-Agent System [75.25394449773052]
  大規模言語モデル (LLM) に基づくマルチエージェントシステム (MAS) は協調的問題解決において顕著な可能性を示している。 通信効率の低下、スケーラビリティの低下、効果的なパラメータ更新方法の欠如などです。 本稿では,コミュニケーション効率とタスク効率を両立させ,これらの課題に対処する新しいフレームワークOptimaを提案する。
  論文  参考訳（メタデータ） (2024-10-10T17:00:06Z)
• LLaMA-Berry: Pairwise Optimization for O1-like Olympiad-Level Mathematical Reasoning [56.273799410256075]
  このフレームワークはMonte Carlo Tree Search (MCTS)と反復的なSelf-Refineを組み合わせて推論パスを最適化する。 このフレームワークは、一般的なベンチマークと高度なベンチマークでテストされており、探索効率と問題解決能力の点で優れた性能を示している。
  論文  参考訳（メタデータ） (2024-10-03T18:12:29Z)
• Reinforced In-Context Black-Box Optimization [64.25546325063272]
  RIBBOは、オフラインデータからエンドツーエンドでBBOアルゴリズムを強化学習する手法である。 RIBBOは、複数の動作アルゴリズムとタスクによって生成される最適化履歴を学習するために、表現的なシーケンスモデルを使用している。 提案手法の中心となるのは,テキストレグレット・ツー・ゴートークンによる最適化履歴の増大である。
  論文  参考訳（メタデータ） (2024-02-27T11:32:14Z)
• PhaseEvo: Towards Unified In-Context Prompt Optimization for Large Language Models [9.362082187605356]
  本稿では、LLMの生成能力と進化アルゴリズムのグローバル検索能力を組み合わせた効率的な自動プロンプト最適化フレームワークであるPhaseEvoについて述べる。 PhaseEvoは、優れた効率を維持しながら、最先端のベースライン手法を大きなマージンで大幅に上回っている。
  論文  参考訳（メタデータ） (2024-02-17T17:47:10Z)
• Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
  大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。 本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。 我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
  論文  参考訳（メタデータ） (2024-02-09T07:45:26Z)
• Poisson Process for Bayesian Optimization [126.51200593377739]
  本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。 従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
  論文  参考訳（メタデータ） (2024-02-05T02:54:50Z)
• MoE-LLaVA: Mixture of Experts for Large Vision-Language Models [27.930351465266515]
  本稿では,LVLMのための簡易かつ効果的なトレーニング戦略であるMoE-Tuningを提案する。 MoE-LLaVAはMoEベースのスパースLVLMアーキテクチャであり、ルータを通じてトップkの専門家のみをユニークに活性化する。 様々な視覚的理解と物体幻覚のベンチマークにおいて,MoE-LLaVAの顕著な性能を示す実験を行った。
  論文  参考訳（メタデータ） (2024-01-29T08:13:40Z)
• High-Dimensional Bayesian Optimization with Sparse Axis-Aligned Subspaces [14.03847432040056]
  スパース軸整列部分空間上で定義される代理モデルは、柔軟性とパーシモニーの間に魅力的な妥協をもたらすと我々は主張する。 提案手法は,ハミルトニアンモンテカルロを推論に用い,未知の目的関数のモデル化に関連するスパース部分空間を迅速に同定できることを実証する。
  論文  参考訳（メタデータ） (2021-02-27T23:06:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。