論文の概要: Language-Based Bayesian Optimization Research Assistant (BORA)

• arxiv url: http://arxiv.org/abs/2501.16224v1
• Date: Mon, 27 Jan 2025 17:20:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:58:41.039762
• Title: Language-Based Bayesian Optimization Research Assistant (BORA)
• Title（参考訳）: 言語に基づくベイズ最適化研究アシスタント(BORA)
• Authors: Abdoulatif Cissé, Xenophon Evangelopoulos, Vladimir V. Gusev, Andrew I. Cooper,
• Abstract要約: ドメイン知識のコンテキスト化は、実りある領域の探索をガイドする強力なアプローチである。 本稿では,検索最適化における言語モデル (LLM) の利用を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Many important scientific problems involve multivariate optimization coupled with slow and laborious experimental measurements. These complex, high-dimensional searches can be defined by non-convex optimization landscapes that resemble needle-in-a-haystack surfaces, leading to entrapment in local minima. Contextualizing optimizers with human domain knowledge is a powerful approach to guide searches to localized fruitful regions. However, this approach is susceptible to human confirmation bias and it is also challenging for domain experts to keep track of the rapidly expanding scientific literature. Here, we propose the use of Large Language Models (LLMs) for contextualizing Bayesian optimization (BO) via a hybrid optimization framework that intelligently and economically blends stochastic inference with domain knowledge-based insights from the LLM, which is used to suggest new, better-performing areas of the search space for exploration. Our method fosters user engagement by offering real-time commentary on the optimization progress, explaining the reasoning behind the search strategies. We validate the effectiveness of our approach on synthetic benchmarks with up to 15 independent variables and demonstrate the ability of LLMs to reason in four real-world experimental tasks where context-aware suggestions boost optimization performance substantially.
• Abstract（参考訳）: 多くの重要な科学的問題には、多変量最適化と遅い実験的測定とが組み合わさっている。 これらの複雑で高次元の探索は、非凸最適化のランドスケープによって定義することができる。 人間のドメイン知識による文脈最適化は、局所的な実りのある領域への探索をガイドする強力なアプローチである。 しかし、このアプローチは人間の確認バイアスの影響を受けやすく、領域の専門家が急速に拡大する科学文献を追跡することも困難である。 本稿では,LLMの知識に基づく知識に基づく知識と確率的推論を知的かつ経済的にブレンドするハイブリッド最適化フレームワークを用いて,ベイズ最適化(BO)の文脈化にLarge Language Models(LLMs)を用いることを提案する。 提案手法は,最適化の進捗状況をリアルタイムに解説し,検索戦略の背景にある理由を説明することによってユーザエンゲージメントを向上させる。 我々は,最大15個の独立変数を持つ合成ベンチマークに対するアプローチの有効性を検証し,文脈を考慮した提案によって最適化性能が大幅に向上する実世界の4つの実験課題において,LLMの推論能力を示す。

関連論文リスト

• Align-Pro: A Principled Approach to Prompt Optimization for LLM Alignment [40.71270945505082]
  大規模言語モデル(LLM)は、様々な社会的および意思決定プロセスに統合されつつある。 人間のフィードバックからの強化学習(RLHF)のような従来の手法は、微調整モデルパラメータによるアライメントを実現する。 対照的に、迅速な最適化はLLMアライメントのためのRLHFの代替となる。
  論文  参考訳（メタデータ） (2025-01-07T03:14:39Z)
• EVOLvE: Evaluating and Optimizing LLMs For Exploration [76.66831821738927]
  大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。 多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。 最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-08T17:54:03Z)
• Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
  オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。 我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。 実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
  論文  参考訳（メタデータ） (2024-06-12T16:58:41Z)
• Localized Zeroth-Order Prompt Optimization [54.964765668688806]
  そこで我々は,ZOPO(Localized zeroth-order prompt optimization)という新しいアルゴリズムを提案する。 ZOPOはニューラル・タンジェント・カーネルをベースとしたガウス法を標準ゼロ階次最適化に取り入れ、高速な局所最適探索を高速化する。 注目すべきは、ZOPOは最適化性能とクエリ効率の両方の観点から、既存のベースラインを上回っていることだ。
  論文  参考訳（メタデータ） (2024-03-05T14:18:15Z)
• How Multimodal Integration Boost the Performance of LLM for Optimization: Case Study on Capacitated Vehicle Routing Problems [33.33996058215666]
  大規模言語モデル(LLM)は、複雑な最適化課題に対処するための有能なツールとして自らを位置づけている。 テキストと視覚の両方のプロンプトを処理可能なマルチモーダルLLMを用いて最適化性能を向上させることを提案する。
  論文  参考訳（メタデータ） (2024-03-04T06:24:21Z)
• Enhanced Bayesian Optimization via Preferential Modeling of Abstract Properties [49.351577714596544]
  本研究では,非測定抽象特性に関する専門家の嗜好を代理モデルに組み込むための,人間とAIの協調型ベイズフレームワークを提案する。 優先判断において、誤った/誤解を招く専門家バイアスを処理できる効率的な戦略を提供する。
  論文  参考訳（メタデータ） (2024-02-27T09:23:13Z)
• PhaseEvo: Towards Unified In-Context Prompt Optimization for Large Language Models [9.362082187605356]
  本稿では、LLMの生成能力と進化アルゴリズムのグローバル検索能力を組み合わせた効率的な自動プロンプト最適化フレームワークであるPhaseEvoについて述べる。 PhaseEvoは、優れた効率を維持しながら、最先端のベースライン手法を大きなマージンで大幅に上回っている。
  論文  参考訳（メタデータ） (2024-02-17T17:47:10Z)
• Can LLMs Configure Software Tools [0.76146285961466]
  ソフトウェア工学では、複雑なシステム内での最適なパフォーマンスを確保するためには、ソフトウェアツールの精巧な構成が不可欠である。 本研究では,Large-Language Models (LLMs) を利用したソフトウェア構成プロセスの合理化について検討する。 本研究は,Chat-GPTなどのLCMを用いて,開始条件を特定し,検索空間を狭め,構成効率を向上する手法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T05:03:02Z)
• Query-Dependent Prompt Evaluation and Optimization with Offline Inverse RL [62.824464372594576]
  ゼロショットプロンプト最適化により,Large Language Models (LLM) の算術的推論能力を向上させることを目的とする。 このような最適化では、以前見過ごされたクエリ依存の目的を特定します。 本稿では、オフライン逆強化学習を利用して、実演データから洞察を引き出すPrompt-OIRLを紹介する。
  論文  参考訳（メタデータ） (2023-09-13T01:12:52Z)
• An Empirical Evaluation of Zeroth-Order Optimization Methods on AI-driven Molecule Optimization [78.36413169647408]
  分子目的を最適化するための様々なZO最適化手法の有効性について検討する。 ZO符号に基づく勾配降下(ZO-signGD)の利点を示す。 本稿では,Guurcamol スイートから広く使用されているベンチマークタスクに対して,ZO 最適化手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-10-27T01:58:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。