論文の概要: $\texttt{LLINBO}$: Trustworthy LLM-in-the-Loop Bayesian Optimization

• arxiv url: http://arxiv.org/abs/2505.14756v1
• Date: Tue, 20 May 2025 15:54:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:58.679047
• Title: $\texttt{LLINBO}$: Trustworthy LLM-in-the-Loop Bayesian Optimization
• Title（参考訳）: $\texttt{LLINBO}$: 信頼できるLLM-in-the-Loop Bayesian Optimization
• Authors: Chih-Yu Chang, Milad Azvar, Chinedum Okwudire, Raed Al Kontar,
• Abstract要約: 大規模言語モデル (LLM) は低データ構造において顕著な適応性を示している。 本稿では,LLINBO: LLM-in-the-Loop BOを提案する。 この論文は、3Dプリンティングの文脈における概念実証で締めくくっている。
• 参考スコア（独自算出の注目度）: 1.9311784849535178
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bayesian optimization (BO) is a sequential decision-making tool widely used for optimizing expensive black-box functions. Recently, Large Language Models (LLMs) have shown remarkable adaptability in low-data regimes, making them promising tools for black-box optimization by leveraging contextual knowledge to propose high-quality query points. However, relying solely on LLMs as optimization agents introduces risks due to their lack of explicit surrogate modeling and calibrated uncertainty, as well as their inherently opaque internal mechanisms. This structural opacity makes it difficult to characterize or control the exploration-exploitation trade-off, ultimately undermining theoretical tractability and reliability. To address this, we propose LLINBO: LLM-in-the-Loop BO, a hybrid framework for BO that combines LLMs with statistical surrogate experts (e.g., Gaussian Processes (GP)). The core philosophy is to leverage contextual reasoning strengths of LLMs for early exploration, while relying on principled statistical models to guide efficient exploitation. Specifically, we introduce three mechanisms that enable this collaboration and establish their theoretical guarantees. We end the paper with a real-life proof-of-concept in the context of 3D printing. The code to reproduce the results can be found at https://github.com/UMDataScienceLab/LLM-in-the-Loop-BO.
• Abstract（参考訳）: ベイズ最適化(英: Bayesian Optimization, BO)は、高価なブラックボックス関数を最適化するために広く使われているシーケンシャルな意思決定ツールである。 近年,Large Language Models (LLM) は低データ構造において顕著な適応性を示し,文脈知識を活用して高品質なクエリポイントを提案することで,ブラックボックス最適化のための有望なツールとなっている。 しかし、最適化エージェントとしてのLLMのみに依存すると、明示的なサロゲートモデリングや校正の不確かさの欠如や、本質的に不透明な内部機構の欠如によるリスクが生じる。 この構造的不透明さは、探査と探査のトレードオフを特徴づけたり、制御することを困難にし、究極的には理論的トラクタビリティと信頼性を損なう。 LLINBO: LLM-in-the-Loop BOは,LLMと統計代用専門家(例えばガウス過程(GP))を組み合わせたBO用ハイブリッドフレームワークである。 中心となる哲学は、LLMの文脈的推論の強みを早期探索に活用することであり、効率的な利用を導くための原理化された統計モデルに依存している。 具体的には、この協調を可能にする3つのメカニズムを導入し、理論的な保証を確立する。 この論文は、3Dプリンティングの文脈における概念実証で締めくくっている。 結果を再現するコードはhttps://github.com/UMDataScienceLab/LLM-in-the-Loop-BOにある。

関連論文リスト

• Can Reasoning Models Reason about Hardware? An Agentic HLS Perspective [18.791753740931185]
  OpenAI o3-mini と DeepSeek-R1 は Chain-of-Thought (CoT) を通じて推論を強化している 本稿では, LLM の推論が高レベル合成(HLS)設計空間探索と最適化の課題に対処できるかどうかを検討する。
  論文  参考訳（メタデータ） (2025-03-17T01:21:39Z)
• LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
  LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
  論文  参考訳（メタデータ） (2025-02-15T02:55:22Z)
• Sequential Large Language Model-Based Hyper-parameter Optimization [0.0]
  本研究では,大規模言語モデル(LLM)をハイパーパラメータ最適化(HPO)に活用する革新的なフレームワークSLLMBOを紹介する。 動的探索空間適応性、拡張パラメータ空間利用、新しいLLM木構造パーゼン推定器(LLM-TPE)が組み込まれている。 この総合ベンチマークは、GPT-3.5-Turbo、GPT-4o、Claude-Sonnet-3.5、Gemini-1.5-Flashを含む複数のLCMを評価する。
  論文  参考訳（メタデータ） (2024-10-27T00:50:30Z)
• Privacy-preserved LLM Cascade via CoT-enhanced Policy Learning [14.51198171282123]
  大規模言語モデル(LLM)は、実世界のタスクにまたがる顕著なパフォーマンスのため、デバイス上のアプリケーションにおいて大きな注目を集めている。 我々は,テキストb保存型テキストbfdeferral決定のための,CoT(Chain-of-Thought)強化型テキストbfpolicy学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-10T15:09:52Z)
• Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
  大規模言語モデルを用いた最適化に基づく構造解析手法を提案する。 我々は,プルーニングモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する。 A100 GPUで13Bモデルに対して約35GBのメモリで2.7時間動作させる。
  論文  参考訳（メタデータ） (2024-06-15T09:31:03Z)
• Large Language Models to Enhance Bayesian Optimization [57.474613739645605]
  本稿では,大規模言語モデル(LLM)の能力をベイズ最適化に組み込む新しいアプローチであるLLAMBOを提案する。 高いレベルでは、自然言語のBO問題を枠組み化し、LLMが歴史的評価に照らした有望な解を反復的に提案し、評価することを可能にする。 以上の結果から,LLAMBOはゼロショットウォームスタートに有効であり,サロゲートモデリングや候補サンプリングの促進,特に観察が不十分な場合の探索の初期段階において有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-02-06T11:44:06Z)
• CRaSh: Clustering, Removing, and Sharing Enhance Fine-tuning without Full Large Language Model [22.870512676002463]
  本稿では,集中型LCMと下流エミュレータ間でトランスフォーマブロックを転送する代表的手法であるOffsite-Tuning(OFT)に焦点を当てる。 これらの観測にインスパイアされたCRaShは、LCMから改善エミュレータを導出するトレーニングフリー戦略であるClustering、Removing、Sharingを含む。 以上の結果から,CRaShとOFTの有効性が明らかとなった。
  論文  参考訳（メタデータ） (2023-10-24T03:08:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。