論文の概要: Harnessing Large Language Models to Compile Task-Relevant Context into Bayesian Optimisation

• arxiv url: http://arxiv.org/abs/2609.36788v1
• Date: Tue, 29 Sep 2026 05:58:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.225232
• Title: Harnessing Large Language Models to Compile Task-Relevant Context into Bayesian Optimisation
• Title（参考訳）: タスク関連コンテキストをベイズ最適化にコンパイルする大規模言語モデル
• Abstract要約: HarBOはBO特有のハーネスであり、一般的なコンテキストを標準BOのコアアーティファクトにコンパイルする。 我々の理論は、不完全コンパイル中の後悔と新しい文脈を加える効果を解析する。 一般的なコーディングハーネスは、慣れ親しんだドメインでは有効であるが、慣れ親しんだコンテキストに富んだドメインでは不十分である。
• 参考スコア（独自算出の注目度）: 8.575443556603693
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Incorporating rich task-relevant context, such as domain knowledge and external observations, is a key capability yet remains challenging for Bayesian optimisation (BO). Recently, practitioners have started to use large language models (LLMs) to generate and execute BO programs through coding harnesses. In such emerging practices, the posterior belief is shaped not only by Bayesian inference but also by LLM-generated model and data artefacts, offering a flexible route for task context to enter BO as executable code. To study whether and how LLMs can be harnessed to compile diverse contextual signals for BO, we formulate LLM-compiled BO as generalised-context decision making. We propose HarBO, a BO-specialised harness that compiles generalised context into the core artefacts of standard BO through a validated multi-stage workflow. Our theory analyses the regret under imperfect compilation and the effect of adding new context. Across synthetic functions and real-world benchmarks, we find that LLM harnesses can effectively compile context into standard BO, achieving competitive performance with specialised LLM-embedding-based and direct LLM-in-the-loop BO methods. General coding harnesses can be effective in familiar domains such as hyperparameter optimisation, but fall short in unfamiliar, context-rich domains. Together, these results establish LLM harnesses as a promising, but not automatically reliable, route for making rich task context usable in BO.
• Abstract（参考訳）: ドメイン知識や外部観測などのリッチなタスク関連コンテキストを組み込むことは、ベイズ最適化(BO)にとって依然として重要な能力である。 近年,大規模言語モデル (LLM) を用いてプログラミングハーネスによるBOプログラムの生成と実行が始まっている。 このような新興の実践において、後続の信念はベイズ推論だけでなく、LLM生成モデルやデータアーチファクトによっても形成され、タスクコンテキストがBOを実行可能なコードとして入力するための柔軟なルートを提供する。 LLMがBOのための多様な文脈信号のコンパイルにどのように利用できるかを検討するため、汎用コンテキスト決定法としてLLMコンパイルBOを定式化する。 本稿では,汎用コンテキストを標準BOのコアアーティファクトにコンパイルするBO特化ハーネスであるHarBOを提案する。 我々の理論は、不完全コンパイル中の後悔と新しい文脈を加える効果を解析する。 合成関数と実世界のベンチマークにより、LLMハーネスはコンテキストを標準BOに効果的にコンパイルし、LLM埋め込みとループ内直接BO法との競合性能を実現する。 一般的な符号化ハーネスは、ハイパーパラメータ最適化のような慣れ親しんだドメインで有効であるが、馴染みの無いコンテキストに富んだドメインでは不十分である。 これらの結果により,LLM ハーネスは,BO で使用可能なリッチタスクコンテキストを実現するための,有望だが自動的信頼性の低いルートとして確立される。

関連論文リスト

• The Imitation Game: When LLMs Learn to Reason Like Programs via Code-Centric Reasoning Data Synthesis [50.473217152006875]
  MIMICは、データ合成を推論するための厳密な媒体として実行可能なコードを活用するフレームワークである。 MIMICは、ナラティブ融合、コード誘導テスト合成、動的コードインスツルメンテーションを通じて、アルゴリズムを検証可能な推論軌道に変換する。 提案手法は, 一般的な推論, 複雑な数学的ベンチマーク, きめ細かい決定論的タスクにおいて, 精度を著しく向上させる。
  論文  参考訳（メタデータ） (2026-09-13T17:04:16Z)
• RAVEL: Reasoning Agents for Validating and Evaluating LLM Text Synthesis [78.32151470154422]
  テスト担当者が自律的に設計し、典型的な合成操作を実行できるようにするためのエージェントフレームワークであるRAVELを紹介する。 C3EBenchは、プロの人間の文章から1,258個のサンプルを抽出したベンチマークである。 SOTA LLMを演算子としてRAVELを増強することにより、そのようなエージェントテキスト合成はLLMの推論能力に支配されていることがわかった。
  論文  参考訳（メタデータ） (2026-02-28T14:47:34Z)
• LLINBO: Trustworthy LLM-in-the-Loop Bayesian Optimization [5.844783557050259]
  大規模言語モデル (LLM) は低データ構造において顕著な適応性を示している。 本稿では,LLINBO: LLM-in-the-Loop BOを提案する。 この論文は、3Dプリンティングの文脈における概念実証で締めくくっている。
  論文  参考訳（メタデータ） (2025-05-20T15:54:48Z)
• Post-Incorporating Code Structural Knowledge into Pretrained Models via ICL for Code Translation [15.73070332657629]
  大規模言語モデル(LLM)はソフトウェアマイニングにおいて大きな進歩を遂げた。 ソースコードの構文構造を扱うことは 依然として課題です 本稿では、コード構造知識を事前学習したLLMに組み込むために、インコンテキスト学習(ICL)を用いる。
  論文  参考訳（メタデータ） (2025-03-28T10:59:42Z)
• OpenCoder: The Open Cookbook for Top-Tier Code Large Language Models [76.59316249991657]
  コードのための大規模言語モデル(LLM)は、コード生成、推論タスク、エージェントシステムなど、さまざまな領域で必須になっている。 オープンアクセスのコード LLM はプロプライエタリなモデルの性能レベルに近づきつつあるが、高品質なコード LLM は依然として限られている。 トップクラスのコードLLMであるOpenCoderは、主要なモデルに匹敵するパフォーマンスを達成するだけでなく、研究コミュニティの"オープンクックブック"としても機能します。
  論文  参考訳（メタデータ） (2024-11-07T17:47:25Z)
• Large Language Models to Enhance Bayesian Optimization [57.474613739645605]
  本稿では,大規模言語モデル(LLM)の能力をベイズ最適化に組み込む新しいアプローチであるLLAMBOを提案する。 高いレベルでは、自然言語のBO問題を枠組み化し、LLMが歴史的評価に照らした有望な解を反復的に提案し、評価することを可能にする。 以上の結果から,LLAMBOはゼロショットウォームスタートに有効であり,サロゲートモデリングや候補サンプリングの促進,特に観察が不十分な場合の探索の初期段階において有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-02-06T11:44:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。