論文の概要: A Hybrid Nested Harness for Decoupling Structure and Parameters in LLM-Driven Optimization

• arxiv url: http://arxiv.org/abs/2608.08156v1
• Date: Sat, 08 Aug 2026 14:35:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.703181
• Title: A Hybrid Nested Harness for Decoupling Structure and Parameters in LLM-Driven Optimization
• Title（参考訳）: LLM駆動最適化における構造とパラメータの分離のためのハイブリッドネステッドハーネス
• Abstract要約: 言語モデルを利用した進化的アルゴリズムでは、LLMは構造成分と連続パラメータを同時に更新する単一の演算子として機能する。 我々は,LLMを外ループとするハイブリッドネスト探索を形式化し,LLMが数値ギャップを持つ構造的スケッチを提案し,内ネストがスケッチをチューニングする。 i) クローズドフォームテスト関数のメタ最適化、(ii) システム研究と社会的ジレンマのためのコードベースのポリシー、(iii) ベイズ推論タスクの近似である。
• 参考スコア（独自算出の注目度）: 6.599344783327054
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In evolutionary algorithms powered by language models, the LLM acts as a single operator that simultaneously updates structural components (like control flow) and continuous parameters. While LLMs can be good at the first, they are not efficient at the second, wasting tokens taking discrete jumps inside a trial and error loop. We resolve this by formalizing a hybrid nested search, in which an outer loop has the LLM propose a structural sketch, with numeric gaps, and an inner numerical optimizer tunes the sketch. Both the outer and inner solvers are pluggable: any text-based optimizer can be combined with a zero-order optimizer (CMA-ES), gradient-based routines, or MCMC samplers. We validate our framework across three scientific domains: (i) meta-optimizers on closed-form test functions, (ii) code-based policies for systems research and social dilemmas; and (iii) approximate Bayesian inference tasks. Across all three, the hybrid optimizer is superior to both vanilla LLM-driven search and pure numerical optimization baselines. Code at: https://github.com/vicgalle/hybrid-nested-search
• Abstract（参考訳）: 言語モデルを利用した進化的アルゴリズムでは、LLMは構造成分(制御フローなど)と連続パラメータを同時に更新する単一の演算子として機能する。 LLMは最初はうまく機能するが、第2段階では効率が悪く、試行錯誤ループ内で離散ジャンプを取るトークンを無駄にする。 本研究では,LLMを外ループとするハイブリッドネスト探索を形式化し,数値ギャップを持つ構造スケッチを提案し,内部数値オプティマイザがスケッチをチューニングする。 テキストベースのオプティマイザは、ゼロオーダーオプティマイザ(CMA-ES)、勾配ベースのルーチン、MCMCサンプルラと組み合わせることができる。 我々は3つの科学領域にまたがる枠組みを検証する。 (i)クローズドフォームテスト関数のメタ最適化子 (二 システム研究及び社会ジレンマのためのコードに基づく政策 (三)ベイズ推定タスクを近似する。 これら3つの中で、ハイブリッドオプティマイザは、バニラLLM駆動探索と純粋数値最適化ベースラインの両方よりも優れている。 コード:https://github.com/vicgalle/hybrid-nested-search

関連論文リスト

• Formalize, Don't Optimize: The Heuristic Trap in LLM-Generated Combinatorial Solvers [52.23061619664667]
  大規模言語モデル(LLM)は直接推論によって複雑な問題を解くのに苦慮しているため、近年のニューロシンボリックシステムは、それを実行可能な解法を合成するためにますます利用している。 我々は,100の問題をベンチマークしたCP-SynC-XL(4,577インスタンス)を導入し,ネイティブアルゴリズム検索(Python),PythonソルバAPI(Python + OR-Tools)による制約モデリング,宣言的制約モデリングという3つのコンストラクションパラダイムを評価した。
  論文  参考訳（メタデータ） (2026-05-12T17:15:45Z)
• BEAM: Bi-level Memory-adaptive Algorithmic Evolution for LLM-Powered Heuristic Design [49.50107918295052]
  大規模言語モデルに基づくハイパーヒューリスティック(LHH)は、最近、自動設計の効率的な方法として登場した。 この問題に対処するために textbfBEAM (Bi-level Memory-adaptive Algorithmic Evolution) を提案する。 BEAMは既存のLHHよりも著しく優れており、特に最適性ギャップが37.84%減少している。
  論文  参考訳（メタデータ） (2026-04-14T15:46:47Z)
• Can LLMs Beat Classical Hyperparameter Optimization Algorithms? A Study on autoresearch [42.242102214102566]
  制約のない検索空間でソースコードを編集するLLMエージェントが古典的手法とのギャップを狭めることを示す。 平均ベクトル,ステップサイズ,共分散行列を含むCMA-ESの内部状態を共有するハイブリッドであるCentaurを紹介する。 Centaurは実験で最高の結果を得ることができ、0.8Bの変種は27Bの変種よりも優れていた。
  論文  参考訳（メタデータ） (2026-03-25T17:29:40Z)
• S3-CoT: Self-Sampled Succinct Reasoning Enables Efficient Chain-of-Thought LLMs [48.80914119283909]
  チェーン・オブ・シークレット(CoT)を備えた大規模言語モデルは、強力なパフォーマンスを実現し、振る舞いの窓を提供する。 最近の証拠は、CoT能力の改善には冗長な推論プロセスが伴うことを示唆している。 本研究では,効率的なCoT学習のためのアクティベーションステアリングに基づく自己サンプリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-02T11:37:36Z)
• Prism: Efficient Test-Time Scaling via Hierarchical Search and Self-Verification for Discrete Diffusion Language Models [96.0074341403456]
  LLM推論を改善するための実用的な方法として、推論時計算が再導入されている。 テスト時間スケーリング(TTS)アルゴリズムの多くは、自動回帰デコーディングに依存している。 そこで我々は,dLLM のための効率的な TTS フレームワーク Prism を提案する。
  論文  参考訳（メタデータ） (2026-02-02T09:14:51Z)
• Combining Large Language Models and Gradient-Free Optimization for Automatic Control Policy Synthesis [2.8593976574111264]
  大型言語モデル (LLM) は、シンボル制御ポリシーのジェネレータとして期待されている。 パラメータ最適化から構造合成を分離するハイブリッド手法を提案する。 シンボルプログラム合成と数値最適化を組み合わせることで、解釈可能ながら高い性能のポリシーが得られることを示す。
  論文  参考訳（メタデータ） (2025-10-01T00:42:15Z)
• LLM4CMO: Large Language Model-aided Algorithm Design for Constrained Multiobjective Optimization [54.35609820607923]
  大規模言語モデル(LLM)は、アルゴリズム設計を支援する新しい機会を提供する。 LLM4CMOは,2つの人口構成をもつ2段階のフレームワークをベースとした新しいCMOEAである。 LLMは複雑な進化最適化アルゴリズムの開発において効率的な共同設計者として機能する。
  論文  参考訳（メタデータ） (2025-08-16T02:00:57Z)
• Optimizing Prompt Sequences using Monte Carlo Tree Search for LLM-Based Optimization [20.44067161623662]
  大規模言語モデル(LLM)は、コード生成と構造化推論において顕著な能力を示した。 本稿では,モンテカルロ木探索によって導かれる逐次決定過程として,選択を高速化するニューラルシンボリックフレームワークを提案する。 本手法は,コード生成品質の向上を目的として,複数ステップのプロンプトシーケンスを探索・精査する。
  論文  参考訳（メタデータ） (2025-08-08T04:01:24Z)
• Scaffolded Language Models with Language Supervision for Mixed-Autonomy: A Survey [52.00674453604779]
  本調査は,戦後のLM周辺における新規構造物の設計と最適化に関する文献を整理した。 本稿では,この階層構造を足場型LMと呼び,ツールを用いた多段階プロセスに統合されたLMに焦点を当てる。
  論文  参考訳（メタデータ） (2024-10-21T18:06:25Z)
• Search-Based LLMs for Code Optimization [16.843870288512363]
  開発者によって書かれたコードは、通常効率上の問題に悩まされ、様々なパフォーマンス上のバグを含んでいる。 最近の研究は、タスクをシーケンス生成問題とみなし、大規模言語モデル(LLM)のようなディープラーニング(DL)技術を活用している。 改良された最適化手法の反復的洗練と発見を可能にする,SBLLM という検索ベース LLM フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-22T06:59:46Z)
• Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
  本研究では,プルーンドモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する最適化に基づく構造的プルーニングを提案する。 我々は、基底となるベルヌーイ分布をサンプルのバイナリ・プルーニングマスクに学習することでこれを実現する。 LLaMA, LLaMA-2, LLaMA-3, Vicuna, Mistral モデルによる実験により, 本手法の有効性と有効性を示すことができた。
  論文  参考訳（メタデータ） (2024-06-15T09:31:03Z)
• LLM as a Complementary Optimizer to Gradient Descent: A Case Study in Prompt Tuning [69.95292905263393]
  グラデーションベースとハイレベルなLLMは、協調最適化フレームワークを効果的に組み合わせることができることを示す。 本稿では,これらを相互に補完し,組み合わせた最適化フレームワークを効果的に連携させることができることを示す。
  論文  参考訳（メタデータ） (2024-05-30T06:24:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。