論文の概要: Overcoming the Weakest-Link Effect in LLM-Driven Program Optimization via Heterogeneous Edit Recombination

• arxiv url: http://arxiv.org/abs/2607.28947v1
• Date: Fri, 31 Jul 2026 02:05:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-03 16:35:22.214011
• Title: Overcoming the Weakest-Link Effect in LLM-Driven Program Optimization via Heterogeneous Edit Recombination
• Title（参考訳）: 不均一編集組換えによるLCM駆動プログラム最適化におけるWeakest-Link効果の克服
• Abstract要約: HEROは、多様で重複しない原子編集を生成し、それから体系的に選択し、評価器スコアを用いてコヒーレントなプログラム改善に構成するプログラムである。 我々は,アルゴリズム問題,戦略ゲーム,LSMに基づくエージェントシステムの設計,ロボット経路計画などにわたるHEROを評価する。
• 参考スコア（独自算出の注目度）: 59.679182823718556
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are increasingly used to solve complex problems by searching over program space, offering a general paradigm for scientific problems that can be naturally represented and solved as programs. Despite recent progress, identifying effective optimization directions for a candidate program remains challenging. By analogy with automatic differentiation, existing methods typically guide the search using a textual ``gradient'': a first-order update direction expressed as textual edits. Such gradients are inferred either from previously evaluated programs or from LLM-generated feedback on the implicit program-score mapping. However, these estimates become increasingly unreliable as the program--score mapping grows more complex, limiting their practical utility. We argue that explicit gradients are not essential for effective program optimization. Leveraging their prior knowledge, LLMs can propose plausible atomic edits directly from the current program, thereby enabling a zeroth-order optimization strategy. However, zeroth-order search suffers from a \textit{weakest-link effect}: when a bundle of edits is accepted or rejected as a whole, a single harmful edit can negate the benefits of all remaining edits. To address this issue, we introduce HERO, a program optimizer that prompts an LLM to generate diverse, non-overlapping atomic edits and then systematically selects and composes them into coherent program improvements using evaluator scores. We evaluate HERO across algorithmic problems, strategy games, the design of LLM-based agentic systems, and robotic path planning. Across these domains, HERO consistently discovers higher-scoring programs and converges substantially faster than prior LLM-based optimizers, while consuming fewer tokens.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、プログラム空間を探索することで、プログラムとして自然に表現され、解決される科学的な問題に対する一般的なパラダイムを提供することで、複雑な問題を解決するためにますます使われている。 近年の進歩にもかかわらず、候補プログラムの効果的な最適化方向を特定することは依然として困難である。 自動微分と類似して、既存のメソッドは通常、テキスト編集として表現された一階更新方向である ``gradient'' を使って検索をガイドする。 このような勾配は、事前に評価されたプログラムから推定されるか、暗黙的なプログラムスコアマッピングに関するLLM生成フィードバックから推定される。 しかし、プログラムのスコアマッピングがより複雑になり、実用性が制限されるにつれて、これらの推定はますます信頼性が低下する。 明確な勾配は効果的なプログラム最適化には不可欠ではないと我々は主張する。 従来の知識を生かして、LLMは現在のプログラムから直接有望な原子編集を提案できるため、ゼロ階最適化戦略が可能である。 しかし、ゼロ階探索は、textit{weakest-link effect} に悩まされる: 編集の束が受け入れられたり拒否されたりすると、単一の有害な編集が残りの編集の利点を無効にすることができる。 この問題に対処するために,プログラム最適化器HEROを導入し,LLMが多種多様で重複しないアトミックな編集を生成させるとともに,評価器スコアを用いてプログラムを体系的に選択し,一貫性のあるプログラム改善に構成する。 我々は,アルゴリズム問題,戦略ゲーム,LSMに基づくエージェントシステムの設計,ロボット経路計画などにわたるHEROを評価する。 これらの領域全体にわたって、HEROは高いスコア付けプログラムを常に発見し、従来のLCMベースのオプティマイザよりもかなり高速に収束し、トークンを消費する。

関連論文リスト

• Property-Guided LLM Program Synthesis for Planning [6.88204255655161]
  評価後にプログラムを採点する代わりに、候補が正式に定義された性質を満たすかどうかを確認する。 このフィードバックは、プログラム生成数と評価コストの両方を大幅に削減します。
  論文  参考訳（メタデータ） (2026-05-15T16:23:35Z)
• LLM-Guided Genetic Improvement: Envisioning Semantic Aware Automated Software Evolution [39.24798235257764]
  ソフトウェアの遺伝的改善(GI)は、興味のある特定の性質に応じて改善された代替ソフトウェアバージョンを自動的に生成する。 大きな言語モデル(LLM)はセマンティック・アウェアな編集を提供するが、目標指向のフィードバックと制御は欠如している。 本稿では,セマンティック・アウェアネス・サーチを取り入れたAIを用いたGIの新しい研究ラインについて検討する。
  論文  参考訳（メタデータ） (2025-08-25T14:49:29Z)
• Grammar-Guided Evolutionary Search for Discrete Prompt Optimisation [63.97051732013936]
  本稿では,2段階からなる離散的な自動最適化に対する進化的探索手法を提案する。 第1段階では、文法誘導型遺伝的プログラミングが実行され、プロンプト生成プログラムを合成する。 第2段階では、局所探索を用いて、最高のパフォーマンスプログラムの周辺を探索する。
  論文  参考訳（メタデータ） (2025-07-14T14:34:15Z)
• LLM Program Optimization via Retrieval Augmented Search [71.40092732256252]
  提案手法は,提案手法によって最適化されたビーム探索を行う検索アルゴリズムであるRetrieval Augmented Search (RAS) である。 我々は、RASが従来の最先端のブラックボックス適応戦略よりも1.8$times$パフォーマンスが高いことを示す。 また、トレーニング例を「アトミックな編集」に分解することで、解釈可能性を向上させるAEGISと呼ばれる手法を提案する。
  論文  参考訳（メタデータ） (2025-01-31T06:34:47Z)
• Counterexample Guided Program Repair Using Zero-Shot Learning and MaxSAT-based Fault Localization [0.0]
  導入プログラミング課題(IPAs)のための自動プログラム修復(APR)は、多数の学生の参加によって動機付けられている。 本稿では,FMに基づく障害局所化とLarge Language Models(LLMs)の長所を組み合わせた新しいアプローチを提案する。 提案手法では,MaxSATに基づく障害位置定位法を用いて,プログラムのバグ部分を特定し,これらのバグ文を欠いたプログラムスケッチをLLMに提示する。
  論文  参考訳（メタデータ） (2024-12-19T12:08:44Z)
• In-context Demonstration Matters: On Prompt Optimization for Pseudo-Supervision Refinement [71.60563181678323]
  大規模言語モデル(LLM)は様々なタスクで大きな成功を収めており、生成品質をさらに向上させるためには微調整が必要である場合もある。 これらの課題に対処する直接的な解決策は、教師なしの下流タスクから高信頼のデータを生成することである。 本稿では,プロンプトと全体的な擬似スーパービジョンを両立させる新しい手法,擬似教師付きデモアライメント・アライメント・アライメント・プロンプト・最適化(PAPO)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-04T03:39:28Z)
• LLM as a Complementary Optimizer to Gradient Descent: A Case Study in Prompt Tuning [69.95292905263393]
  グラデーションベースとハイレベルなLLMは、協調最適化フレームワークを効果的に組み合わせることができることを示す。 本稿では,これらを相互に補完し,組み合わせた最適化フレームワークを効果的に連携させることができることを示す。
  論文  参考訳（メタデータ） (2024-05-30T06:24:14Z)
• Can You Improve My Code? Optimizing Programs with Local Search [25.436793960409926]
  局所改善検索(POLIS)によるプログラム最適化は、その行によって定義されたプログラムの構造を利用する。 POLISは、既存のブルートフォース合成アルゴリズムを使用して、残りの行を固定しながらプログラムの単一行を改善し、プログラムのパフォーマンスを改善できなくなるまで繰り返し続ける。
  論文  参考訳（メタデータ） (2023-07-10T20:39:41Z)
• Automatic Prompt Optimization with "Gradient Descent" and Beam Search [64.08364384823645]
  大きな言語モデル(LLM)は汎用エージェントとして優れたパフォーマンスを示しているが、その能力はプロンプトに大きく依存している。 この問題に対する単純で非パラメトリックな解である自動プロンプト最適化(APO)を提案する。 APOはデータのミニバッチを使用して、現在のプロンプトを批判する自然言語「段階的」を形成する。 次に、勾配の反対の意味方向のプロンプトを編集することで、勾配をプロンプトに「伝播」する。
  論文  参考訳（メタデータ） (2023-05-04T15:15:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。