論文の概要: An important Bottleneck in LLM Optimizers: Principle-Level Local Optima

• arxiv url: http://arxiv.org/abs/2610.24291v2
• Date: Wed, 21 Oct 2026 16:38:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 09:50:43.14246
• Title: An important Bottleneck in LLM Optimizers: Principle-Level Local Optima
• Title（参考訳）: LLM最適化における重要なボットネック:原理レベル局所最適化
• Abstract要約: 本研究では,設計原則の狭い集合に限定したemph-principleレベルの探索崩壊について検討する。 分子最適化,ネットワークノード選択,GPUカーネル最適化を対象とする診断ベンチマークを作成した。 その後、参照原則の介入をテストして、いくつかの実行を改善することに気付きましたが、そのメリットはモデルやタスクによって異なります。
• 参考スコア（独自算出の注目度）: 5.829163126217484
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Feedback-driven LLM optimizers are increasingly used for evolutionary search, Bayesian optimization, heuristic design, and scientific discovery. Yet rapid initial gains often give way to prolonged plateaus despite substantial remaining evaluation budgets. We investigate \emph{principle-level search collapse}, where an optimizer's search becomes confined to a narrow set of design principles, even though it may continue to generate distinct candidates and achieve small improvements. We assemble a diagnostic benchmark spanning molecular optimization, network sentinel-node selection, and GPU-kernel optimization, and introduce a decision-tree protocol combining principle narrowing, prolonged performance plateaus, and gaps to attainable reference solutions. Across 161 assessable runs on the three problem domains, 78.3\% receive support for collapse, including 55.3\% with strong support. Candidate-level variation can nevertheless conceal restricted search at the principle level. We then test \emph{diversity injection}, a common response to search stagnation, such as higher t, multiple LLMs, and web search, and show that it provides limited and inconsistent benefits: among 65 molecular runs, still 73.8\% and 53.8\% receive support and strong support respectively. We finally test reference-principle interventions and find that they improve some runs, but their benefits vary across models and tasks: access to a better principle does not guarantee its effective use. Our benchmark and diagnostic protocol provide a basis for evaluating future optimizers on principle-level collapse. Our findings highlight the need for online collapse detection and better mechanisms for generating and maintaining alternative principles during optimization.
• Abstract（参考訳）: フィードバック駆動型LLM最適化器は進化的探索、ベイズ最適化、ヒューリスティックデザイン、科学的発見にますます利用されている。 しかし、急激な初期利上げは、かなりの評価予算が残っているにもかかわらず、長期間の高原に道を譲ることが多い。 我々は,最適化者の探索が設計原則の狭いセットに制限されるような,異なる候補の生成を継続し,小さな改善を達成できる「emph{principle-level search collapse}」について検討する。 分子最適化,ネットワークセンチネルノード選択,GPUカーネル最適化にまたがる診断ベンチマークを収集し,原理的絞り込み,長期性能評価,到達可能な参照解のギャップを考慮した決定木プロトコルを導入する。 161を超える評価可能な3つの問題領域で実行され、78.3\%は崩壊のサポートを受け、55.3\%は強力なサポートを持つ。 候補レベルの変動は、しかしながら、原則レベルで制限された検索を隠蔽することができる。 次に、高いt、複数のLDM、Web検索などの検索停滞に対する一般的な反応である「emph{diversity Injection}」をテストし、65分子の実行中、73.8\%と53.8\%がそれぞれサポートを受け、強いサポートを受けながら、限定的で一貫性のない利益をもたらすことを示した。 最終的に参照原則の介入をテストし、いくつかの実行を改善することに気付きましたが、そのメリットはモデルやタスクによって異なります。 我々のベンチマークと診断プロトコルは、原理レベルの崩壊における将来の最適化の基盤を提供する。 この結果から,オンライン崩壊検出の必要性と,最適化時の代替原則の生成と維持のためのメカニズムの改善が示唆された。

関連論文リスト

• Do Agent Optimizers Compound? A Continual-Learning Evaluation on Terminal-Bench 2.0 [53.71882250666667]
  エージェント最適化法で報告されているほとんどの利得はワンショットである。 これは、デプロイされたエージェントにとって重要な設定をテストするものではない。 エージェントハーネス最適化に対する3つのアプローチを比較する。
  論文  参考訳（メタデータ） (2026-07-15T16:36:04Z)
• FrontierOR: Benchmarking LLMs' Capacity for Efficient Algorithm Design in Large-Scale Optimization [61.43300970020897]
  大規模言語モデル(LLM)は、最適化モデリングとソルバコード生成にますます使われている。 既存のベンチマークは、実際のスケールと複雑さよりもはるかに低い、小さな、あるいは単純化された例に限られている。 現実的な大規模最適化問題に対して,LLMに基づく効率的なアルゴリズム設計を評価するための最初のベンチマークとしてFrontierORを紹介した。
  論文  参考訳（メタデータ） (2026-05-24T20:10:42Z)
• optimize_anything: A Universal API for Optimizing any Text Parameter [98.42497715725356]
  単一タスク検索をサポートする1つのAIベースの最適化システム、クロスプロブレム転送によるマルチタスク検索、および目に見えない入力への一般化を示す。 LLMに基づく検索によるテキストの最適化は汎用的な問題解決パラダイムであることを示す。
  論文  参考訳（メタデータ） (2026-05-19T10:18:12Z)
• AdaExplore: Failure-Driven Adaptation and Diversity-Preserving Search for Efficient Kernel Generation [59.964989458924585]
  AdaExploreは、パフォーマンスクリティカルなカーネルコード生成のための蓄積された実行フィードバックによる自己改善を可能にするエージェントフレームワークである。 適応段階では、エージェントはタスクを合成し、繰り返し発生する障害を有効ルールの再利用可能なメモリに変換する。 探索段階では、候補核を木として整理し、小さな局所精製とより大きな構造再生を交互に行う。
  論文  参考訳（メタデータ） (2026-04-17T18:25:03Z)
• Entropy-Gated Branching for Efficient Test-Time Reasoning [21.810952984561116]
  テスト時間計算法は、大規模言語モデル(LLM)の推論能力と問題解決精度を大幅に向上させることができる。 本稿では,高不確実性ステップのみに分岐するEntropy-Gated Branching (EGB)を提案する。 数学と財務の推論ベンチマークでは、EGBは標準的な推論よりも22.6%精度を向上し、数学のベンチマークで31%-75%高速に動作している。
  論文  参考訳（メタデータ） (2025-03-27T20:18:22Z)
• HERO: Hint-Based Efficient and Reliable Query Optimizer [0.0]
  本稿では,より優れた実行計画を実現するためのクエリヒントを提供する,学習クエリ最適化のための新しいモデルを提案する。 このモデルは、学習したヒントベースのクエリ最適化において、信頼できるヒントレコメンデーション、効率的なヒント探索、高速推論という3つの課題に対処する。 私たちのモデルは解釈可能でデバッグが容易です。
  論文  参考訳（メタデータ） (2024-12-03T10:58:34Z)
• Scattered Forest Search: Smarter Code Space Exploration with LLMs [55.71665969800222]
  進化的探索において,解の多様性を向上し,フィードバックを有効活用する新しい手法であるSCATTERED FOREST SEARCH(SFS)を提案する。 本手法は,木探索,線探索,繰り返しサンプリングなど,既存の探索手法よりも効率よくスケールする。
  論文  参考訳（メタデータ） (2024-10-22T01:58:29Z)
• Correcting the Mythos of KL-Regularization: Direct Alignment without Overoptimization via Chi-Squared Preference Optimization [78.82586283794886]
  $chi2$-Preference Optimization(chi$PO)は、オーバー最適化に対して確実に堅牢なオフラインアライメントアルゴリズムである。 $chi$POは、正規化による不確実性に直面して悲観主義の原理を実装している。 $chi$POの単純さと強力な保証により、オーバー最適化に対して確実に堅牢な、実用的で汎用的なオフラインアライメントアルゴリズムとなった。
  論文  参考訳（メタデータ） (2024-07-18T11:08:40Z)
• Surpassing legacy approaches to PWR core reload optimization with single-objective Reinforcement learning [0.0]
  単目的および多目的の最適化のための深層強化学習(DRL)に基づく手法を開発した。 本稿では、PPO(Proximal Policy Optimization)を用いて、RLに基づくアプローチの利点を実証する。 PPOは学習可能なウェイトを持つポリシーで検索機能を適応し、グローバル検索とローカル検索の両方として機能する。
  論文  参考訳（メタデータ） (2024-02-16T19:35:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。