論文の概要: Evolution or Illusion? Rethinking Evaluation in LLM Evolutionary Search

• arxiv url: http://arxiv.org/abs/2609.19799v1
• Date: Thu, 17 Sep 2026 07:12:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.133047
• Title: Evolution or Illusion? Rethinking Evaluation in LLM Evolutionary Search
• Title（参考訳）: 進化かイライラか? : LLM進化探索における再考
• Abstract要約: LLMによる進化的探索は、種子を発射し、それぞれのプログラムを反復することによってプログラムを見つける。 本研究は,5つの最適化課題における3つの進化的探索戦略を評価する。
• 参考スコア（独自算出の注目度）: 2.3165808794695915
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM-driven evolutionary search finds programs by launching seeds and iterating each one. Papers report a single budget setting, usually one seed run for a fixed number of iterations, and rank methods from that one point. We show this is not enough. We evaluate three evolutionary search strategies on five optimization tasks, commonly used by papers in the genre to report results. We run the analysis over a full grid of seeds and iterations. Our findings suggest that the best way to split a fixed budget between more seeds (width) and more iterations (depth) changes with the strategy, the task, and the total budget. Furthermore, we observe that the ranking of strategies also changes with the budget. On one task the strategy that looks worst at one seed is best at forty seeds. On another the best number of iterations is well below the value common in practice, so extra depth wastes budget that more seeds would turn into score. We provide a measurement protocol that reports the seeds-by-iterations frontier and practical guidance for using it.
• Abstract（参考訳）: LLMによる進化的探索は、種子を発射し、それぞれのプログラムを反復することによってプログラムを見つける。 論文は1つの予算設定を報告し、通常は1つのシードが一定回数のイテレーションに対して実行され、その1つのポイントからメソッドをランク付けする。 これは十分でないことを示す。 本研究は,5つの最適化課題における3つの進化的探索戦略を評価する。 分析は、シードとイテレーションの完全なグリッド上で実行します。 以上の結果から,固定予算をシード(幅)とイテレーション(深度)に分割する最善の方法は,戦略,タスク,総予算によって変化することが示唆された。 さらに,戦略のランク付けも予算とともに変化することが観察された。 あるタスクでは、1つのシードで最悪のように見える戦略は、40個のシードに最も適しています。 別の面では、イテレーションの最大の数は、実際に一般的な価値よりもはるかに低いので、より多くのシードがスコアになるような、余分な深さの予算を無駄にします。 我々は,種子ごとのフロンティアを報告するための測定プロトコルと,それを使用するための実践的なガイダンスを提供する。

関連論文リスト

• Test-Time Scaling in the Wild: Why Exploitation, Not Exploration, Is the Bottleneck [1.4991111518581999]
  テストタイムスケーリング(TTS)は、追加の推論計算を使用することで、言語モデルの出力を改善する。 5世代ベンチマークで5つのTSファミリーの計算正規化比較を行った。
  論文  参考訳（メタデータ） (2026-08-19T13:59:53Z)
• Rethinking the Evaluation of Harness Evolution for Agents [83.07258924910069]
  既存のハーネス進化法では、単体テストケースを使用してハーネス構成を検索し、同じ公開ベンチマークで最終的なパフォーマンスを報告している。 このプロトコルは2つの基本的な懸念を提起する。 エージェントによるテスト時間スケーリングと同様に、一致したフィードバックと推論予算の下で単純なタスクレベルの検索ベースラインと比較すべきである。
  論文  参考訳（メタデータ） (2026-07-14T00:18:42Z)
• Provably Optimal Learning Algorithms for Assistance Games [60.843021846414956]
  我々は、繰り返しアシストゲームのための最初の証明可能な効率的な学習アルゴリズムを提供する。 情報化人間とアシスタントの両方に分散化アルゴリズムを提案する。 後悔の近似係数が1-1/eより良いことを証明した。
  論文  参考訳（メタデータ） (2026-07-09T00:38:42Z)
• When Is Rank-1 Steering Cheap? Geometry, Granularity, and Budgeted Search [61.73232505100331]
  アクティベーションステアリングは、再トレーニングせずにLSMを制御する軽量な方法を提供するが、その効果は概念によって大きく異なる。 我々は介入層と係数に対する予算制約付き最適化としてランク1ステアリングを定式化する。 操作困難の原因の診断にアクティベーション幾何を利用するグラニュラリティおよび表現認識概念工学フレームワークである textitGRACE を提案する。
  論文  参考訳（メタデータ） (2026-05-09T14:26:49Z)
• RoboPhD: Evolving Diverse Complex Agents Under Tight Evaluation Budgets [0.2126018197183873]
  本稿では,エロトーナメントの選択,EPA,グリーディヒルクライミングという3つの最適化パラダイムの体系的比較について述べる。 RoboPhDは、トレーニングとバリデーションの予算を分割する代わりに、トレーニングデータにEloコンペティションを使用してエージェントを同時に評価し、進化を促進する。 我々は、さまざまな複雑なエージェントを進化させるためのシンプルなOptimation_anything() APIを使って、MITライセンスの下で汎用ツールキットとしてRoboPhDをリリースした。
  論文  参考訳（メタデータ） (2026-04-06T01:39:13Z)
• Truncating Trajectories in Monte Carlo Policy Evaluation: an Adaptive Approach [51.76826149868971]
  モンテカルロシミュレーションによる政策評価は多くのMC強化学習(RL)アルゴリズムの中核にある。 本研究では,異なる長さの軌跡を用いた回帰推定器の平均二乗誤差のサロゲートとして品質指標を提案する。 本稿では,Robust and Iterative Data Collection Strategy Optimization (RIDO) という適応アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-17T11:47:56Z)
• Explore to Generalize in Zero-Shot RL [38.43215023828472]
  本研究では,強化学習におけるゼロショットの一般化について検討する。 提案手法は,Mazeタスクが83%,Heistが74%,トレーニングレベルが200ドルという,極めて効果的な一般化を実現したProcGen課題のタスクの最先端技術であることを示す。
  論文  参考訳（メタデータ） (2023-06-05T17:49:43Z)
• Active Ranking of Experts Based on their Performances in Many Tasks [72.96112117037465]
  我々は、dタスクのパフォーマンスに基づいて、n名のエキスパートをランク付けする問題を考察する。 我々は,各専門家のペアに対して,各タスクにおいて他方よりも優れているという,単調な仮定を定めている。
  論文  参考訳（メタデータ） (2023-06-05T06:55:39Z)
• Multi Agent Path Finding using Evolutionary Game Theory [0.22843885788439797]
  従来知られていなかった環境をナビゲートする一組の均質・自律的なエージェントに対する経路探索の問題点を考察する。 私たちの解決策は、進化ゲーム理論、つまり、うまく機能するポリシーを複製し、そうでないポリシーを減少させる考え方に基づいている。 我々は、我々が学習する政策が進化的に安定しており、それゆえに他の政策による侵略に迫っていることを実証的に証明する。
  論文  参考訳（メタデータ） (2022-12-05T03:46:06Z)
• Improving Sample Efficiency in Evolutionary RL Using Off-Policy Ranking [2.8176502405615396]
  進化戦略(Evolution Strategy, ES)は、自然進化の考え方に基づく強力なブラックボックス最適化手法である。 本稿では、フィットネス機能に対する局所近似に基づいて、ランク付けのための新しい非政治的代替案を提案する。 我々は、Augmented Random Search (ARS)と呼ばれる最先端ES手法の文脈で、我々のアイデアを実証する。
  論文  参考訳（メタデータ） (2022-08-22T20:29:20Z)
• Portfolio Search and Optimization for General Strategy Game-Playing [58.896302717975445]
  ローリングホライズン進化アルゴリズムに基づく最適化とアクション選択のための新しいアルゴリズムを提案する。 エージェントのパラメータとポートフォリオセットの最適化について,N-tuple Bandit Evolutionary Algorithmを用いて検討する。 エージェントの性能分析により,提案手法はすべてのゲームモードによく一般化し,他のポートフォリオ手法よりも優れることが示された。
  論文  参考訳（メタデータ） (2021-04-21T09:28:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。