論文の概要: Effective Harness Engineering for Algorithm Discovery with Coding Agents

• arxiv url: http://arxiv.org/abs/2605.15221v1
• Date: Wed, 13 May 2026 06:33:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-18 17:44:16.261134
• Title: Effective Harness Engineering for Algorithm Discovery with Coding Agents
• Title（参考訳）: 符号化エージェントを用いたアルゴリズム発見のための効果的なハーネスエンジニアリング
• Authors: Yoichi Ishibashi, Taro Yano, Masafumi Oyamada,
• Abstract要約: 本稿では,3つの質問による効果的なハーネス設計について検討する。 生成したプログラムがスコアリング機能を利用する場合、ハーネスは評価ハックをどのように扱うべきか? これらの問題に対処するハーネスの改善を取り入れたアルゴリズム発見フレームワークであるVesperを用いて、Circle Packingを評価する。
• 参考スコア（独自算出の注目度）: 6.937903291588555
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AlphaEvolve and FunSearch have demonstrated the potential of combining large language models (LLMs) with evolutionary search for automated algorithm discovery. However, discovery success is shaped not only by model capability but also significantly by the design of the execution infrastructure, i.e., the harness. This paper investigates effective harness design through three questions: under a fixed token budget, is it better to produce many algorithms with brief thought or fewer algorithms with deeper thought? How should the harness handle evaluation hacks, where generated programs exploit the scoring function? And how can agents that require full filesystem access execute safely in parallel? Using Vesper, an algorithm discovery framework that incorporates harness improvements addressing these questions, we evaluate on Circle Packing under the same token budget. Interestingly, generating fewer algorithms while thinking more deeply about each one achieved higher scores. That is, scaling the quality of each individual is more budget-efficient than scaling the number of evolutionary generations. Surprisingly, more capable models produced evaluation hacks at higher rates, making hack detection increasingly necessary as models scale.
• Abstract（参考訳）: AlphaEvolveとFunSearchは、大規模言語モデル(LLM)と進化的検索を組み合わせた自動アルゴリズム発見の可能性を示した。 しかし、発見の成功はモデル能力だけでなく、実行インフラ、すなわちハーネスの設計によっても大きく形作られる。 固定トークン予算の下では、簡単な思考やより深い思考で少ないアルゴリズムで多くのアルゴリズムを生成する方がよいか? 生成したプログラムがスコアリング機能を利用する場合、ハーネスは評価ハックをどのように扱うべきか? そして、完全なファイルシステムアクセスを必要とするエージェントは、どうやって安全に並列に実行できるのか? これらの問題に対処するハーネスの改善を取り入れたアルゴリズム発見フレームワークであるVesperを使用して、同じトークン予算の下でCircle Packingを評価する。 興味深いことに,それぞれについて深く考えながら,より少ないアルゴリズムを生成することで,より高いスコアが得られました。 つまり、個々の品質のスケーリングは、進化世代数をスケーリングするよりも予算効率が良いのです。 驚くべきことに、より有能なモデルがより高いレートで評価ハックを生み出した。

関連論文リスト

• Budget-Efficient Automatic Algorithm Design via Code Graph [2.982218441172364]
  大規模言語モデル(LLM)は自動アルゴリズム設計(AAD)のための強力なツールとして登場した。 我々は予算効率のよい自動アルゴリズム設計を定式化し、検索ポリシーは計算コストに制限のある実現された適合性を最大化する。 提案手法を3つの最適化問題に対して実証的に検証し,同じトークン予算で全アルゴリズム探索よりもグラフ検索の方が一貫した優位性を示す。
  論文  参考訳（メタデータ） (2026-05-11T14:01:52Z)
• Early Discoveries of Algorithmist I: Promise of Provable Algorithm Synthesis at Scale [9.349595533902479]
  Algorithmistは、GitHub Copilot上の自律的な研究者エージェントである。 プライベートデータ分析およびクラスタリングにおける研究レベルのタスクについて評価する。 結果は,LLMシステムが各データセットやデプロイメント設定に合わせて,研究論文品質のアルゴリズムアーティファクトを生成する新たなパラダイムを提案する。
  論文  参考訳（メタデータ） (2026-03-23T04:06:55Z)
• AlphaEvolve: A coding agent for scientific and algorithmic discovery [63.13852052551106]
  我々は,最先端LLMの能力を大幅に向上させる進化的符号化エージェントAlphaEvolveを提案する。 AlphaEvolveはLLMの自律パイプラインを編成し、そのタスクはコードを直接変更することでアルゴリズムを改善することである。 本稿では,多くの重要な計算問題に適用することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2025-06-16T06:37:18Z)
• A*-Thought: Efficient Reasoning via Bidirectional Compression for Low-Resource Settings [60.48717743667377]
  A*-Thoughtは、最も本質的な思考を識別し、分離するために設計された効率的なツリー検索ベースの統合フレームワークである。 LRMの推論過程を探索木として定式化し、各ノードは巨大な推論空間における推論スパンを表す。 低予算でQwQ-32Bを2.39$times$で改善し、高予算で出力トークンの長さを50%近く削減できる。
  論文  参考訳（メタデータ） (2025-05-30T12:58:34Z)
• A Gold Standard Dataset for the Reviewer Assignment Problem [70.45113777449373]
  類似度スコア(Similarity score)とは、論文のレビューにおいて、レビュアーの専門知識を数値で見積もるものである。 既存のアルゴリズムを比較し、より良いアルゴリズムを開発する上で重要な課題は、公開された金標準データの欠如である。 研究コミュニティにリリースした類似度スコアの新しいデータセットを収集します。
  論文  参考訳（メタデータ） (2023-03-23T16:15:03Z)
• HARRIS: Hybrid Ranking and Regression Forests for Algorithm Selection [75.84584400866254]
  両アプローチの強みを両アプローチの弱さを緩和しつつ組み合わせ, 特殊林を利用した新しいアルゴリズムセレクタを提案する。 HARRISの決定は、ハイブリッドランキングと回帰損失関数に基づいて最適化された木を作成する森林モデルに基づいている。
  論文  参考訳（メタデータ） (2022-10-31T14:06:11Z)
• A Pragmatic Look at Deep Imitation Learning [0.3626013617212666]
  我々は6つの異なる対向的模倣学習アルゴリズムを再実装する。 広く使われている専門的軌跡データセットで評価する。 GAILは、様々なサンプルサイズにわたって、一貫してよく機能する。
  論文  参考訳（メタデータ） (2021-08-04T06:33:10Z)
• Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
  本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。 問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。 本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-07T08:00:02Z)
• Autonomous Graph Mining Algorithm Search with Best Speed/Accuracy Trade-off [34.87920835957083]
  本稿では,グラフマイニングアルゴリズム開発のための自動システムを提案する。 まず、様々なメッセージパッシングに基づくグラフアルゴリズムを統合する統一フレームワークUNIFIEDGMを定義する。 次に、UNIFIEDGMを用いて、グラフアルゴリズムを決定するために5つのパラメータを必要とする探索空間を定義する。
  論文  参考訳（メタデータ） (2020-11-26T02:37:39Z)
• Efficient Computation of Expectations under Spanning Tree Distributions [67.71280539312536]
  本稿では,エッジファクター,非プロジェクティブ・スパンニングツリーモデルにおいて,一階期待と二階期待の重要なケースに対する統一アルゴリズムを提案する。 我々のアルゴリズムは勾配と期待の基本的な関係を利用しており、効率的なアルゴリズムを導出することができる。
  論文  参考訳（メタデータ） (2020-08-29T14:58:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。