論文の概要: AlgoBench: Benchmarking Algorithmic Adaptation in Code Generation

• arxiv url: http://arxiv.org/abs/2607.00062v1
• Date: Tue, 30 Jun 2026 10:13:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-02 19:56:07.602235
• Title: AlgoBench: Benchmarking Algorithmic Adaptation in Code Generation
• Title（参考訳）: AlgoBench: コード生成におけるアルゴリズム適応のベンチマーク
• Abstract要約: ALGOBENCHは、既知の競合プログラミング問題から新しいアルゴリズム問題を自動生成するフレームワークである。 ALGOBENCHの変種では性能が急激に低下し、検索によって古いアルゴリズムの再利用が増加し、多くの正しい解が要求される複雑さを満たすことができないことを示す。
• 参考スコア（独自算出の注目度）: 7.798940465229644
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: High pass rates on established programming benchmarks such as HumanEval and LiveCodeBench do not always show whether a model can reason about algorithms. Many fixed benchmarks eventually become part of the public training ecosystem through released problem statements, editorials, and generated solutions, allowing later models to improve partly by exposure rather than by stronger algorithmic ability. We introduce ALGOBENCH, a framework that automatically builds novel algorithmic problems from known competitive-programming problems through structured constraint-shifting transformations. Each accepted ALGOBENCH variant is traceable to a source problem, but must make the original reference algorithm fail. Beyond pass@$k$, we introduce complexity-aware metrics -- including OPTT, OPTS, TRAPRATE, GAPT, and CONSENS -- to test whether a solution is not only functionally correct but also asymptotically suitable for the generated problem. Experiments across multiple LLMs and prompting strategies show that performance drops sharply on ALGOBENCH variants, retrieval can increase reuse of the old algorithm, and many correct-looking solutions fail to meet the required complexity. Error analysis shows that failures are mainly algorithmic rather than implementation-level, suggesting that ALGOBENCH evaluates adaptation beyond functional correctness.
• Abstract（参考訳）: HumanEvalやLiveCodeBenchのような確立したプログラミングベンチマークのパスレートは、モデルがアルゴリズムを推論できるかどうかを常に示すものではない。 多くの固定ベンチマークは結局、リリースされた問題ステートメント、編集、生成されたソリューションを通じてパブリックトレーニングエコシステムの一部となり、後のモデルはアルゴリズム能力の強化よりも露出によって部分的に改善される。 ALGOBENCHは、構造化制約シフト変換によって既知の競合プログラミング問題から新しいアルゴリズム問題を自動生成するフレームワークである。 それぞれの ALGOBENCH 変種はソース問題にトレース可能であるが、元の参照アルゴリズムをフェールさせる必要がある。 Pass@k$以外にも、OPTT、OPTS、TRAPRATE、GAPT、ConSENSなど、複雑性を意識したメトリクスを導入して、ソリューションが機能的に正しいだけでなく、生成された問題に漸近的に適しているかどうかをテストする。 複数のLSMに対する実験とプロンプト戦略により、ALGOBENCHの変種では性能が急激に低下し、検索によって古いアルゴリズムの再利用が増加し、多くの正しい解が要求される複雑さを満たすことができないことが示された。 誤り解析により、障害は主に実装レベルではなくアルゴリズムによるものであることが示され、ALGOBENCHが機能的正確性を超えた適応を評価することが示唆された。

関連論文リスト

• FrontierOR: Benchmarking LLMs' Capacity for Efficient Algorithm Design in Large-Scale Optimization [61.43300970020897]
  大規模言語モデル(LLM)は、最適化モデリングとソルバコード生成にますます使われている。 既存のベンチマークは、実際のスケールと複雑さよりもはるかに低い、小さな、あるいは単純化された例に限られている。 現実的な大規模最適化問題に対して,LLMに基づく効率的なアルゴリズム設計を評価するための最初のベンチマークとしてFrontierORを紹介した。
  論文  参考訳（メタデータ） (2026-05-24T20:10:42Z)
• Budget-Efficient Automatic Algorithm Design via Code Graph [2.982218441172364]
  大規模言語モデル(LLM)は自動アルゴリズム設計(AAD)のための強力なツールとして登場した。 我々は予算効率のよい自動アルゴリズム設計を定式化し、検索ポリシーは計算コストに制限のある実現された適合性を最大化する。 提案手法を3つの最適化問題に対して実証的に検証し,同じトークン予算で全アルゴリズム探索よりもグラフ検索の方が一貫した優位性を示す。
  論文  参考訳（メタデータ） (2026-05-11T14:01:52Z)
• Early Discoveries of Algorithmist I: Promise of Provable Algorithm Synthesis at Scale [9.349595533902479]
  Algorithmistは、GitHub Copilot上の自律的な研究者エージェントである。 プライベートデータ分析およびクラスタリングにおける研究レベルのタスクについて評価する。 結果は,LLMシステムが各データセットやデプロイメント設定に合わせて,研究論文品質のアルゴリズムアーティファクトを生成する新たなパラダイムを提案する。
  論文  参考訳（メタデータ） (2026-03-23T04:06:55Z)
• Discovering Algorithms with Computational Language Processing [0.7062238472483737]
  本稿では,トークンとして表現された操作列を概念化し,アルゴリズム発見を自動化するフレームワークを提案する。 これらの計算トークンは文法を用いてチェーン化され、より洗練された手続きの形成を可能にする。 我々のアンサンブルであるモンテカルロ木探索(MCTS)は、強化学習(RL)によって導かれ、トークン連鎖を探索し、新しいトークンの作成を促進する。
  論文  参考訳（メタデータ） (2025-07-03T21:45:17Z)
• AlgOS: Algorithm Operating System [2.5352713493505785]
  AlgOSはアルゴリズムの実装のためのモジュール化されていないフレームワークである。 新しいアルゴリズムの実装のオーバーヘッドを減らし、アルゴリズムの比較を標準化するように設計されている。
  論文  参考訳（メタデータ） (2025-04-07T10:36:46Z)
• PlanGEN: A Multi-Agent Framework for Generating Planning and Reasoning Trajectories for Complex Problem Solving [89.60370366013142]
  制約,検証,選択という3つの重要な要素を持つモデルに依存しない,スケーラブルなエージェントフレームワークであるPlanGENを提案する。 具体的には、推論時間アルゴリズムの性能を向上させるために、制約誘導反復検証を提案する。
  論文  参考訳（メタデータ） (2025-02-22T06:21:56Z)
• ALGO: Synthesizing Algorithmic Programs with LLM-Generated Oracle Verifiers [60.6418431624873]
  大きな言語モデル(LLM)は、機能記述からコードを実装するのに優れているが、アルゴリズムの問題に悩まされている。 我々は,アルゴリズムプログラムを LLM 生成 Oracle で合成するフレームワーク ALGO を提案し,その生成をガイドし,その正確性を検証する。 実験の結果,ALGOを装着すると,Codexモデルよりも8倍,CodeTよりも2.6倍の1サブミッションパス率が得られることがわかった。
  論文  参考訳（メタデータ） (2023-05-24T00:10:15Z)
• FastDiagP: An Algorithm for Parallelized Direct Diagnosis [64.65251961564606]
  FastDiagは、競合を事前に決定せずに診断計算をサポートする典型的な直接診断アルゴリズムである。 本稿では,投機的プログラミングのアイデアに基づく新しいアルゴリズムであるFastDiagPを提案する。 このメカニズムは、高速な回答で一貫性チェックを提供し、アルゴリズムのランタイムパフォーマンスを高めるのに役立つ。
  論文  参考訳（メタデータ） (2023-05-11T16:26:23Z)
• Machine Learning for Online Algorithm Selection under Censored Feedback [71.6879432974126]
  オンラインアルゴリズム選択(OAS)では、アルゴリズム問題クラスのインスタンスがエージェントに次々に提示され、エージェントは、固定された候補アルゴリズムセットから、おそらく最高のアルゴリズムを迅速に選択する必要がある。 SAT(Satisfiability)のような決定問題に対して、品質は一般的にアルゴリズムのランタイムを指す。 本研究では,OASのマルチアームバンディットアルゴリズムを再検討し,この問題に対処する能力について議論する。 ランタイム指向の損失に適応し、時間的地平線に依存しない空間的・時間的複雑さを維持しながら、部分的に検閲されたデータを可能にする。
  論文  参考訳（メタデータ） (2021-09-13T18:10:52Z)
• Adaptive Sampling for Best Policy Identification in Markov Decision Processes [79.4957965474334]
  本稿では,学習者が生成モデルにアクセスできる場合の,割引マルコフ決定(MDP)における最良の政治的識別の問題について検討する。 最先端アルゴリズムの利点を論じ、解説する。
  論文  参考訳（メタデータ） (2020-09-28T15:22:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。