論文の概要: OptiArena: Can LLMs Improve Executable Algorithms under Fixed Resource Budgets?

• arxiv url: http://arxiv.org/abs/2609.32227v1
• Date: Sat, 26 Sep 2026 04:42:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 18:44:37.919177
• Title: OptiArena: Can LLMs Improve Executable Algorithms under Fixed Resource Budgets?
• Title（参考訳）: OptiArena: LLMは固定資源予算の下で実行可能なアルゴリズムを改善できるか?
• Abstract要約: 本稿では,大規模言語モデル (LLM) がゲームプレイアルゴリズムを改良できるかどうかを検証するための予算制御テストベッドであるOptiArenaを紹介する。 テストベッドには2つの最適化機構、表面難燃制御、校正基準、ホールドアウト/ストレススプリット、分解と例外的な故障の診断が使用されている。
• 参考スコア（独自算出の注目度）: 2.7984641886518413
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Static QA and code-generation benchmarks only partially capture the role that large language models (LLMs) now play as coding agents and research tools. We introduce OptiArena, a budget-controlled testbed for studying whether LLMs can improve executable game-playing algorithms through five rounds of code edits within a fixed minimal scaffold and under bounded evaluator feedback and fixed resource budgets. The testbed uses two optimization regimes, surface obfuscation controls, calibrated references, held-out/stress splits, and diagnostics for degradation and exceptional failures, with LLM API cost reported separately from local evaluator wall-clock. The empirical study asks three questions: whether models can close the calibrated gap between a designated weak starter and an editable competent baseline, whether they can refine editable competent baselines without damaging them, and whether gains survive surface obfuscation controls. Across twelve frontier LLMs and five games, models improve designated weak starters more consistently than they refine editable competent baselines, with substantial variation across games and models. OptiArena provides a practical testbed for measuring bounded-resource algorithm optimization within the five-edit, fixed-scaffold setting studied here. Code is available at https://github.com/WJ-Peng/OptiArena.
• Abstract（参考訳）: 静的QAとコード生成ベンチマークは、大規模言語モデル(LLM)がコーディングエージェントや研究ツールとして果たす役割を部分的に捉えているだけである。 我々は,固定された最小の足場内で5ラウンドのコード編集を行い,有界評価器フィードバックと固定資源予算の下でLLMが実行可能なゲームプレイアルゴリズムを改善できるかどうかを検証するための予算管理テストベッドであるOptiArenaを紹介した。 テストベッドは2つの最適化方式、表面難読化制御、校正基準、ホールドアウト/ストレススプリット、劣化と例外的な故障の診断、およびローカルな評価器ウォールクロックとは別途のAPIコストを報告している。 実験的な研究では、モデルが指定された弱いスタートターと編集可能な有能なベースラインの間の校正されたギャップを閉じることができるかどうか、編集可能な有能なベースラインを損傷することなく洗練できるかどうか、およびゲインが表面難読化制御に耐えられるかどうか、という3つの質問を投げかけている。 12のフロンティア LLM と5つのゲームにまたがるモデルでは、編集可能なコンピテントベースラインを改良するよりも、指定された弱いスターターを一貫して改善する。 OptiArenaは、ここで研究した5edit, fixed-scaffold設定において、有界リソースアルゴリズムの最適化を測定するための実用的なテストベッドを提供する。 コードはhttps://github.com/WJ-Peng/OptiArenaで入手できる。

関連論文リスト

• Can Coding Agents Implement Missed Compiler Optimizations? Evaluating LLM Agents on LLVM Peephole Optimizations [3.2479630553628156]
  実世界の欠落したピープホール最適化からタスクを構築する評価フレームワークであるピープホールベンチを紹介する。 我々は,LLVM の InstCombine パスで欠落したピープホール最適化の修正について,最先端のコーディングエージェントをベンチマークした。 正しさと収益性の間の緊張を観察し、同時に両方の次元において人間開発者と一致するエージェントは存在しない。
  論文  参考訳（メタデータ） (2026-07-02T18:25:29Z)
• FrontierOR: Benchmarking LLMs' Capacity for Efficient Algorithm Design in Large-Scale Optimization [61.43300970020897]
  大規模言語モデル(LLM)は、最適化モデリングとソルバコード生成にますます使われている。 既存のベンチマークは、実際のスケールと複雑さよりもはるかに低い、小さな、あるいは単純化された例に限られている。 現実的な大規模最適化問題に対して,LLMに基づく効率的なアルゴリズム設計を評価するための最初のベンチマークとしてFrontierORを紹介した。
  論文  参考訳（メタデータ） (2026-05-24T20:10:42Z)
• Understanding Robustness of Model Editing in Code LLMs: An Empirical Study [1.5624785508022727]
  本稿では,5つの最先端モデル編集手法の体系的研究を行う。 これらの手法を3つの主要なオープンソースコードLLM、CodeLlama、CodeQwen1.5、DeepSeek-Coderに適用する。 インスタント編集はモデル性能を常に劣化させ、構文的妥当性は86ポイントまで低下し、機能的正しさは最高のパフォーマンス設定でも45ポイントまで低下する。
  論文  参考訳（メタデータ） (2025-11-05T04:58:13Z)
• D-LiFT: Improving LLM-based Decompiler Backend via Code Quality-driven Fine-tuning [49.16469288280772]
  逆コンパイラは、バイナリから可読なソースコードを再構築する。 近年の進歩にもかかわらず、そのアウトプットは構文上の誤りや意味的な誤りに悩まされ、読みにくいままである。 大規模言語モデル (LLMs) の出現により、研究者は逆コンパイラ出力を洗練するためのLLMの可能性を探り始めた。 D-LIFTは、微調整強化学習を施した拡張逆コンパイラLLMパイプラインである。
  論文  参考訳（メタデータ） (2025-06-11T19:09:08Z)
• Automatic Robustness Stress Testing of LLMs as Mathematical Problem Solvers [13.40970017743291]
  大規模言語モデル(LLM)は、様々な推論集約的なタスクにおいて優れたパフォーマンスを達成している。 LLMはロバスト性の問題に直面する可能性があり、いくつかの単純な推論タスクで予期せず失敗する。 本稿では,従来の意味を保ちつつも LLM に失敗する可能性のある数学的問題変種を生成するための新しいフレームワークである Automatic Robustness Checker (AR-Checker) を提案する。
  論文  参考訳（メタデータ） (2025-06-05T13:42:39Z)
• Leveraging Online Olympiad-Level Math Problems for LLMs Training and Contamination-Resistant Evaluation [55.21013307734612]
  AoPS-Instructは60,000以上の高品質QAペアのデータセットである。 LiveAoPSBenchは、最新のフォーラムデータから派生したタイムスタンプによる進化的評価セットである。 我々の研究は、高度な数学推論のための大規模で高品質なデータセットの作成と維持にスケーラブルなアプローチを提示している。
  論文  参考訳（メタデータ） (2025-01-24T06:39:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。