論文の概要: FrontierRefactor: Benchmarking Multi-Scale Performance-Oriented Codebase Refactoring

• arxiv url: http://arxiv.org/abs/2610.25834v1
• Date: Mon, 19 Oct 2026 05:47:51 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:20:41.297046
• Title: FrontierRefactor: Benchmarking Multi-Scale Performance-Oriented Codebase Refactoring
• Title（参考訳）: FrontierRefactor: マルチスケールのパフォーマンス指向のコードベースリファクタリングのベンチマーク
• Abstract要約: 既存のベンチマークは、ランタイムレグレッションを見下ろしながら機能的正確性を評価する。 コンパイルスケールは、観測可能な契約の範囲によって管理されていることを観察する。 私たちはFrontierRefactorを紹介します。これは4つのスケールにまたがる60のエンジニアリングタスクのベンチマークです。
• 参考スコア（独自算出の注目度）: 34.41458860449248
• License:
• Abstract: Autonomous codebase refactoring requires coding agents to restructure working software while strictly preserving externally observable behavior and prioritizing execution performance and compute efficiency over stylistic preference. Existing benchmarks: refactoring benchmarks assess functional correctness while overlooking runtime regressions, whereas code performance benchmarks target isolated micro-kernels that ignore codebase-scale complexity. We observe that refactoring scale is governed by the scope of the observable contract, the caller-visible interface fixing behavioral invariants while freeing private implementations for optimization. Building on this insight, we introduce FrontierRefactor, a benchmark of 60 qualified engineering tasks spanning four scales, from computational kernels to full repositories, across in-place optimization and cross-language rewriting. Evaluating frontier coding agents through a reference-free cascaded protocol across 1,080 execution runs reveals that correctness and speedup are largely decoupled: 41.2% of submissions satisfy functional equivalence yet fail to deliver verified performance improvements, with 19.3% suffering performance regressions and 21.9% trapped in measurement noise. Refactoring paradigms reveal orthogonal engineering bottlenecks: while cross-language rewrites gain speedups from native compilation after passing functional checks, agents struggle with contract fidelity, with pass rates dropping from 65.0% on modules to 32.6% at package scale; conversely, in-place optimization reliably preserves behavioral contracts at 86.5% but rarely achieves acceleration without physical performance profiling. Trajectory analysis shows that agents fall victim to uncalibrated micro-benchmarking illusions, an operational blind spot that multi-turn execution-timing feedback directly resolves, raising strict success from 16.0% to 40.0%.
• Abstract（参考訳）: 自律的なコードベースのリファクタリングには、外部から観測可能な振る舞いを厳格に保ち、スタイリスティックな好みよりも実行パフォーマンスと計算効率を優先しながら、動作するソフトウェアを再構築するコーディングエージェントが必要である。 既存のベンチマーク: リファクタリングベンチマークはランタイムのレグレッションを見落としながら機能的正確性を評価するが、コードパフォーマンスベンチマークはコードベースのスケールの複雑さを無視した分離されたマイクロカーネルをターゲットにしている。 我々は、リファクタリングスケールは、最適化のためのプライベート実装を解放しつつ、動作不変性を修正する呼び出し可視インターフェースである可観測契約の範囲によって管理されていることを観察する。 この洞察に基づいて、FrontierRefactorという、計算カーネルから完全なリポジトリまで、インプレース最適化と言語間の書き直しという、4つのスケールにまたがる60のエンジニアリングタスクのベンチマークを紹介します。 1,080回の実行で参照のないカスケードプロトコルを通じてフロンティアコーディングエージェントを評価すると、正しさとスピードアップが大半が切り離されていることが分かる:41.2%の応募は機能的等価性を満足するが、性能改善の検証には失敗し、19.3%のパフォーマンス低下と21.9%の計測ノイズが抑制された。 言語間の書き直しは、機能チェックをパスした後、ネイティブコンパイルからスピードアップするが、エージェントは契約の忠実さに悩まされ、モジュールの65.0%からパッケージのスケールで32.6%に低下する。 軌道分析は、エージェントが未調整のマイクロベンチマーキング錯覚の犠牲となり、マルチターン実行刺激フィードバックが直接解決し、厳密な成功を16.0%から40.0%に引き上げる、運用上の盲点であることを示している。

関連論文リスト

• Beyond Scaling: Self-Evolving LLM Agents for Hardware Kernel Optimization via an Experience-Driven Workflow and Experience Graph Memory [19.236924182307085]
  既存のカーネル最適化エージェントは、決定、その観察された実行フィードバック、そしてその証拠を使用する後の決定をほとんど保存しない。 ハードウェアカーネル最適化のための経験駆動型フレームワーク KOPE を提案する。
  論文  参考訳（メタデータ） (2026-08-26T09:27:39Z)
• RefactorAssist: Agentic Refinement for Reliable Code Refactoring [0.3657314044338856]
  大規模言語モデル(LLM)は、ソフトウェア工学のタスクを自動化する可能性を実証している。 LLMは、しばしば微妙なエラーを導入し、機能的な振る舞いの変化やユニットテストの失敗につながる。 LLM生成物の機能的正しさを向上させるためにRefactorAssistエージェントを開発した。
  論文  参考訳（メタデータ） (2026-08-02T01:32:22Z)
• REFORGE: A Method for Benchmarking LLMs' Reverse Engineering Capabilities in Decompiled Binary Function Naming [0.0]
  大規模な言語モデル(LLM)は、リバースエンジニアリングタスクにますます適用されている。 しかし、彼らの能力に関する主張は、それを測定する能力よりも優れている。 本稿では,関数レベル基底真理をCソースから構築する証明追跡パイプラインであるReforgeを提案する。
  論文  参考訳（メタデータ） (2026-07-07T23:17:03Z)
• Converted, Not Equivalent: Benchmarking Codebase Conversion via Observational Equivalence [56.25095230687242]
  コーディングエージェントは、しばしば自身のローカル検証ルーチンを過度に信頼し、表面チェックを満たすアーティファクトの成功を宣言する。 この問題は、事前評価が結果駆動である変換において特に深刻である。 ブラインド・コンバージョンは26.7-28.9%に達し、スペック・パスレートは91.1%まで上昇した。 このことは、失敗は限られた予算やバックボーンの強さよりも、契約ミスによる自己検証に起因していることを示唆している。
  論文  参考訳（メタデータ） (2026-05-27T19:57:15Z)
• OptiLoop: Coordination-in-the-Loop Verification and Repair for LLM-Generated Optimization Agents [0.9543827270223156]
  分散された決定問題は、複数の当事者が共有された決定を調整する必要がある。 大規模言語モデル(LLM)は、ローカル最適化エージェントを生成することで参加障壁を低くする有望な方法を提供する。 LLM生成最適化エージェントのコーディネーション・イン・ザ・ループ検証と修復を提案する。
  論文  参考訳（メタデータ） (2026-05-26T19:49:41Z)
• Structural Verification for Reliable EDA Code Generation without Tool-in-the-Loop Debugging [0.6843491191969066]
  本稿では,ツール・イン・ザ・ループのデバッグを,実行前に構造的正しさを強制することで除去することを提案する。 シングルステップタスクでは,パスレートが73.0% (LLM+RAG) から76.4% (tool-in-loop) から82.5% に向上する。 マルチステップタスクでは、パスレートは30.0%から70.0%に改善され、さらに軌道レベルの反射で84.0%に改善される。
  論文  参考訳（メタデータ） (2026-04-20T20:58:52Z)
• AdaExplore: Failure-Driven Adaptation and Diversity-Preserving Search for Efficient Kernel Generation [59.964989458924585]
  AdaExploreは、パフォーマンスクリティカルなカーネルコード生成のための蓄積された実行フィードバックによる自己改善を可能にするエージェントフレームワークである。 適応段階では、エージェントはタスクを合成し、繰り返し発生する障害を有効ルールの再利用可能なメモリに変換する。 探索段階では、候補核を木として整理し、小さな局所精製とより大きな構造再生を交互に行う。
  論文  参考訳（メタデータ） (2026-04-17T18:25:03Z)
• CVeDRL: An Efficient Code Verifier via Difficulty-aware Reinforcement Learning [57.24524263804788]
  コード検証は、LLMベースのコード生成の検証後において重要な役割を果たす。 既存の教師付き微調整手法は、データの不足、高い失敗率、推論効率の低下に悩まされている。 機能的な報酬しか持たない単純RLは、難しいブランチやサンプルに対して効果的な単体テストを生成することができないことを示す。
  論文  参考訳（メタデータ） (2026-01-30T10:33:29Z)
• QiMeng-NeuComBack: Self-Evolving Translation from IR to Assembly Code [52.66657751895655]
  大規模言語モデル(LLM)は、ニューラルコンパイルという魅力的な新しいパラダイムを提供する。 本稿では,IR-to-assemblyコンパイル用に設計された新しいベンチマークデータセットであるNeuComBackを紹介する。 LLMの内部的なプロンプト戦略を進化させる自己進化的プロンプト最適化法を提案する。
  論文  参考訳（メタデータ） (2025-11-03T03:20:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。