論文の概要: SuperCoder: Assembly Program Superoptimization with Large Language Models

• arxiv url: http://arxiv.org/abs/2505.11480v2
• Date: Thu, 25 Sep 2025 21:58:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 14:23:57.346614
• Title: SuperCoder: Assembly Program Superoptimization with Large Language Models
• Title（参考訳）: SuperCoder: 大規模な言語モデルによるアセンブリプログラムの最適化
• Authors: Anjiang Wei, Tarun Suresh, Huanmi Tan, Yinglun Xu, Gagandeep Singh, Ke Wang, Alex Aiken,
• Abstract要約: 超最適化は、プログラムをより高速なプログラムに変換し、入力・出力動作を保存するタスクである。 我々は,大規模言語モデル (LLM) がスーパーオプティマイザとして機能し,すでに業界標準コンパイラによって最適化されているコードより優れているアセンブリプログラムを生成することを検討した。
• 参考スコア（独自算出の注目度）: 15.878707003363404
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Superoptimization is the task of transforming a program into a faster one while preserving its input-output behavior. In this work, we investigate whether large language models (LLMs) can serve as superoptimizers, generating assembly programs that outperform code already optimized by industry-standard compilers. We construct the first large-scale benchmark for this problem, consisting of 8,072 real-world assembly programs averaging 130 lines, in contrast to prior datasets restricted to 2-15 straight-line, loop-free programs. We evaluate 23 LLMs on this benchmark and find that the strongest baseline, Claude-opus-4, achieves a 51.5% test-passing rate and a 1.43x average speedup over gcc -O3. To further enhance performance, we fine-tune models with reinforcement learning, optimizing a reward function that integrates correctness and performance speedup. Starting from Qwen2.5-Coder-7B-Instruct (61.4% correctness, 1.10x speedup), the fine-tuned model SuperCoder attains 95.0% correctness and 1.46x average speedup. Our results demonstrate, for the first time, that LLMs can be applied as superoptimizers for assembly programs, establishing a foundation for future research in program performance optimization beyond compiler heuristics.
• Abstract（参考訳）: 超最適化は、プログラムをより高速なプログラムに変換し、入力・出力動作を保存するタスクである。 本研究では,大規模言語モデル(LLM)がスーパー最適化ツールとして機能し,業界標準コンパイラによって最適化されたコードより優れたアセンブリプログラムを生成することを検討する。 我々は,130行を平均化する8,072個の実世界のアセンブリプログラムからなる,この問題に対する最初の大規模ベンチマークを構築した。 このベンチマークで23個のLDMを評価し,最強のベースラインであるClaude-opus-4が51.5%のテストパス率と,gcc-O3よりも平均1.43倍のスピードアップを達成した。 性能をさらに向上するため、強化学習を用いた微調整モデルを作成し、精度と性能の高速化を両立させる報酬関数を最適化した。 Qwen2.5-Coder-7B-インストラクト(61.4%の精度、1.10倍のスピードアップ)から始まり、微調整モデルのSuperCoderは95.0%の精度と1.46倍の平均スピードアップを達成した。 本研究は,LLMを組立プログラムのスーパー最適化として適用できることを初めて示し,コンパイラヒューリスティックスを超えたプログラム性能最適化の基盤を確立した。

関連論文リスト

• Teaching LLM to Reason: Reinforcement Learning from Algorithmic Problems without Code [76.80306464249217]
  本稿では,LLMにより良い理性を教えることを目的としたTeaRを提案する。 TeaRは、注意深いデータキュレーションと強化学習を活用して、コード関連のタスクを通じて最適な推論パスを発見するモデルをガイドする。 我々は、2つのベースモデルと3つの長いCoT蒸留モデルを用いて広範な実験を行い、モデルのサイズは15億から32億のパラメータから、Math、Knowledge、Code、Logical Reasoningにまたがる17のベンチマークにまたがる。
  論文  参考訳（メタデータ） (2025-07-10T07:34:05Z)
• Afterburner: Reinforcement Learning Facilitates Self-Improving Code Efficiency Optimization [46.33639431414019]
  大規模言語モデルは機能的に正しいソリューションを生成するが、コード効率が不足することが多い。 この問題に対処する新しいテストタイム反復最適化フレームワークを導入する。
  論文  参考訳（メタデータ） (2025-05-29T12:14:29Z)
• LLM2: Let Large Language Models Harness System 2 Reasoning [65.89293674479907]
  大規模言語モデル(LLM)は、無数のタスクにまたがって印象的な機能を示してきたが、時には望ましくない出力が得られる。 本稿では LLM とプロセスベースの検証器を組み合わせた新しいフレームワーク LLM2 を紹介する。 LLMs2は妥当な候補を生成するのに責任を持ち、検証者は望ましい出力と望ましくない出力を区別するためにタイムリーなプロセスベースのフィードバックを提供する。
  論文  参考訳（メタデータ） (2024-12-29T06:32:36Z)
• PerfCodeGen: Improving Performance of LLM Generated Code with Execution Feedback [78.89596149768458]
  大規模言語モデル(LLM)は、ソフトウェア開発タスクを支援するために広く採用されている。 LLM生成コードの性能を向上させるトレーニングフリーフレームワークPerfCodeGenを提案する。
  論文  参考訳（メタデータ） (2024-11-18T06:22:38Z)
• Large Language Models as Code Executors: An Exploratory Study [29.545321608864295]
  本稿では,Large Language Models (LLM) をコードエグゼキュータとして探索する。 OpenAIのo1、GPT-4o、GPT-3.5、DeepSeek、Qwen-Coderなど、さまざまなLLMでこの実現可能性を調べています。 我々は,コードスニペットを行単位で処理し,弱いモデルの精度を平均7.22%向上させるIIP(Iterative Instruction Prompting)技術を導入する。
  論文  参考訳（メタデータ） (2024-10-09T08:23:22Z)
• Performance-Aligned LLMs for Generating Fast Code [2.180216161965907]
  コードLLMの出力と性能を一致させる強化学習に基づく手法を提案する。 我々は,一連のベンチマークタスクのベースモデル上でのコード生成の高速化を,微調整モデルにより改善できることを実証した。
  論文  参考訳（メタデータ） (2024-04-29T16:52:38Z)
• StepCoder: Improve Code Generation with Reinforcement Learning from Compiler Feedback [58.20547418182074]
  2つの主要コンポーネントからなるコード生成の新しいフレームワークであるStepCoderを紹介します。 CCCSは、長いシーケンスのコード生成タスクをCurriculum of Code Completion Subtaskに分割することで、探索課題に対処する。 FGOは、未実行のコードセグメントをマスクすることでのみモデルを最適化し、Fine-Grained Optimizationを提供する。 提案手法は,出力空間を探索し,対応するベンチマークにおいて最先端の手法より優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-02-02T13:14:31Z)
• Dissecting the Runtime Performance of the Training, Fine-tuning, and Inference of Large Language Models [26.2566707495948]
  大規模言語モデル(LLM)は、学術と産業の両方で大きく進歩している。 我々は,事前学習,微調整,LLMを異なるサイズで提供する場合のエンドツーエンド性能をベンチマークする。 次に,LLMにおける計算処理や通信演算子など,サブモジュールの詳細なランタイム解析を行う。
  論文  参考訳（メタデータ） (2023-11-07T03:25:56Z)
• Learning Performance-Improving Code Edits [107.21538852090208]
  本稿では,大規模言語モデル(LLM)を高レベルプログラム最適化に適用するためのフレームワークを提案する。 まず、競争力のある77,000以上のC++プログラミングサブミッションペアによる、人間のプログラマによるパフォーマンス改善編集のデータセットをキュレートする。 提案手法は,検索をベースとした少数ショットプロンプトとチェーン・オブ・シンクレットを提案し,その微調整には,自己再生に基づく性能条件付き生成と合成データ拡張が含まれる。
  論文  参考訳（メタデータ） (2023-02-15T18:59:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。