論文の概要: Beyond Single LLMs: Enhanced Code Generation via Multi-Stage Performance-Guided LLM Orchestration

• arxiv url: http://arxiv.org/abs/2510.01379v1
• Date: Wed, 01 Oct 2025 19:07:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.83533
• Title: Beyond Single LLMs: Enhanced Code Generation via Multi-Stage Performance-Guided LLM Orchestration
• Title（参考訳）: 単一 LLM を超えて:マルチステージパフォーマンス誘導 LLM オーケストレーションによるコード生成の強化
• Authors: Huashan Chen, Zhenyu Qi, Haotang Li, Hong Chen, Jinfu Chen, Kebin Peng, In Kee Kim, Kyu Hyung Lee, Sen He,
• Abstract要約: 大規模言語モデル(LLM)は、自動コード生成の主要なパラダイムとなっている。 本稿では,マルチステージなパフォーマンス誘導オーケストレーションフレームワークを導入することで,シングルモデルコンベンションに挑戦する。 Perchは、ステージワイドバリデーションとロールバックメカニズムを通じて、各タスクコンテキストでトップパフォーマンスのLLMをオーケストレーションする。
• 参考スコア（独自算出の注目度）: 12.674888937998086
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While Large Language Models (LLMs) have become the predominant paradigm for automated code generation, current single-model approaches fundamentally ignore the heterogeneous computational strengths that different models exhibit across programming languages, algorithmic domains, and development stages. This paper challenges the single-model convention by introducing a multi-stage, performance-guided orchestration framework that dynamically routes coding tasks to the most suitable LLMs within a structured generate-fix-refine workflow. Our approach is grounded in a comprehensive empirical study of 17 state-of-the-art LLMs across five programming languages (Python, Java, C++, Go, and Rust) using HumanEval-X benchmark. The study, which evaluates both functional correctness and runtime performance metrics (execution time, mean/max memory utilization, and CPU efficiency), reveals pronounced performance heterogeneity by language, development stage, and problem category. Guided by these empirical insights, we present PerfOrch, an LLM agent that orchestrates top-performing LLMs for each task context through stage-wise validation and rollback mechanisms. Without requiring model fine-tuning, PerfOrch achieves substantial improvements over strong single-model baselines: average correctness rates of 96.22% and 91.37% on HumanEval-X and EffiBench-X respectively, surpassing GPT-4o's 78.66% and 49.11%. Beyond correctness gains, the framework delivers consistent performance optimizations, improving execution time for 58.76% of problems with median speedups ranging from 17.67% to 27.66% across languages on two benchmarks. The framework's plug-and-play architecture ensures practical scalability, allowing new LLMs to be profiled and integrated seamlessly, thereby offering a paradigm for production-grade automated software engineering that adapts to the rapidly evolving generative AI landscape.
• Abstract（参考訳）: 大規模言語モデル(LLM)は自動コード生成の主要なパラダイムとなっているが、現在の単一モデルアプローチは、プログラミング言語、アルゴリズムドメイン、開発段階において異なるモデルが示す不均一な計算強度を根本的に無視している。 本稿では、構造化された生成修正ワークフロー内で、コーディングタスクを最も適切なLLMに動的にルーティングするマルチステージなパフォーマンス誘導オーケストレーションフレームワークを導入することで、シングルモデルコンベンションに挑戦する。 我々のアプローチは、HumanEval-Xベンチマークを用いて、5つのプログラミング言語(Python、Java、C++、Go、Rust)にまたがる17の最先端のLLMに関する総合的研究に基づいています。 機能的正確性と実行時のパフォーマンス指標(実行時間、平均/最大メモリ使用量、CPU効率)の両方を評価するこの研究は、言語、開発段階、問題カテゴリによる顕著なパフォーマンスの不均一性を明らかにする。 これらの経験的洞察に導かれたPerfOrchは、ステージワイド検証とロールバック機構を通じて、各タスクコンテキストでトップパフォーマンスのLLMを編成するLLMエージェントである。 モデル微調整を必要とせず、PerfOrchは強力な単一モデルベースラインよりも大幅に改善し、平均精度は96.22%、HumanEval-XとEffiBench-Xは91.37%で、GPT-4oの78.66%と49.11%を上回った。 正確性の向上以外にも、このフレームワークは一貫したパフォーマンス最適化を提供し、2つのベンチマークで言語全体で17.67%から27.66%までの中央値のスピードアップの問題に対して58.76%の実行時間を改善している。 フレームワークのプラグイン・アンド・プレイアーキテクチャは、実用的なスケーラビリティを保証するため、新しいLLMをプロファイル化してシームレスに統合し、急速に進化する生成AIの状況に適応するプロダクショングレードの自動化ソフトウェアエンジニアリングのパラダイムを提供する。

関連論文リスト

• TRACY: Benchmarking Execution Efficiency of LLM-Based Code Translation [15.302454413096335]
  LLM変換されたコードの実行効率を評価するために設計された,最初の総合ベンチマークであるTRACYを紹介する。 ベンチマークの結果は、C++、Java、Pythonで1,011のコード変換タスクで構成されている。 我々の研究は、将来のLLMベースのコード翻訳において、正確さと効率を共同最適化する必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2025-08-15T13:33:52Z)
• CALM: Co-evolution of Algorithms and Language Model for Automatic Heuristic Design [11.639825726501659]
  大規模言語モデル(LLM)は、従来のコストのごく一部で自律的にハイパフォーマンスを発見できる。 本稿では,言語指導と数値指導を組み合わせたハイブリッドフレームワークを提案する。 本手法は,様々な最適化タスクにおいて,SOTA(State-of-the-art)ベースラインを上回っている。
  論文  参考訳（メタデータ） (2025-05-18T07:48:47Z)
• TuRTLe: A Unified Evaluation of LLMs for RTL Generation [0.6010802600885173]
  本研究では,主要なRTL生成タスク間でLLMを評価するための統合評価フレームワークTuRTLeを提案する。 オープンLLMの多様なセットをベンチマークし、EDA固有のタスクの長所と短所を分析します。 以上の結果から,DeepSeek R1のような推論モデルの方が,複数の評価基準で常に優れていたことが示唆された。
  論文  参考訳（メタデータ） (2025-03-31T07:43:12Z)
• EquiBench: Benchmarking Large Language Models' Reasoning about Program Semantics via Equivalence Checking [58.15568681219339]
  大規模言語モデル(LLM)を評価するための新しいベンチマークであるEquiBenchを紹介する。 このタスクは、プログラムのセマンティクスについて推論するモデルの能力を直接テストする。 19の最先端LCMを評価し、最も難しいカテゴリでは、最高の精度は63.8%と76.2%であり、50%のランダムベースラインよりわずかに高い。
  論文  参考訳（メタデータ） (2025-02-18T02:54:25Z)
• Adaptive Pruning for Large Language Models with Structural Importance Awareness [66.2690963378878]
  大規模言語モデル(LLM)は言語理解と生成能力を大幅に改善した。 LLMは、高い計算およびストレージリソース要求のため、リソース制約のあるエッジデバイスにデプロイするのは難しい。 モデル性能を維持しつつ,計算コストとメモリコストを大幅に削減する構造的適応型プルーニング(SAAP)を提案する。
  論文  参考訳（メタデータ） (2024-12-19T18:08:04Z)
• Mono-InternVL: Pushing the Boundaries of Monolithic Multimodal Large Language Models with Endogenous Visual Pre-training [48.455597568212944]
  マルチモーダル・ミックス・オブ・エキスパート構造を用いて視覚専門家の集合をシームレスに統合するモノリシックMLLMであるMono-InternVLを提案する。 特に、EViPは、ノイズの多いデータから高品質なデータへの視覚的知識を完全に活用することを目的とした、視覚専門家のための進歩的な学習プロセスとして設計されている。
  論文  参考訳（メタデータ） (2024-10-10T17:59:22Z)
• Accelerating LLaMA Inference by Enabling Intermediate Layer Decoding via Instruction Tuning with LITE [62.13435256279566]
  大規模言語モデル(LLM)は、様々な自然言語タスクで顕著なパフォーマンスを実現している。 しかし、その大きなサイズは推論を遅く、計算的に高価にする。 最終層の生成能力に影響を与えることなく、これらの層が「良い」生成能力を得ることができることを示す。
  論文  参考訳（メタデータ） (2023-10-28T04:07:58Z)
• Learning Performance-Improving Code Edits [107.21538852090208]
  本稿では,大規模言語モデル(LLM)を高レベルプログラム最適化に適用するためのフレームワークを提案する。 まず、競争力のある77,000以上のC++プログラミングサブミッションペアによる、人間のプログラマによるパフォーマンス改善編集のデータセットをキュレートする。 提案手法は,検索をベースとした少数ショットプロンプトとチェーン・オブ・シンクレットを提案し,その微調整には,自己再生に基づく性能条件付き生成と合成データ拡張が含まれる。
  論文  参考訳（メタデータ） (2023-02-15T18:59:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。