論文の概要: A Problem-Oriented Perspective and Anchor Verification for Code Optimization

• arxiv url: http://arxiv.org/abs/2406.11935v2
• Date: Mon, 17 Feb 2025 07:38:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:06:59.977233
• Title: A Problem-Oriented Perspective and Anchor Verification for Code Optimization
• Title（参考訳）: コード最適化のための問題指向の視点とアンカー検証
• Authors: Tong Ye, Tengfei Ma, Xuhong Zhang, Hang Yu, Jianwei Yin, Wenhai Wang,
• Abstract要約: 大規模言語モデル(LLM)は、様々なプログラミングタスクを解く際、顕著な能力を示している。 本稿では,LLMが最小実行時間に最適化する能力について検討する。
• 参考スコア（独自算出の注目度）: 43.28045750932116
• License:
• Abstract: Large language models (LLMs) have shown remarkable capabilities in solving various programming tasks, such as code generation. However, their potential for code optimization, particularly in performance enhancement, remains largely unexplored. This paper investigates the capabilities of LLMs in optimizing code for minimal execution time, addressing a critical gap in current research. The recently proposed code optimization dataset constructs program optimization pairs based on iterative submissions from the same programmer for the same problem. However, this approach limits LLMs to local performance improvements, neglecting global algorithmic innovation. To overcome this limitation, we adopt a completely different perspective by reconstructing the optimization pairs into a problem-oriented approach. This allows for the integration of various ideas from multiple programmers tackling the same problem. Experimental results demonstrate that adapting LLMs to problem-oriented optimization pairs significantly enhances their optimization capabilities. Furthermore, recognizing the inherent trade-offs in code optimization, we introduce an anchor verification mechanism to mitigate the "optimization tax". Ultimately, our approach elevates both the optimization ratio and speedup to new levels.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、コード生成のような様々なプログラミングタスクを解く際、顕著な能力を示している。 しかし、コード最適化の可能性、特にパフォーマンスの向上については、まだ明らかにされていない。 本稿では,LLMを最小限の実行時間に最適化する能力について検討し,現在の研究における重要なギャップに対処する。 最近提案されたコード最適化データセットは、同じ問題に対して同じプログラマからの反復的な提案に基づいて、プログラム最適化ペアを構成する。 しかし、このアプローチはLLMを局所的なパフォーマンス改善に制限し、グローバルアルゴリズムの革新を無視している。 この制限を克服するために、最適化ペアを問題指向のアプローチに再構成することで、まったく異なる視点を採用する。 これにより、同じ問題に取り組む複数のプログラマによるさまざまなアイデアの統合が可能になる。 実験により, LLMを問題指向最適化ペアに適応させることで, 最適化性能が著しく向上することが示された。 さらに,コード最適化における本来のトレードオフを認識し,最適化税を緩和するアンカー検証機構を導入する。 最終的に、我々の手法は最適化率とスピードアップの両方を新しいレベルに引き上げる。

関連論文リスト

• Improving Existing Optimization Algorithms with LLMs [0.9668407688201361]
  本稿では,Large Language Models (LLM) が既存の最適化アルゴリズムをどのように拡張するかを検討する。 事前学習した知識を用いて、革新的なバリエーションと実装戦略を提案する能力を示す。 以上の結果から, GPT-4oによる代替案はCMSAのエキスパート設計よりも優れていた。
  論文  参考訳（メタデータ） (2025-02-12T10:58:57Z)
• Deep Insights into Automated Optimization with Large Language Models and Evolutionary Algorithms [3.833708891059351]
  大きな言語モデル(LLM)と進化的アルゴリズム(EA)は、制限を克服し、最適化をより自動化するための有望な新しいアプローチを提供する。 LLMは最適化戦略の生成、洗練、解釈が可能な動的エージェントとして機能する。 EAは進化作用素を通して、複雑な解空間を効率的に探索する。
  論文  参考訳（メタデータ） (2024-10-28T09:04:49Z)
• Optima: Optimizing Effectiveness and Efficiency for LLM-Based Multi-Agent System [75.25394449773052]
  大規模言語モデル (LLM) に基づくマルチエージェントシステム (MAS) は協調的問題解決において顕著な可能性を示している。 通信効率の低下、スケーラビリティの低下、効果的なパラメータ更新方法の欠如などです。 本稿では,コミュニケーション効率とタスク効率を両立させ,これらの課題に対処する新しいフレームワークOptimaを提案する。
  論文  参考訳（メタデータ） (2024-10-10T17:00:06Z)
• Search-Based LLMs for Code Optimization [16.843870288512363]
  開発者によって書かれたコードは、通常効率上の問題に悩まされ、様々なパフォーマンス上のバグを含んでいる。 最近の研究は、タスクをシーケンス生成問題とみなし、大規模言語モデル(LLM)のようなディープラーニング(DL)技術を活用している。 改良された最適化手法の反復的洗練と発見を可能にする,SBLLM という検索ベース LLM フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-22T06:59:46Z)
• LLM as a Complementary Optimizer to Gradient Descent: A Case Study in Prompt Tuning [69.95292905263393]
  グラデーションベースとハイレベルなLLMは、協調最適化フレームワークを効果的に組み合わせることができることを示す。 本稿では,これらを相互に補完し,組み合わせた最適化フレームワークを効果的に連携させることができることを示す。
  論文  参考訳（メタデータ） (2024-05-30T06:24:14Z)
• Analyzing and Enhancing the Backward-Pass Convergence of Unrolled Optimization [50.38518771642365]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 この設定における中心的な課題は最適化問題の解によるバックプロパゲーションであり、しばしば閉形式を欠いている。 本稿では, 非線形最適化の後方通過に関する理論的知見を提供し, 特定の反復法による線形システムの解と等価であることを示す。 Folded Optimizationと呼ばれるシステムが提案され、非ローリングなソルバ実装からより効率的なバックプロパゲーションルールを構築する。
  論文  参考訳（メタデータ） (2023-12-28T23:15:18Z)
• Large Language Models as Optimizers [106.52386531624532]
  本稿では,大規模言語モデル (LLM) をプロンプトとして活用するためのシンプルで効果的な手法である Prompting (OPRO) を提案する。 各最適化ステップにおいて、LLMは、前述した値を含むプロンプトから新しい解を生成する。 OPROにより最適化された最良のプロンプトは、GSM8Kで最大8%、Big-Bench Hardタスクで最大50%向上することを示した。
  論文  参考訳（メタデータ） (2023-09-07T00:07:15Z)
• An Empirical Evaluation of Zeroth-Order Optimization Methods on AI-driven Molecule Optimization [78.36413169647408]
  分子目的を最適化するための様々なZO最適化手法の有効性について検討する。 ZO符号に基づく勾配降下(ZO-signGD)の利点を示す。 本稿では,Guurcamol スイートから広く使用されているベンチマークタスクに対して,ZO 最適化手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-10-27T01:58:10Z)
• Teaching Networks to Solve Optimization Problems [13.803078209630444]
  反復解法をトレーニング可能なパラメトリック集合関数に置き換えることを提案する。 このようなパラメトリックな(集合)関数を学習することで、様々な古典的最適化問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2022-02-08T19:13:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。