論文の概要: Towards LLM-based optimization compilers. Can LLMs learn how to apply a single peephole optimization? Reasoning is all LLMs need!

• arxiv url: http://arxiv.org/abs/2412.12163v1
• Date: Wed, 11 Dec 2024 18:44:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 14:00:07.465342
• Title: Towards LLM-based optimization compilers. Can LLMs learn how to apply a single peephole optimization? Reasoning is all LLMs need!
• Title（参考訳）: LLMベースの最適化コンパイラを目指して。LLMは単一のピープホール最適化を適用する方法を学ぶことができるのだろうか?
• Authors: Xiangxin Fang, Lev Mukhanov,
• Abstract要約: 細調整されていないOpenAI GPT-o1は、微調整されたLlama2とGPT-4oより優れていることを示す。 この利点は, GPT-o1に実装された連鎖推論が原因であることが示唆された。
• 参考スコア（独自算出の注目度）: 0.9054540533394926
• License:
• Abstract: Large Language Models (LLMs) have demonstrated great potential in various language processing tasks, and recent studies have explored their application in compiler optimizations. However, all these studies focus on the conventional open-source LLMs, such as Llama2, which lack enhanced reasoning mechanisms. In this study, we investigate the errors produced by the fine-tuned 7B-parameter Llama2 model as it attempts to learn and apply a simple peephole optimization for the AArch64 assembly code. We provide an analysis of the errors produced by the LLM and compare it with state-of-the-art OpenAI models which implement advanced reasoning logic, including GPT-4o and GPT-o1 (preview). We demonstrate that OpenAI GPT-o1, despite not being fine-tuned, outperforms the fine-tuned Llama2 and GPT-4o. Our findings indicate that this advantage is largely due to the chain-of-thought reasoning implemented in GPT-o1. We hope our work will inspire further research on using LLMs with enhanced reasoning mechanisms and chain-of-thought for code generation and optimization.
• Abstract（参考訳）: 大規模言語モデル(LLM)は様々な言語処理タスクにおいて大きな可能性を示しており、近年ではコンパイラ最適化におけるその応用について検討している。 しかしながら、これらの研究はすべて、Llama2のような、推論機構の強化を欠いた従来のオープンソースLLMに焦点を当てている。 本研究では, AArch64アセンブリコードに対して, 単純なピープホール最適化を学習し, 適用しようとする 7B パラメータ Llama2 モデルによる誤差について検討する。 GPT-4o や GPT-o1 (プレビュー) などの高度な推論ロジックを実装した,最先端の OpenAI モデルと比較した。 我々は,OpenAI GPT-o1が微調整されていないにもかかわらず,微調整されたLlama2とGPT-4oより優れていることを示した。 この利点は, GPT-o1に実装された連鎖推論が原因であることが示唆された。 コード生成と最適化のための推論機構とチェーン・オブ・シントを強化したLLMの使用について、さらなる研究が望まれます。

関連論文リスト

• Language Models are Hidden Reasoners: Unlocking Latent Reasoning Capabilities via Self-Rewarding [74.31981011985681]
  大きな言語モデル(LLM)は印象的な機能を示しているが、それでも複数のステップを必要とする複雑な推論タスクに苦戦している。 LaTRO(LaTent Reasoning Optimization)は、潜在分布からのサンプリングとして推論を定式化するためのフレームワークである。 複数のモデルアーキテクチャを用いて、GSM8KおよびARC-Challengeデータセットの実験を通してLaTROを検証する。
  論文  参考訳（メタデータ） (2024-11-06T22:02:30Z)
• LLM-based Optimization of Compound AI Systems: A Survey [64.39860384538338]
  複合AIシステムでは、LLMコール、レトリバー、コードインタプリタ、ツールなどのコンポーネントが相互接続される。 近年の進歩により, LLM を用いたパラメータのエンドツーエンド最適化が可能となった。 本稿では,複合AIシステムのLCMに基づく最適化の原理と動向について述べる。
  論文  参考訳（メタデータ） (2024-10-21T18:06:25Z)
• OptiBench Meets ReSocratic: Measure and Improve LLMs for Optimization Modeling [62.19438812624467]
  大規模言語モデル (LLM) は数学的推論における問題解決能力を示した。 本稿では,人間可読入力と出力を用いたエンドツーエンド最適化問題のベンチマークであるOptiBenchを提案する。
  論文  参考訳（メタデータ） (2024-07-13T13:27:57Z)
• LLaMoCo: Instruction Tuning of Large Language Models for Optimization Code Generation [26.975412742800614]
  我々はLLaMoCoを紹介した。LLaMoCoは、大規模言語モデルをコード・コード方式で最適化問題を解くために設計した最初の命令チューニングフレームワークである。 具体的には、よく記述された問題プロンプトと効果的な最適化コードを含む包括的命令セットを確立する。 LLaMoCoにより微調整された CodeGen (350M) モデルでは, GPT-4 Turbo よりも優れた最適化性能が得られた。
  論文  参考訳（メタデータ） (2024-03-02T08:21:59Z)
• Are Large Language Models Good Prompt Optimizers? [65.48910201816223]
  我々は,LLMに基づくPrompt Optimizationの実際のメカニズムを明らかにするために研究を行っている。 以上の結果から, LLMは, 反射中の誤差の真の原因を特定するのに苦慮し, 自己の事前知識に偏っていることが明らかとなった。 我々は、より制御可能な方法でターゲットモデルの振舞いを直接最適化する新しい「自動振舞い最適化」パラダイムを導入する。
  論文  参考訳（メタデータ） (2024-02-03T09:48:54Z)
• GPT-Fathom: Benchmarking Large Language Models to Decipher the Evolutionary Path towards GPT-4 and Beyond [29.778018058541676]
  GPT-Fathomは、OpenAI Evals上に構築された大規模言語モデル(LLM)のための、オープンソースで再現可能な評価スイートである。 私たちは,7つの機能カテゴリにまたがる20以上のベンチマークで,10以上のLLMとOpenAIのレガシモデルを評価しました。
  論文  参考訳（メタデータ） (2023-09-28T16:43:35Z)
• Symbolic Learning to Optimize: Towards Interpretability and Scalability [113.23813868412954]
  近年のL2O(Learning to Optimize)研究は,複雑なタスクに対する最適化手順の自動化と高速化に期待できる道のりを示唆している。 既存のL2Oモデルは、ニューラルネットワークによる最適化ルールをパラメータ化し、メタトレーニングを通じてそれらの数値ルールを学ぶ。 本稿では,L2Oの総合的な記号表現と解析の枠組みを確立する。 そこで本稿では,大規模問題にメタトレーニングを施す軽量なL2Oモデルを提案する。
  論文  参考訳（メタデータ） (2022-03-13T06:04:25Z)
• Learning to Optimize: A Primer and A Benchmark [94.29436694770953]
  最適化への学習(L2O)は、機械学習を活用して最適化方法を開発する新しいアプローチです。 この記事では、継続的最適化のためのL2Oの総合的な調査とベンチマークを行う。
  論文  参考訳（メタデータ） (2021-03-23T20:46:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。