論文の概要: LLM Interactive Optimization of Open Source Python Libraries -- Case
Studies and Generalization
- arxiv url: http://arxiv.org/abs/2312.14949v2
- Date: Thu, 29 Feb 2024 10:55:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-01 18:02:51.239089
- Title: LLM Interactive Optimization of Open Source Python Libraries -- Case
Studies and Generalization
- Title(参考訳): オープンソースのpythonライブラリのllmインタラクティブ最適化 - ケーススタディと一般化
- Authors: Andreas Florath
- Abstract要約: 本稿では,有名なオープンソースピトンライブラリーの枕とマンピーに適用した方法論的に厳密なケーススタディについて述べる。
現代のLLM ChatGPT-4は、エネルギーと計算効率の最適化に驚くほど適している。
LLMはオープンソースライブラリにおけるコード最適化のための有望なツールであるが、そのループの人間専門家は成功に不可欠である、と結論付けている。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the advent of large language models (LLMs) like GPT-3, a natural
question is the extent to which these models can be utilized for source code
optimization. This paper presents methodologically stringent case studies
applied to well-known open source python libraries pillow and numpy. We find
that contemporary LLM ChatGPT-4 (state September and October 2023) is
surprisingly adept at optimizing energy and compute efficiency. However, this
is only the case in interactive use, with a human expert in the loop. Aware of
experimenter bias, we document our qualitative approach in detail, and provide
transcript and source code. We start by providing a detailed description of our
approach in conversing with the LLM to optimize the _getextrema function in the
pillow library, and a quantitative evaluation of the performance improvement.
To demonstrate qualitative replicability, we report further attempts on another
locus in the pillow library, and one code locus in the numpy library, to
demonstrate generalization within and beyond a library. In all attempts, the
performance improvement is significant (factor up to 38). We have also not
omitted reporting of failed attempts (there were none). We conclude that LLMs
are a promising tool for code optimization in open source libraries, but that
the human expert in the loop is essential for success. Nonetheless, we were
surprised by how few iterations were required to achieve substantial
performance improvements that were not obvious to the expert in the loop. We
would like bring attention to the qualitative nature of this study, more robust
quantitative studies would need to introduce a layer of selecting experts in a
representative sample -- we invite the community to collaborate.
- Abstract(参考訳): gpt-3のような大規模言語モデル(llm)の出現により、ソースコードの最適化にこれらのモデルが利用できる範囲が自然に疑問視される。
本稿では,pythonライブラリであるpillとnumpyに対して,方法論的に厳密なケーススタディを適用する。
現代のLLM ChatGPT-4(2023年9月から10月)は、エネルギーと計算効率の最適化に驚くほど適している。
しかし、これは対話的な使用においてのみ行われ、人間の専門家がループ内にいる。
実験者のバイアスに気付き、定性的なアプローチを詳細に記録し、書き起こしとソースコードを提供する。
まず, 枕ライブラリの_getextrema関数を最適化するため, LLMと対話する際のアプローチの詳細な説明と, 性能改善の定量的評価から始める。
定性的な再現性を示すために,ピローライブラリ内の他の軌跡とnumpyライブラリ内の1つのコード軌跡について,ライブラリ内外の一般化を実証する試みを報告する。
あらゆる試みにおいて、パフォーマンス改善は重要である(最大38要素)。
失敗した試みの報告も省略していません(ありませんでした)。
llmsはオープンソースライブラリのコード最適化に有望なツールだが、ループの人間的エキスパートは成功に欠かせないものだと結論付けている。
それでも、ループのエキスパートにとって明らかでないパフォーマンス改善を実現するために、イテレーションがどれだけ必要だったかに驚きました。
我々は、この研究の質的性質に注意を向け、より堅牢な定量的研究は、代表的なサンプルに専門家を選ぶ層を導入する必要があるだろう。
関連論文リスト
- CogBench: a large language model walks into a psychology lab [12.981407327149679]
本稿では,7つの認知心理学実験から得られた10の行動指標を含むベンチマークであるCogBenchを紹介する。
本稿では,CagBenchを35大言語モデル(LLM)に適用し,統計的多レベルモデリング手法を用いて解析する。
オープンソースモデルは、プロプライエタリなモデルよりもリスクが高く、コードの微調整は必ずしもLLMの振舞いを促進しない。
論文 参考訳(メタデータ) (2024-02-28T10:43:54Z) - How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。
大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。
我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
論文 参考訳(メタデータ) (2024-02-25T20:07:13Z) - CoLLiE: Collaborative Training of Large Language Models in an Efficient
Way [59.09824823710863]
CoLLiEは、大規模な言語モデルの協調トレーニングを容易にする効率的なライブラリである。
モジュール設計と包括的な機能により、CoLLiEは効率性、使いやすさ、カスタマイズのバランスのとれたブレンドを提供する。
論文 参考訳(メタデータ) (2023-12-01T08:02:16Z) - Large Language Model-Aware In-Context Learning for Code Generation [75.68709482932903]
大規模言語モデル(LLM)は、コード生成において印象的なコンテキスト内学習(ICL)能力を示している。
コード生成のためのLAIL (LLM-Aware In-context Learning) という新しい学習ベース選択手法を提案する。
論文 参考訳(メタデータ) (2023-10-15T06:12:58Z) - Benchmarking Causal Study to Interpret Large Language Models for Source
Code [6.301373791541809]
本稿では,3つのSEタスクをキュレートしたテストベッドからなるGalerasというベンチマーク戦略を紹介する。
本稿では,ChatGPTの性能に関するケーススタディを,個別の迅速なエンジニアリング手法で実施することで,ベンチマーク戦略の知見を述べる。
論文 参考訳(メタデータ) (2023-08-23T20:32:12Z) - On Contrastive Learning of Semantic Similarity forCode to Code Search [10.269997499911668]
本稿では,Large Language Models (LLMs) の性能を向上させる新しいコード・ツー・コード検索手法を提案する。
本稿では,学習中の動的情報を検索対象のコーパスや,推論時に検索クエリを実行することなく符号化するコード検索手法を提案する。
論文 参考訳(メタデータ) (2023-05-05T20:46:56Z) - CodeGen2: Lessons for Training LLMs on Programming and Natural Languages [116.74407069443895]
我々はエンコーダとデコーダベースのモデルを単一のプレフィックスLMに統一する。
学習方法は,「フリーランチ」仮説の主張を考察する。
データ配信においては,混合分布と多言語学習がモデル性能に及ぼす影響について検討した。
論文 参考訳(メタデータ) (2023-05-03T17:55:25Z) - PyRelationAL: A Library for Active Learning Research and Development [0.11545092788508224]
PyRelationALは、アクティブラーニング(AL)研究のためのオープンソースライブラリである。
既存の文献に基づいたベンチマークデータセットとALタスク設定へのアクセスを提供する。
我々は、ベンチマークデータセットのPyRelationALコレクションの実験を行い、ALが提供できる相当な経済状況を示す。
論文 参考訳(メタデータ) (2022-05-23T08:21:21Z) - Local policy search with Bayesian optimization [73.0364959221845]
強化学習は、環境との相互作用によって最適な政策を見つけることを目的としている。
局所探索のための政策勾配は、しばしばランダムな摂動から得られる。
目的関数の確率モデルとその勾配を用いたアルゴリズムを開発する。
論文 参考訳(メタデータ) (2021-06-22T16:07:02Z) - Learning to Optimize: A Primer and A Benchmark [94.29436694770953]
最適化への学習(L2O)は、機械学習を活用して最適化方法を開発する新しいアプローチです。
この記事では、継続的最適化のためのL2Oの総合的な調査とベンチマークを行う。
論文 参考訳(メタデータ) (2021-03-23T20:46:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。