論文の概要: LLM Interactive Optimization of Open Source Python Libraries -- Case Studies and Generalization

• arxiv url: http://arxiv.org/abs/2312.14949v2
• Date: Thu, 29 Feb 2024 10:55:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-01 18:02:51.239089
• Title: LLM Interactive Optimization of Open Source Python Libraries -- Case Studies and Generalization
• Title（参考訳）: オープンソースのpythonライブラリのllmインタラクティブ最適化 - ケーススタディと一般化
• Authors: Andreas Florath
• Abstract要約: 本稿では,有名なオープンソースピトンライブラリーの枕とマンピーに適用した方法論的に厳密なケーススタディについて述べる。 現代のLLM ChatGPT-4は、エネルギーと計算効率の最適化に驚くほど適している。 LLMはオープンソースライブラリにおけるコード最適化のための有望なツールであるが、そのループの人間専門家は成功に不可欠である、と結論付けている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the advent of large language models (LLMs) like GPT-3, a natural question is the extent to which these models can be utilized for source code optimization. This paper presents methodologically stringent case studies applied to well-known open source python libraries pillow and numpy. We find that contemporary LLM ChatGPT-4 (state September and October 2023) is surprisingly adept at optimizing energy and compute efficiency. However, this is only the case in interactive use, with a human expert in the loop. Aware of experimenter bias, we document our qualitative approach in detail, and provide transcript and source code. We start by providing a detailed description of our approach in conversing with the LLM to optimize the _getextrema function in the pillow library, and a quantitative evaluation of the performance improvement. To demonstrate qualitative replicability, we report further attempts on another locus in the pillow library, and one code locus in the numpy library, to demonstrate generalization within and beyond a library. In all attempts, the performance improvement is significant (factor up to 38). We have also not omitted reporting of failed attempts (there were none). We conclude that LLMs are a promising tool for code optimization in open source libraries, but that the human expert in the loop is essential for success. Nonetheless, we were surprised by how few iterations were required to achieve substantial performance improvements that were not obvious to the expert in the loop. We would like bring attention to the qualitative nature of this study, more robust quantitative studies would need to introduce a layer of selecting experts in a representative sample -- we invite the community to collaborate.
• Abstract（参考訳）: gpt-3のような大規模言語モデル(llm)の出現により、ソースコードの最適化にこれらのモデルが利用できる範囲が自然に疑問視される。 本稿では,pythonライブラリであるpillとnumpyに対して,方法論的に厳密なケーススタディを適用する。 現代のLLM ChatGPT-4(2023年9月から10月)は、エネルギーと計算効率の最適化に驚くほど適している。 しかし、これは対話的な使用においてのみ行われ、人間の専門家がループ内にいる。 実験者のバイアスに気付き、定性的なアプローチを詳細に記録し、書き起こしとソースコードを提供する。 まず, 枕ライブラリの_getextrema関数を最適化するため, LLMと対話する際のアプローチの詳細な説明と, 性能改善の定量的評価から始める。 定性的な再現性を示すために,ピローライブラリ内の他の軌跡とnumpyライブラリ内の1つのコード軌跡について,ライブラリ内外の一般化を実証する試みを報告する。 あらゆる試みにおいて、パフォーマンス改善は重要である(最大38要素)。 失敗した試みの報告も省略していません(ありませんでした)。 llmsはオープンソースライブラリのコード最適化に有望なツールだが、ループの人間的エキスパートは成功に欠かせないものだと結論付けている。 それでも、ループのエキスパートにとって明らかでないパフォーマンス改善を実現するために、イテレーションがどれだけ必要だったかに驚きました。 我々は、この研究の質的性質に注意を向け、より堅牢な定量的研究は、代表的なサンプルに専門家を選ぶ層を導入する必要があるだろう。

関連論文リスト

• Learning to Retrieve Iteratively for In-Context Learning [56.40100968649039]
  イテレーティブ検索は、ポリシー最適化によるイテレーティブな意思決定を可能にする、新しいフレームワークである。 テキスト内学習例を構成するための反復型検索器をインスタンス化し,様々な意味解析タスクに適用する。 ステートエンコーディングのためのパラメータを4M追加するだけで、オフザシェルフの高密度レトリバーをステートフル反復レトリバーに変換する。
  論文  参考訳（メタデータ） (2024-06-20T21:07:55Z)
• AvaTaR: Optimizing LLM Agents for Tool-Assisted Knowledge Retrieval [93.96463520716759]
  大言語モデル(LLM)エージェントは、外部のツールや知識を活用して精度を高め、幻覚を減らすという印象的な能力を示した。 本稿では、LLMエージェントを最適化して提供するツールを効果的に利用し、与えられたタスク/ドメインの性能を向上させる新しいフレームワークであるAvaTaRを紹介する。 AvaTaRは、4つの課題にまたがる最先端のアプローチを一貫して上回り、新規事例に適用した場合に強力な一般化能力を示す。
  論文  参考訳（メタデータ） (2024-06-17T04:20:02Z)
• Towards Coarse-to-Fine Evaluation of Inference Efficiency for Large Language Models [95.96734086126469]
  大規模言語モデル(LLM)は、ユーザが仕事を達成するのを助けるアシスタントとして機能し、高度なアプリケーションの開発をサポートする。 LLMの幅広い応用にとって、推論効率は重要な問題であり、既存の研究で広く研究されている。 各種コードライブラリの推論性能の粗大な解析を行う。
  論文  参考訳（メタデータ） (2024-04-17T15:57:50Z)
• LP++: A Surprisingly Strong Linear Probe for Few-Shot CLIP [20.86307407685542]
  リニアプローブ(LP)は、数発のCLIP適応の弱いベースラインとしてしばしば報告されている。 本研究では,コンベックス最適化の観点から標準LPベースラインの一般化について検討する。 我々の画像言語目的関数は、これらの非自明な最適化の洞察や成分とともに、驚くほど、競争力の高いCLIPパフォーマンスをもたらす。
  論文  参考訳（メタデータ） (2024-04-02T20:23:10Z)
• How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
  強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。 大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。 我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-25T20:07:13Z)
• CoLLiE: Collaborative Training of Large Language Models in an Efficient Way [59.09824823710863]
  CoLLiEは、大規模な言語モデルの協調トレーニングを容易にする効率的なライブラリである。 モジュール設計と包括的な機能により、CoLLiEは効率性、使いやすさ、カスタマイズのバランスのとれたブレンドを提供する。
  論文  参考訳（メタデータ） (2023-12-01T08:02:16Z)
• Large Language Model-Aware In-Context Learning for Code Generation [75.68709482932903]
  大規模言語モデル(LLM)は、コード生成において印象的なコンテキスト内学習(ICL)能力を示している。 コード生成のためのLAIL (LLM-Aware In-context Learning) という新しい学習ベース選択手法を提案する。
  論文  参考訳（メタデータ） (2023-10-15T06:12:58Z)
• Benchmarking Causal Study to Interpret Large Language Models for Source Code [6.301373791541809]
  本稿では,3つのSEタスクをキュレートしたテストベッドからなるGalerasというベンチマーク戦略を紹介する。 本稿では,ChatGPTの性能に関するケーススタディを,個別の迅速なエンジニアリング手法で実施することで,ベンチマーク戦略の知見を述べる。
  論文  参考訳（メタデータ） (2023-08-23T20:32:12Z)
• REINFOREST: Reinforcing Semantic Code Similarity for Cross-Lingual Code Search Models [11.78036105494679]
  本稿では,Large Language Models (LLMs) の性能を向上させる新しいコード・ツー・コード検索手法を提案する。 本稿では,学習中の動的情報を検索対象のコーパスや,推論時に検索クエリを実行することなく符号化するコード検索手法を提案する。
  論文  参考訳（メタデータ） (2023-05-05T20:46:56Z)
• PyRelationAL: A Library for Active Learning Research and Development [0.11545092788508224]
  PyRelationALは、アクティブラーニング(AL)研究のためのオープンソースライブラリである。 既存の文献に基づいたベンチマークデータセットとALタスク設定へのアクセスを提供する。 我々は、ベンチマークデータセットのPyRelationALコレクションの実験を行い、ALが提供できる相当な経済状況を示す。
  論文  参考訳（メタデータ） (2022-05-23T08:21:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。