論文の概要: Adaptive Self-improvement LLM Agentic System for ML Library Development

• arxiv url: http://arxiv.org/abs/2502.02534v1
• Date: Tue, 04 Feb 2025 17:57:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:00:05.413631
• Title: Adaptive Self-improvement LLM Agentic System for ML Library Development
• Title（参考訳）: MLライブラリ開発のための適応型自己改善LDMエージェントシステム
• Authors: Genghan Zhang, Weixin Liang, Olivia Hsu, Kunle Olukotun,
• Abstract要約: 大規模言語モデル(LLM)は一般的なコーディング能力を示している。 LLMはこのタスクを完了するには、限られたデータによる複雑な推論が必要である。 オープンおよびクローズドソースのLLMを用いてASPLコードを生成する適応型自己改善エージェントシステムを提案する。
• 参考スコア（独自算出の注目度）: 8.766639641127412
• License:
• Abstract: ML libraries, often written in architecture-specific programming languages (ASPLs) that target domain-specific architectures, are key to efficient ML systems. However, writing these high-performance ML libraries is challenging because it requires expert knowledge of ML algorithms and the ASPL. Large language models (LLMs), on the other hand, have shown general coding capabilities. However, challenges remain when using LLMs for generating ML libraries using ASPLs because 1) this task is complicated even for experienced human programmers and 2) there are limited code examples because of the esoteric and evolving nature of ASPLs. Therefore, LLMs need complex reasoning with limited data in order to complete this task. To address these challenges, we introduce an adaptive self-improvement agentic system. In order to evaluate the effectiveness of our system, we construct a benchmark of a typical ML library and generate ASPL code with both open and closed-source LLMs on this benchmark. Our results show improvements of up to $3.9\times$ over a baseline single LLM.
• Abstract（参考訳）: MLライブラリは、ドメイン固有のアーキテクチャをターゲットにしたアーキテクチャ特化プログラミング言語(ASPL)で記述されることが多いが、効率的なMLシステムにとって鍵となる。 しかし、これらの高性能なMLライブラリを書くことは、MLアルゴリズムとASPLの専門知識を必要とするため、難しい。 一方、LLM(Large Language Model)は一般的なコーディング機能を示している。 しかし、ASPLを使用してMLライブラリを生成するためにLLMを使用する場合、課題は残る。 1)この作業は経験豊富な人間プログラマでも複雑であり、 2) ASPLの難解で進化する性質のため,コード例は限られている。 したがって、LLMはこのタスクを完了させるためには、限られたデータによる複雑な推論が必要である。 これらの課題に対処するために,適応型自己改善エージェントシステムを導入する。 本システムの有効性を評価するため,典型的なMLライブラリのベンチマークを構築し,オープンおよびクローズドソースのLLMを用いてASPLコードを生成する。 以上の結果から, ベースラインシングルLLMよりも最大3.9\times$が向上した。

関連論文リスト

• Leveraging LLMs for Legacy Code Modernization: Challenges and Opportunities for LLM-Generated Documentation [2.249533649156367]
  MUMPSやメインフレームアセンブリといった時代遅れの言語で記述されたレガシーソフトウェアシステムは、効率性、メンテナンス、スタッフリング、セキュリティにおいて課題を提起する。 本稿では,2つのデータセットを用いたレガシコードのための文書生成におけるLCMの利用について検討する。 本稿では,ラインワイドなコードコメントを生成するためのプロンプト戦略を提案し,その完全性,可読性,有用性,幻覚性を評価する。
  論文  参考訳（メタデータ） (2024-11-22T14:27:27Z)
• SpecTool: A Benchmark for Characterizing Errors in Tool-Use LLMs [77.79172008184415]
  SpecToolは、ツール使用タスクのLLM出力のエラーパターンを特定するための新しいベンチマークである。 もっとも顕著なLCMでも,これらの誤りパターンが出力に現れることを示す。 SPECTOOLの分析と洞察を使って、エラー軽減戦略をガイドすることができる。
  論文  参考訳（メタデータ） (2024-11-20T18:56:22Z)
• Efficient Prompting for LLM-based Generative Internet of Things [88.84327500311464]
  大規模言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示しており、最近、IoT(Internet of Things)アプリケーションにLLMの能力を統合することが研究の注目を集めている。 セキュリティ上の懸念から、多くの機関は最先端の商用LLMサービスへのアクセスを避け、ローカルネットワーク環境でのオープンソースLLMのデプロイと利用を必要としている。 本研究では,LLMを用いた生成IoT(Generative IoT)システムを提案する。
  論文  参考訳（メタデータ） (2024-06-14T19:24:00Z)
• Meaning-Typed Programming: Language-level Abstractions and Runtime for GenAI Applications [8.308424118055981]
  ソフトウェアは、論理コードから、生成的AIとアプリケーション機能に大規模言語モデル(LLM)を活用する神経統合アプリケーションへと、急速に進化している。 本稿では,神経統合型アプリケーションの作成を簡略化する新しい手法として,意味型プログラミング(MTP)を提案する。
  論文  参考訳（メタデータ） (2024-05-14T21:12:01Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• A Survey of Large Language Models for Code: Evolution, Benchmarking, and Future Trends [30.774685501251817]
  一般的な大規模言語モデル(LLM)は、ソフトウェア工学におけるコード生成のようなタスクにおいて大きな可能性を証明している。 コードLLMのかなりの部分は、モデルファインチューニングを通じて一般的なLLMから派生している。 現在、Code LLMとそのパフォーマンスに関する体系的な調査が欠如している。
  論文  参考訳（メタデータ） (2023-11-17T07:55:16Z)
• ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code [76.84199699772903]
  ML-Benchは、既存のコードリポジトリを利用してタスクを実行する現実世界のプログラミングアプリケーションに根ざしたベンチマークである。 LLM(Large Language Model)とAIエージェントの両方を評価するために、事前に定義されたデプロイメント環境でLLMのテキスト-コード変換を評価するML-LLM-Benchと、Linuxサンドボックス環境でエンドツーエンドのタスク実行で自律エージェントをテストするML-Agent-Benchの2つの設定が採用されている。
  論文  参考訳（メタデータ） (2023-11-16T12:03:21Z)
• Evaluating In-Context Learning of Libraries for Code Generation [35.57902679044737]
  大規模言語モデル(LLM)は高いレベルのコード生成と理解能力を示す。 近年の研究では、大規模プロプライエタリなLLMがデモから新しいライブラリの使用法を学習できることが示されている。
  論文  参考訳（メタデータ） (2023-11-16T07:37:25Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)
• Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
  大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。 本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T18:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。