論文の概要: ML-Bench: Large Language Models Leverage Open-source Libraries for
Machine Learning Tasks
- arxiv url: http://arxiv.org/abs/2311.09835v1
- Date: Thu, 16 Nov 2023 12:03:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2023-11-17 14:16:35.352992
- Title: ML-Bench: Large Language Models Leverage Open-source Libraries for
Machine Learning Tasks
- Title（参考訳）: ML-Bench: 機械学習タスクのためのオープンソースのライブラリを活用する大規模言語モデル
- Abstract要約: 大規模な言語モデルは、コード生成ベンチマークで有望なパフォーマンスを示している。
この研究は、LLMがオープンソースのライブラリを使用して機械学習タスクを終了する、新たな評価設定を提案することを目的としている。
- 参考スコア（独自算出の注目度）: 75.12666425091702
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models have shown promising performance in code generation
benchmarks. However, a considerable divide exists between these benchmark
achievements and their practical applicability, primarily attributed to
real-world programming's reliance on pre-existing libraries. Instead of
evaluating LLMs to code from scratch, this work aims to propose a new
evaluation setup where LLMs use open-source libraries to finish machine
learning tasks. Therefore, we propose ML-Bench, an expansive benchmark
developed to assess the effectiveness of LLMs in leveraging existing functions
in open-source libraries. Consisting of 10044 samples spanning 130 tasks over
14 notable machine learning GitHub repositories. In this setting, given a
specific machine learning task instruction and the accompanying README in a
codebase, an LLM is tasked to generate code to accomplish the task. This
necessitates the comprehension of long and language-code interleaved documents,
as well as the understanding of complex cross-file code structures, introducing
new challenges. Notably, while GPT-4 exhibits remarkable improvement over other
LLMs, it manages to accomplish only 39.73\% of the tasks, leaving a huge space
for improvement. We address these challenges by proposing ML-Agent, designed to
effectively navigate the codebase, locate documentation, retrieve code, and
generate executable code. Empirical results demonstrate that ML-Agent, built
upon GPT-4, results in further improvements. Code, data, and models are
available at \url{https://ml-bench.github.io/}.
- Abstract（参考訳）: 大規模な言語モデルは、コード生成ベンチマークで有望なパフォーマンスを示している。
しかし、これらのベンチマークの成果と実用性の間にはかなりの違いがあり、これは主に既存のライブラリに依存した現実世界のプログラミングによるものである。
LLMをスクラッチからコードに評価するのではなく、LLMがオープンソースのライブラリを使用して機械学習タスクを終了する、新たな評価設定を提案する。
そこで本研究では,オープンソースライブラリの既存機能を活用したllmの有効性を評価するために開発したml-benchを提案する。
注目すべき14の機械学習GitHubリポジトリに130のタスクにまたがる10044のサンプルで構成されている。
この設定では、特定の機械学習タスク命令とそれに伴うREADMEをコードベースで与えると、LCMがタスクを達成するためのコードを生成する。
これは、長い言語コードをインターリーブした文書の理解と、複雑なクロスファイルのコード構造を理解し、新しい課題を導入する必要がある。
特に GPT-4 は他の LLM よりも著しく改善されているが、39.73 % のタスクしか達成できず、改善の余地が残されている。
コードベースを効果的にナビゲートし、ドキュメンテーションを特定し、コードを検索し、実行可能なコードを生成するML-Agentを提案することで、これらの課題に対処する。
GPT-4上に構築されたML-Agentは、さらなる改善をもたらすことが実証された。
コード、データ、モデルは \url{https://ml-bench.github.io/} で入手できる。
関連論文リスト
- The Fools are Certain; the Wise are Doubtful: Exploring LLM Confidence in Code Completion [4.215010577170175]
コードパープレキシティの測定により,コード生成時のLLM(Large Language Models)の信頼性を評価する。
強い型付け言語は動的型付け言語よりも難易度が低いことがわかった。
Perlは難易度が普遍的に高いが、Javaは低いように見える。
論文 参考訳（メタデータ） (2025-08-22T06:51:13Z) - On the Effectiveness of LLM-as-a-judge for Code Generation and Summarization [54.965787768076254]
大規模言語モデルは、最近、Q&Aのような複雑な自然言語処理タスクの裁判官として活用されている。
コード生成とコード要約という2つのコード関連タスクに対するLLMs-as-a-judgeの有効性について検討した。
論文 参考訳（メタデータ） (2025-07-22T13:40:26Z) - Adaptive Self-improvement LLM Agentic System for ML Library Development [8.766639641127412]
大規模言語モデル(LLM)は一般的なコーディング能力を示している。
LLMはこのタスクを完了するには、限られたデータによる複雑な推論が必要である。
オープンおよびクローズドソースのLLMを用いてASPLコードを生成する適応型自己改善エージェントシステムを提案する。
論文 参考訳（メタデータ） (2025-02-04T17:57:17Z) - SimulBench: Evaluating Language Models with Creative Simulation Tasks [20.233111652638637]
我々は,大規模言語モデル(LLM)を評価するためのベンチマークであるSimulBenchを紹介した。
大きな課題は、ユーザとAI間のシミュレーションタスクのマルチラウンドインタラクティブな性質を保ちながら、異なるLLMを公平にテストするための評価フレームワークを開発することである。
論文 参考訳（メタデータ） (2024-09-11T21:53:20Z) - Source Code Summarization in the Era of Large Language Models [23.715005053430957]
大規模言語モデル(LLM)は、コード関連のタスクのパフォーマンスを大幅に向上させた。
本稿では,LLMにおけるコード要約の体系的および包括的研究を行う。
論文 参考訳（メタデータ） (2024-07-09T05:48:42Z) - PPTC-R benchmark: Towards Evaluating the Robustness of Large Language
Models for PowerPoint Task Completion [96.47420221442397]
文,意味,多言語レベルでユーザ命令を攻撃することにより,逆ユーザ命令を構築する。
我々は、ロバストネス設定を組み込んだベンチマークを用いて、3つのクローズドソースと4つのオープンソースLCMをテストする。
GPT-4は我々のベンチマークで最も高い性能と強靭性を示す。
論文 参考訳（メタデータ） (2024-03-06T15:33:32Z) - If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code
Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される
コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
論文 参考訳（メタデータ） (2024-01-01T16:51:20Z) - SEED-Bench-2: Benchmarking Multimodal Large Language Models [67.28089415198338]
MLLM(Multimodal large language model)は、最近、テキストだけでなく、インターリーブされたマルチモーダル入力の画像を生成できることを実証した。
SEED-Bench-2は、正確な人間のアノテーションを持つ24Kの多重選択質問で構成されており、27次元にまたがっている。
我々は,23個の著名なオープンソースMLLMの性能を評価し,貴重な観察結果を要約した。
論文 参考訳（メタデータ） (2023-11-28T05:53:55Z) - PPTC Benchmark: Evaluating Large Language Models for PowerPoint Task
Completion [96.47420221442397]
我々はPowerPoint Task Completionベンチマークを導入し、大規模言語モデルがマルチターン・マルチモーダル命令を完了する能力を評価する。
また,ラベルAPIシーケンスではなく,予測ファイルに基づいてLCMが命令を終了するかどうかを評価するPTX-Match評価システムを提案する。
その結果、GPT-4はシングルターン対話テストにおいて75.1%の精度で他のLLMよりも優れていたが、セッション全体を完成させる際の課題に直面しており、セッションの精度は6%に過ぎなかった。
論文 参考訳（メタデータ） (2023-11-03T08:06:35Z) - AskIt: Unified Programming Interface for Programming with Large Language
Models [0.0]
大規模言語モデル(LLM)は創発能力として知られるユニークな現象を示し、多くのタスクにまたがって適応性を示す。
本稿では,LLM用に特別に設計されたドメイン固有言語であるAskItを紹介する。
50タスクにわたって、AskItは簡潔なプロンプトを生成し、ベンチマークよりも16.14パーセントのプロンプト長の削減を実現した。
論文 参考訳（メタデータ） (2023-08-29T21:44:27Z) - Check Your Facts and Try Again: Improving Large Language Models with
External Knowledge and Automated Feedback [127.75419038610455]
大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。
本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
論文 参考訳（メタデータ） (2023-02-24T18:48:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。