論文の概要: Large Language Models Synergize with Automated Machine Learning
- arxiv url: http://arxiv.org/abs/2405.03727v3
- Date: Mon, 9 Sep 2024 15:04:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-11 02:31:55.523212
- Title: Large Language Models Synergize with Automated Machine Learning
- Title（参考訳）: 機械学習による大規模言語モデルの構築
- Authors: Jinglue Xu, Jialong Li, Zhen Liu, Nagar Anthel Venkatesh Suryanarayanan, Guoyuan Zhou, Jia Guo, Hitoshi Iba, Kenji Tei,
- Abstract要約: 本稿では,大規模言語モデル(LLM)と自動機械学習(AutoML)を組み合わせることで,機械学習(ML)プログラムを対象とするプログラム合成の新たな形態について検討する。
テキストによるタスク記述を前提とした実験では,本手法は完全かつ最適化されたMLプログラムを完全自律的なプロセスで生成する。
- 参考スコア（独自算出の注目度）: 12.364087286739647
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, program synthesis driven by large language models (LLMs) has become increasingly popular. However, program synthesis for machine learning (ML) tasks still poses significant challenges. This paper explores a novel form of program synthesis, targeting ML programs, by combining LLMs and automated machine learning (autoML). Specifically, our goal is to fully automate the generation and optimization of the code of the entire ML workflow, from data preparation to modeling and post-processing, utilizing only textual descriptions of the ML tasks. To manage the length and diversity of ML programs, we propose to break each ML program into smaller, manageable parts. Each part is generated separately by the LLM, with careful consideration of their compatibilities. To ensure compatibilities, we design a testing technique for ML programs. Unlike traditional program synthesis, which typically relies on binary evaluations (i.e., correct or incorrect), evaluating ML programs necessitates more than just binary judgments. Our approach automates the numerical evaluation and optimization of these programs, selecting the best candidates through autoML techniques. In experiments across various ML tasks, our method outperforms existing methods in 10 out of 12 tasks for generating ML programs. In addition, autoML significantly improves the performance of the generated ML programs. In experiments, given the textual task description, our method, Text-to-ML, generates the complete and optimized ML program in a fully autonomous process. The implementation of our method is available at https://github.com/JLX0/llm-automl.
- Abstract（参考訳）: 近年,大規模言語モデル (LLM) によるプログラム合成が普及している。
しかし、機械学習(ML)タスクのためのプログラム合成は依然として大きな課題となっている。
本稿では、LLMと自動機械学習(autoML)を組み合わせることで、MLプログラムをターゲットとしたプログラム合成の新しい形式について検討する。
具体的には、MLタスクのテキスト記述のみを活用することで、データ準備からモデリング、後処理に至るまで、MLワークフロー全体のコード生成と最適化を完全に自動化することを目的としています。
MLプログラムの長さと多様性を管理するため,各プログラムを小さく,管理可能な部分に分割することを提案する。
各部品はLLMによって別々に生成され、適合性を慎重に考慮する。
適合性を確保するため,我々はMLプログラムのテスト手法を設計する。
従来のプログラム合成とは異なり、二項評価(すなわち正しいか間違っているか)に依存し、MLプログラムの評価は二項判定以上のものを必要とする。
提案手法は,これらのプログラムの数値評価と最適化を自動化し,オートML手法を用いて最適な候補を選択する。
各種MLタスクに対する実験では、MLプログラムを生成するための12タスク中10タスクにおいて、既存のメソッドよりも優れています。
さらに、AutoMLは生成されたMLプログラムのパフォーマンスを大幅に改善する。
テキストによるタスク記述を前提とした実験では,本手法は完全かつ最適化されたMLプログラムを完全自律的なプロセスで生成する。
本手法の実装はhttps://github.com/JLX0/llm-automl.comで公開されている。
関連論文リスト
- Large Language Models for Constructing and Optimizing Machine Learning Workflows: A Survey [3.340984908213717]
複雑なタスクに対処するための効果的な機械学習(ML)を構築することは、Automatic ML(AutoML)コミュニティの主要な焦点である。
最近、MLへのLLM(Large Language Models)の統合は、MLパイプラインのさまざまなステージを自動化し、拡張する大きな可能性を示している。
論文 参考訳（メタデータ） (2024-11-11T21:54:26Z) - DeeR-VLA: Dynamic Inference of Multimodal Large Language Models for Efficient Robot Execution [114.61347672265076]
実世界のロボットのためのMLLMの開発は、ロボットプラットフォームで利用可能な計算能力とメモリ容量が典型的に限られているため、難しい。
活性化MLLMのサイズを自動的に調整するロボットビジョンランゲージ・アクション・モデル(DeeR)の動的早期実行フレームワークを提案する。
DeeR は LLM の計算コストを 5.2-6.5x に削減し、GPU のメモリを 2-6x に削減した。
論文 参考訳（メタデータ） (2024-11-04T18:26:08Z) - AutoML-Agent: A Multi-Agent LLM Framework for Full-Pipeline AutoML [56.565200973244146]
自動機械学習(Automated Machine Learning, ML)は、開発パイプライン内のタスクを自動化することによって、AI開発を加速する。
近年の作業では,そのような負担を軽減するために,大規模言語モデル(LLM)の利用が始まっている。
本稿では,フルパイプのAutoMLに適した新しいマルチエージェントフレームワークであるAutoML-Agentを提案する。
論文 参考訳（メタデータ） (2024-10-03T20:01:09Z) - A Large-Scale Study of Model Integration in ML-Enabled Software Systems [4.776073133338119]
機械学習(ML)とそのシステムへの組み込みは、ソフトウェア集約システムのエンジニアリングを大きく変えた。
伝統的に、ソフトウェアエンジニアリングは、ソースコードやそれらを作成するプロセスなど、手作業で作成したアーティファクトに焦点を当てている。
我々は、GitHub上で2,928以上のオープンソースシステムをカバーする、実際のML対応ソフトウェアシステムに関する最初の大規模な研究を提示する。
論文 参考訳（メタデータ） (2024-08-12T15:28:40Z) - Verbalized Machine Learning: Revisiting Machine Learning with Language Models [63.10391314749408]
言語化機械学習(VML)の枠組みを紹介する。
VMLはパラメータ空間を人間の解釈可能な自然言語に制限する。
我々は,VMLの有効性を実証的に検証し,VMLがより強力な解釈可能性を実現するためのステップストーンとして機能することを期待する。
論文 参考訳（メタデータ） (2024-06-06T17:59:56Z) - Position: A Call to Action for a Human-Centered AutoML Paradigm [83.78883610871867]
自動機械学習(AutoML)は、機械学習(ML)を自動かつ効率的に構成する基本的目的を中心に形成された。
AutoMLの完全な可能性を解き放つ鍵は、現在探索されていないAutoMLシステムとのユーザインタラクションの側面に対処することにある、と私たちは主張する。
論文 参考訳（メタデータ） (2024-06-05T15:05:24Z) - AutoMMLab: Automatically Generating Deployable Models from Language
Instructions for Computer Vision Tasks [39.71649832548044]
AutoMMLabは、ユーザの言語命令に従う汎用LLMベースのAutoMLシステムである。
提案する AutoMMLab システムは,AutoML と OpenMMLab コミュニティを結ぶブリッジとして LLM を効果的に利用している。
実験の結果、AutoMMLabシステムは汎用的で、さまざまなメインストリームタスクをカバーしています。
論文 参考訳（メタデータ） (2024-02-23T14:38:19Z) - ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code [76.84199699772903]
ML-Benchは、既存のコードリポジトリを利用してタスクを実行する現実世界のプログラミングアプリケーションに根ざしたベンチマークである。
LLM(Large Language Model)とAIエージェントの両方を評価するために、事前に定義されたデプロイメント環境でLLMのテキスト-コード変換を評価するML-LLM-Benchと、Linuxサンドボックス環境でエンドツーエンドのタスク実行で自律エージェントをテストするML-Agent-Benchの2つの設定が採用されている。
論文 参考訳（メタデータ） (2023-11-16T12:03:21Z) - MME: A Comprehensive Evaluation Benchmark for Multimodal Large Language Models [73.86954509967416]
マルチモーダル言語モデル(MLLM)は、マルチモーダルタスクを実行するために強力なLLMに依存している。
本稿では,MLLM 評価ベンチマーク MME について述べる。
知覚能力と認知能力の両方を合計14のサブタスクで測定する。
論文 参考訳（メタデータ） (2023-06-23T09:22:36Z) - Operationalizing Machine Learning: An Interview Study [13.300075655862573]
私たちは18人の機械学習エンジニア(MLE)と半構造化インタビューを行い、多くのアプリケーションで作業しています。
私たちのインタビューでは、運用MLデプロイメントの成功を管理する変数として、Velocity、Validation、Versioningの3つを公開しています。
ML実験の成功、デプロイメント、運用パフォーマンスの維持に関する一般的なプラクティスを要約します。
論文 参考訳（メタデータ） (2022-09-16T16:59:36Z) - MLGO: a Machine Learning Guided Compiler Optimizations Framework [0.0]
この作業は、実際の設定で複雑なコンパイラパスで機械学習を初めて完全に統合した作業です。
インライン・フォー・サイズモデルのトレーニングには2つの異なるMLアルゴリズムを使用し、最大7%の削減を実現している。
同じモデルは、実世界のターゲットの多様性、そして数ヶ月のアクティブな開発の後、同じターゲットセットにうまく一般化します。
論文 参考訳（メタデータ） (2021-01-13T00:02:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。