論文の概要: Large Language Models Synergize with Automated Machine Learning

• arxiv url: http://arxiv.org/abs/2405.03727v1
• Date: Mon, 6 May 2024 08:09:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-08 18:24:15.402062
• Title: Large Language Models Synergize with Automated Machine Learning
• Title（参考訳）: 機械学習による大規模言語モデルの構築
• Authors: Jinglue Xu, Zhen Liu, Nagar Anthel Venkatesh Suryanarayanan, Hitoshi Iba,
• Abstract要約: 本稿では,大規模言語モデル(LLM)と自動機械学習(AutoML)を組み合わせる。 私たちの目標は、マシンラーニングワークフロー全体のコード生成プロセスを完全に自動化することにあります。 実験では,提案手法であるText-to-MLが,MLパイプライン全体の完全自動合成を実現する。
• 参考スコア（独自算出の注目度）: 2.244306770196829
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, code generation driven by large language models (LLMs) has become increasingly popular. However, automatically generating code for machine learning (ML) tasks still poses significant challenges. This paper explores the limits of program synthesis for ML by combining LLMs and automated machine learning (autoML). Specifically, our goal is to fully automate the code generation process for the entire ML workflow, from data preparation to modeling and post-processing, utilizing only textual descriptions of the ML tasks. To manage the length and diversity of ML programs, we propose to break each ML program into smaller, manageable parts. Each part is generated separately by the LLM, with careful consideration of their compatibilities. To implement the approach, we design a testing technique for ML programs. Furthermore, our approach enables integration with autoML. In our approach, autoML serves to numerically assess and optimize the ML programs generated by LLMs. LLMs, in turn, help to bridge the gap between theoretical, algorithm-centered autoML and practical autoML applications. This mutual enhancement underscores the synergy between LLMs and autoML in program synthesis for ML. In experiments across various ML tasks, our method outperforms existing methods in 10 out of 12 tasks for generating ML programs. In addition, autoML significantly improves the performance of the generated ML programs. In the experiments, our method, Text-to-ML, achieves fully automated synthesis of the entire ML pipeline based solely on textual descriptions of the ML tasks.
• Abstract（参考訳）: 近年,大規模言語モデル (LLM) によるコード生成が普及している。 しかし、機械学習(ML)タスクのためのコードの自動生成は、依然として大きな課題となっている。 本稿では,LLMと自動機械学習(autoML)を組み合わせたMLのプログラム合成限界について検討する。 具体的には、MLタスクのテキスト記述のみを利用して、データ準備からモデリング、後処理に至るまで、MLワークフロー全体のコード生成プロセスを完全に自動化することを目的としています。 MLプログラムの長さと多様性を管理するため,各プログラムを小さく,管理可能な部分に分割することを提案する。 各部品はLLMによって別々に生成され、適合性を慎重に考慮する。 この手法を実現するために,我々はMLプログラムのテスト手法を設計する。 さらに、私たちのアプローチはautoMLとの統合を可能にします。 提案手法では, AutoML は LLM が生成する ML プログラムを数値的に評価し,最適化する。 LLMは、理論的、アルゴリズム中心のAutoMLと実践的なAutoMLアプリケーションの間のギャップを埋めるのに役立つ。 この相互強化は、MLのプログラム合成におけるLLMとAutoMLの相乗効果を裏付ける。 各種MLタスクに対する実験では、MLプログラムを生成するための12タスク中10タスクにおいて、既存のメソッドよりも優れています。 さらに、AutoMLは生成されたMLプログラムのパフォーマンスを大幅に改善する。 実験では,MLタスクのテキスト記述のみに基づいて,MLパイプライン全体の完全自動合成を実現する。

関連論文リスト

• Large Language Models for Constructing and Optimizing Machine Learning Workflows: A Survey [3.340984908213717]
  複雑なタスクに対処するための効果的な機械学習(ML)を構築することは、Automatic ML(AutoML)コミュニティの主要な焦点である。 最近、MLへのLLM(Large Language Models)の統合は、MLパイプラインのさまざまなステージを自動化し、拡張する大きな可能性を示している。
  論文  参考訳（メタデータ） (2024-11-11T21:54:26Z)
• DeeR-VLA: Dynamic Inference of Multimodal Large Language Models for Efficient Robot Execution [114.61347672265076]
  実世界のロボットのためのMLLMの開発は、ロボットプラットフォームで利用可能な計算能力とメモリ容量が典型的に限られているため、難しい。 活性化MLLMのサイズを自動的に調整するロボットビジョンランゲージ・アクション・モデル(DeeR)の動的早期実行フレームワークを提案する。 DeeR は LLM の計算コストを 5.2-6.5x に削減し、GPU のメモリを 2-6x に削減した。
  論文  参考訳（メタデータ） (2024-11-04T18:26:08Z)
• AutoML-Agent: A Multi-Agent LLM Framework for Full-Pipeline AutoML [56.565200973244146]
  自動機械学習(Automated Machine Learning, ML)は、開発パイプライン内のタスクを自動化することによって、AI開発を加速する。 近年の作業では,そのような負担を軽減するために,大規模言語モデル(LLM)の利用が始まっている。 本稿では,フルパイプのAutoMLに適した新しいマルチエージェントフレームワークであるAutoML-Agentを提案する。
  論文  参考訳（メタデータ） (2024-10-03T20:01:09Z)
• A Large-Scale Study of Model Integration in ML-Enabled Software Systems [4.776073133338119]
  機械学習(ML)とそのシステムへの組み込みは、ソフトウェア集約システムのエンジニアリングを大きく変えた。 伝統的に、ソフトウェアエンジニアリングは、ソースコードやそれらを作成するプロセスなど、手作業で作成したアーティファクトに焦点を当てている。 我々は、GitHub上で2,928以上のオープンソースシステムをカバーする、実際のML対応ソフトウェアシステムに関する最初の大規模な研究を提示する。
  論文  参考訳（メタデータ） (2024-08-12T15:28:40Z)
• Verbalized Machine Learning: Revisiting Machine Learning with Language Models [63.10391314749408]
  言語化機械学習(VML)の枠組みを紹介する。 VMLはパラメータ空間を人間の解釈可能な自然言語に制限する。 我々は,VMLの有効性を実証的に検証し,VMLがより強力な解釈可能性を実現するためのステップストーンとして機能することを期待する。
  論文  参考訳（メタデータ） (2024-06-06T17:59:56Z)
• Position: A Call to Action for a Human-Centered AutoML Paradigm [83.78883610871867]
  自動機械学習(AutoML)は、機械学習(ML)を自動かつ効率的に構成する基本的目的を中心に形成された。 AutoMLの完全な可能性を解き放つ鍵は、現在探索されていないAutoMLシステムとのユーザインタラクションの側面に対処することにある、と私たちは主張する。
  論文  参考訳（メタデータ） (2024-06-05T15:05:24Z)
• AutoMMLab: Automatically Generating Deployable Models from Language Instructions for Computer Vision Tasks [39.71649832548044]
  AutoMMLabは、ユーザの言語命令に従う汎用LLMベースのAutoMLシステムである。 提案する AutoMMLab システムは,AutoML と OpenMMLab コミュニティを結ぶブリッジとして LLM を効果的に利用している。 実験の結果、AutoMMLabシステムは汎用的で、さまざまなメインストリームタスクをカバーしています。
  論文  参考訳（メタデータ） (2024-02-23T14:38:19Z)
• ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code [76.84199699772903]
  ML-Benchは、既存のコードリポジトリを利用してタスクを実行する現実世界のプログラミングアプリケーションに根ざしたベンチマークである。 LLM(Large Language Model)とAIエージェントの両方を評価するために、事前に定義されたデプロイメント環境でLLMのテキスト-コード変換を評価するML-LLM-Benchと、Linuxサンドボックス環境でエンドツーエンドのタスク実行で自律エージェントをテストするML-Agent-Benchの2つの設定が採用されている。
  論文  参考訳（メタデータ） (2023-11-16T12:03:21Z)
• MME: A Comprehensive Evaluation Benchmark for Multimodal Large Language Models [73.86954509967416]
  マルチモーダル言語モデル(MLLM)は、マルチモーダルタスクを実行するために強力なLLMに依存している。 本稿では,MLLM 評価ベンチマーク MME について述べる。 知覚能力と認知能力の両方を合計14のサブタスクで測定する。
  論文  参考訳（メタデータ） (2023-06-23T09:22:36Z)
• Operationalizing Machine Learning: An Interview Study [13.300075655862573]
  私たちは18人の機械学習エンジニア(MLE)と半構造化インタビューを行い、多くのアプリケーションで作業しています。 私たちのインタビューでは、運用MLデプロイメントの成功を管理する変数として、Velocity、Validation、Versioningの3つを公開しています。 ML実験の成功、デプロイメント、運用パフォーマンスの維持に関する一般的なプラクティスを要約します。
  論文  参考訳（メタデータ） (2022-09-16T16:59:36Z)
• MLGO: a Machine Learning Guided Compiler Optimizations Framework [0.0]
  この作業は、実際の設定で複雑なコンパイラパスで機械学習を初めて完全に統合した作業です。 インライン・フォー・サイズモデルのトレーニングには2つの異なるMLアルゴリズムを使用し、最大7%の削減を実現している。 同じモデルは、実世界のターゲットの多様性、そして数ヶ月のアクティブな開発の後、同じターゲットセットにうまく一般化します。
  論文  参考訳（メタデータ） (2021-01-13T00:02:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。