Fugu-MT 論文翻訳(概要): Deep Pipeline Embeddings for AutoML

論文の概要: Deep Pipeline Embeddings for AutoML

arxiv url: http://arxiv.org/abs/2305.14009v1
Date: Tue, 23 May 2023 12:40:38 GMT
ステータス: 処理完了
システム内更新日: 2023-05-24 16:30:02.518245
Title: Deep Pipeline Embeddings for AutoML
Title（参考訳）: AutoMLのためのディープパイプライン埋め込み
Authors: Sebastian Pineda Arango, Josif Grabocka
Abstract要約: AutoMLは、最小限の人間の専門知識で機械学習システムを自動デプロイすることで、AIを民主化するための有望な方向である。既存のパイプライン最適化テクニックでは、パイプラインステージ/コンポーネント間の深いインタラクションを探索できない。本稿では,機械学習パイプラインのコンポーネント間のディープインタラクションをキャプチャするニューラルアーキテクチャを提案する。
参考スコア（独自算出の注目度）: 11.168121941015015
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Automated Machine Learning (AutoML) is a promising direction for democratizing AI by automatically deploying Machine Learning systems with minimal human expertise. The core technical challenge behind AutoML is optimizing the pipelines of Machine Learning systems (e.g. the choice of preprocessing, augmentations, models, optimizers, etc.). Existing Pipeline Optimization techniques fail to explore deep interactions between pipeline stages/components. As a remedy, this paper proposes a novel neural architecture that captures the deep interaction between the components of a Machine Learning pipeline. We propose embedding pipelines into a latent representation through a novel per-component encoder mechanism. To search for optimal pipelines, such pipeline embeddings are used within deep-kernel Gaussian Process surrogates inside a Bayesian Optimization setup. Furthermore, we meta-learn the parameters of the pipeline embedding network using existing evaluations of pipelines on diverse collections of related datasets (a.k.a. meta-datasets). Through extensive experiments on three large-scale meta-datasets, we demonstrate that pipeline embeddings yield state-of-the-art results in Pipeline Optimization.
Abstract（参考訳）: Automated Machine Learning (AutoML)は、人間の専門知識を最小限に抑えた機械学習システムを自動的にデプロイすることで、AIを民主化するための有望な方向である。 AutoMLの背後にある技術的な課題は、機械学習システムのパイプライン(例えば、前処理、拡張、モデル、オプティマイザなど)を最適化することだ。既存のパイプライン最適化テクニックでは、パイプラインステージ/コンポーネント間の深いインタラクションを探索できない。本稿では,機械学習パイプラインの構成要素間の深い相互作用を捉えたニューラルアーキテクチャを提案する。本稿では,新しい部品単位のエンコーダ機構により,パイプラインを潜在表現に埋め込む手法を提案する。最適なパイプラインを探すために、そのようなパイプラインの埋め込みは、ベイズ最適化のセットアップ内で、ディープカーネルのガウスプロセスに使用される。さらに、パイプライン埋め込みネットワークのパラメータを、関連するデータセット(メタデータセット)のさまざまなコレクション上でのパイプラインの既存の評価を用いてメタ学習する。 3つの大規模メタデータに関する広範な実験を通じて、パイプライン埋め込みがパイプライン最適化に最先端の結果をもたらすことを実証する。

関連論文リスト

Instrumentation and Analysis of Native ML Pipelines via Logical Query Plans [3.2362171533623054]
私たちは、データサイエンティストが機械学習パイプラインを開発し、検証し、監視し、分析するのを支援するために、高度に自動化されたソフトウェアプラットフォームを構想しています。一般的なライブラリに依存したMLパイプラインコードから"論理クエリプラン"を抽出する。これらの計画に基づいて、パイプラインのセマンティクスとインスツルメンタを自動で推論し、MLパイプラインを書き換えて、データサイエンティストが手動でアノテートしたり、コードを書き換えたりすることなく、さまざまなユースケースを可能にします。
論文参考訳（メタデータ） (2024-07-10T11:35:02Z)
Towards Personalized Preprocessing Pipeline Search [52.59156206880384]
ClusterP3Sは、Clusteringを介してパイプライン検索をパーソナライズする新しいフレームワークである。本稿では,クラスタを協調的に学習し,最適なパイプラインを探索するための階層的探索手法を提案する。ベンチマーク分類データセットの実験では、機能的に前処理可能なパイプライン探索の有効性が示されている。
論文参考訳（メタデータ） (2023-02-28T05:45:05Z)
SapientML: Synthesizing Machine Learning Pipelines by Learning from Human-Written Solutions [28.718446733713183]
既存のデータセットとその人手によるパイプラインのコーパスから学習できるAutoML SapientMLを提案する。我々は、170のデータセットにまたがる1094のパイプラインのトレーニングコーパスを作成し、41のベンチマークデータセットでSapientMLを評価した。我々の評価によると、SapientMLは27のベンチマークでベストまたは同等の精度で、第2のツールでは9のインスタンスでパイプラインを生成できない。
論文参考訳（メタデータ） (2022-02-18T20:45:47Z)
Where Is My Training Bottleneck? Hidden Trade-Offs in Deep Learning Preprocessing Pipelines [77.45213180689952]
ディープラーニングにおける前処理パイプラインは、トレーニングプロセスを忙しくするための十分なデータスループットの提供を目的としている。エンドツーエンドのディープラーニングパイプラインのためのデータセットを効率的に準備する新たな視点を導入する。チューニングされていないシステムに比べてスループットが3倍から13倍に向上する。
論文参考訳（メタデータ） (2022-02-17T14:31:58Z)
SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
論文参考訳（メタデータ） (2021-12-22T14:45:37Z)
Automated Evolutionary Approach for the Design of Composite Machine Learning Pipelines [48.7576911714538]
提案手法は、複合機械学習パイプラインの設計を自動化することを目的としている。パイプラインをカスタマイズ可能なグラフベースの構造で設計し、得られた結果を分析して再生する。このアプローチのソフトウェア実装は、オープンソースフレームワークとして紹介されている。
論文参考訳（メタデータ） (2021-06-26T23:19:06Z)
PipeTransformer: Automated Elastic Pipelining for Distributed Training of Transformers [47.194426122333205]
PipeTransformerはTransformerモデルの分散トレーニングアルゴリズムである。トレーニング中にいくつかのレイヤを特定し凍結することで、パイプラインとデータの並列性を自動的に調整する。 GLUE と SQuAD データセット上で ImageNet と BERT 上での Vision Transformer (ViT) を用いた Pipe Transformer の評価を行った。
論文参考訳（メタデータ） (2021-02-05T13:39:31Z)
Incremental Search Space Construction for Machine Learning Pipeline Synthesis [4.060731229044571]
automated machine learning(automl)は、マシンラーニング(ml)パイプラインの自動構築を目的とする。パイプライン構築のためのメタ機能に基づくデータ中心アプローチを提案する。確立されたAutoMLベンチマークで使用した28データセットに対して,アプローチの有効性と競争性を実証する。
論文参考訳（メタデータ） (2021-01-26T17:17:49Z)
AutoWeka4MCPS-AVATAR: Accelerating Automated Machine Learning Pipeline Composition and Optimisation [13.116806430326513]
本稿では,サロゲートモデル(AVATAR)を用いて,実行せずにMLパイプラインの有効性を評価する手法を提案する。 AVATARは、データセットの特徴に対するMLアルゴリズムの機能と効果を自動的に学習することで、知識ベースを生成する。 AVATARはその妥当性を評価するためにオリジナルのMLパイプラインを実行する代わりに、MLパイプラインコンポーネントの機能と効果によって構築されたサロゲートモデルを評価する。
論文参考訳（メタデータ） (2020-11-21T14:05:49Z)
Deep Shells: Unsupervised Shape Correspondence with Optimal Transport [52.646396621449]
本稿では,3次元形状対応のための教師なし学習手法を提案する。提案手法は,複数のデータセット上での最先端技術よりも大幅に改善されていることを示す。
論文参考訳（メタデータ） (2020-10-28T22:24:07Z)
AVATAR -- Machine Learning Pipeline Evaluation Using Surrogate Model [10.83607599315401]
本稿では,サロゲートモデル(AVATAR)を用いたMLパイプラインの有効性評価手法を提案する。実験の結果, AVATARは, 従来の評価手法と比較して, 複雑なパイプラインの評価においてより効率的であることがわかった。
論文参考訳（メタデータ） (2020-01-30T02:53:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。