論文の概要: DREAM: Debugging and Repairing AutoML Pipelines

• arxiv url: http://arxiv.org/abs/2401.00379v1
• Date: Sun, 31 Dec 2023 02:45:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-03 17:41:27.864087
• Title: DREAM: Debugging and Repairing AutoML Pipelines
• Title（参考訳）: DREAM: AutoMLパイプラインのデバッグと修復
• Authors: Xiaoyu Zhang, Juan Zhai, Shiqing Ma, Chao Shen
• Abstract要約: 我々はAutoMLシステムのための自動デバッグ・修復システムであるDREAMを設計・実装する。 AutoMLのプロセスを監視し、詳細なフィードバックを収集し、検索スペースを拡張してバグを自動的に修復する。 評価の結果,DREAMはAutoMLのバグを効果的かつ効率的に修復できることがわかった。
• 参考スコア（独自算出の注目度）: 39.83914420717843
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep Learning models have become an integrated component of modern software systems. In response to the challenge of model design, researchers proposed Automated Machine Learning (AutoML) systems, which automatically search for model architecture and hyperparameters for a given task. Like other software systems, existing AutoML systems suffer from bugs. We identify two common and severe bugs in AutoML, performance bug (i.e., searching for the desired model takes an unreasonably long time) and ineffective search bug (i.e., AutoML systems are not able to find an accurate enough model). After analyzing the workflow of AutoML, we observe that existing AutoML systems overlook potential opportunities in search space, search method, and search feedback, which results in performance and ineffective search bugs. Based on our analysis, we design and implement DREAM, an automatic debugging and repairing system for AutoML systems. It monitors the process of AutoML to collect detailed feedback and automatically repairs bugs by expanding search space and leveraging a feedback-driven search strategy. Our evaluation results show that DREAM can effectively and efficiently repair AutoML bugs.
• Abstract（参考訳）: ディープラーニングモデルは、現代のソフトウェアシステムの統合コンポーネントとなっている。 モデル設計の課題に対して、研究者らは、与えられたタスクに対してモデルアーキテクチャとハイパーパラメータを自動的に検索するAutomated Machine Learning (AutoML)システムを提案した。 他のソフトウェアシステムと同様に、既存のAutoMLシステムはバグに悩まされている。 AutoMLの一般的な2つのバグ、パフォーマンスバグ(すなわち、所望のモデルを探すのに不合理な時間を要する)、非効率的な検索バグ(つまり、AutoMLシステムは十分なモデルを見つけることができない)を特定します。 AutoMLのワークフローを解析した結果、既存のAutoMLシステムは検索空間や検索方法、検索フィードバックの潜在的な可能性を見落とし、その結果、性能と非効率な検索バグが発生していることがわかった。 この分析に基づいて,automlシステムのための自動デバッグおよび修正システムであるdreamを設計,実装した。 AutoMLのプロセスを監視し、詳細なフィードバックを収集し、検索スペースを拡張し、フィードバック駆動の検索戦略を活用することでバグを自動的に修復する。 評価の結果,DREAMはAutoMLのバグを効果的かつ効率的に修復できることがわかった。

関連論文リスト

• AutoML-Agent: A Multi-Agent LLM Framework for Full-Pipeline AutoML [56.565200973244146]
  自動機械学習(Automated Machine Learning, ML)は、開発パイプライン内のタスクを自動化することによって、AI開発を加速する。 近年の作業では,そのような負担を軽減するために,大規模言語モデル(LLM)の利用が始まっている。 本稿では,フルパイプのAutoMLに適した新しいマルチエージェントフレームワークであるAutoML-Agentを提案する。
  論文  参考訳（メタデータ） (2024-10-03T20:01:09Z)
• Position: A Call to Action for a Human-Centered AutoML Paradigm [83.78883610871867]
  自動機械学習(AutoML)は、機械学習(ML)を自動かつ効率的に構成する基本的目的を中心に形成された。 AutoMLの完全な可能性を解き放つ鍵は、現在探索されていないAutoMLシステムとのユーザインタラクションの側面に対処することにある、と私たちは主張する。
  論文  参考訳（メタデータ） (2024-06-05T15:05:24Z)
• The Devil is in the Errors: Leveraging Large Language Models for Fine-grained Machine Translation Evaluation [93.01964988474755]
  AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。 テキスト内学習と微調整によるラベル付きデータの影響について検討する。 次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
  論文  参考訳（メタデータ） (2023-08-14T17:17:21Z)
• Assessing the Use of AutoML for Data-Driven Software Engineering [10.40771687966477]
  AutoMLは、エンドツーエンドのAI/MLパイプラインの構築を自動化することを約束する。 関心の高まりと高い期待にもかかわらず、AutoMLが現在採用されている範囲に関する情報が不足している。
  論文  参考訳（メタデータ） (2023-07-20T11:14:24Z)
• Efficient End-to-End AutoML via Scalable Search Space Decomposition [35.903994093222806]
  VolcanoMLは、大規模なAutoML検索スペースを小さなものに分解するフレームワークである。 最新のデータベースシステムでサポートされているような、Volcanoスタイルの実行モデルをサポートしている。 評価の結果,VolcanoMLは,AutoMLにおける検索空間分解の表現性を向上するだけでなく,分解戦略の実際の発見につながることが示された。
  論文  参考訳（メタデータ） (2022-06-19T14:53:29Z)
• LightAutoML: AutoML Solution for a Large Financial Services Ecosystem [108.09104876115428]
  本稿では、ヨーロッパ大手金融サービス会社向けに開発されたLightAutoMLと呼ばれるAutoMLシステムについて述べる。 当社のフレームワークは、多数のアプリケーションに試験的にデプロイされ、経験豊富なデータサイエンティストのレベルで実行されました。
  論文  参考訳（メタデータ） (2021-09-03T13:52:32Z)
• Man versus Machine: AutoML and Human Experts' Role in Phishing Detection [4.124446337711138]
  本稿では,10種類のフィッシングデータセット上での6つの最先端AutoMLフレームワークのパフォーマンスを比較した。 以上の結果から,AutoMLベースのモデルでは,複雑な分類タスクにおいて,手作業で開発した機械学習モデルよりも優れていることが示唆された。
  論文  参考訳（メタデータ） (2021-08-27T09:26:20Z)
• VolcanoML: Speeding up End-to-End AutoML via Scalable Search Space Decomposition [57.06900573003609]
  VolcanoMLは、大規模なAutoML検索スペースを小さなものに分解するフレームワークである。 最新のデータベースシステムでサポートされているような、Volcanoスタイルの実行モデルをサポートしている。 評価の結果,VolcanoMLは,AutoMLにおける検索空間分解の表現性を向上するだけでなく,分解戦略の実際の発見につながることが示された。
  論文  参考訳（メタデータ） (2021-07-19T13:23:57Z)
• Interpret-able feedback for AutoML systems [5.5524559605452595]
  自動機械学習(AutoML)システムは、非ML専門家のための機械学習(ML)モデルのトレーニングを可能にすることを目的としている。 これらのシステムの欠点は、高い精度でモデルの生成に失敗した場合、モデルを改善するためのパスがないことである。 AutoML用の解釈可能なデータフィードバックソリューションを紹介します。
  論文  参考訳（メタデータ） (2021-02-22T18:54:26Z)
• GAMA: a General Automated Machine learning Assistant [4.035753155957698]
  General Automated Machine Learning Assistant(GAMA)は、ユーザーがAutoMLアルゴリズムが最適な機械学習パイプラインを探索する方法を追跡および制御できるようにするモジュール式AutoMLシステムである。 GAMAは、ユーザーが異なるAutoMLおよび後処理テクニックをプラグインでき、検索プロセスのログと視覚化が可能で、簡単にベンチマークできる。
  論文  参考訳（メタデータ） (2020-07-09T16:16:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。