論文の概要: Task Selection for AutoML System Evaluation
- arxiv url: http://arxiv.org/abs/2208.12754v1
- Date: Fri, 26 Aug 2022 16:07:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-29 13:18:07.928176
- Title: Task Selection for AutoML System Evaluation
- Title(参考訳): automlシステム評価のためのタスク選択
- Authors: Jonathan Lorraine and Nihesh Anderson and Chansoo Lee and Quentin De
Laroussilhe and Mehadi Hassen
- Abstract要約: 私たちは、AutoMLシステムの変更が最終モデルの性能を製品タスクで改善するかどうかを評価したいと考えています。
AutoMLシステムが以前実行したタスクに関する限定的な記述子のみにアクセスできます。
本稿では,AutoMLの生産タスクに関する記述子情報を利用して,最も関連性の高い開発タスクのフィルタされたサブセットを選択する手法を提案する。
- 参考スコア(独自算出の注目度): 2.77364728680379
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Our goal is to assess if AutoML system changes - i.e., to the search space or
hyperparameter optimization - will improve the final model's performance on
production tasks. However, we cannot test the changes on production tasks.
Instead, we only have access to limited descriptors about tasks that our AutoML
system previously executed, like the number of data points or features. We also
have a set of development tasks to test changes, ex., sampled from OpenML with
no usage constraints. However, the development and production task
distributions are different leading us to pursue changes that only improve
development and not production. This paper proposes a method to leverage
descriptor information about AutoML production tasks to select a filtered
subset of the most relevant development tasks. Empirical studies show that our
filtering strategy improves the ability to assess AutoML system changes on
holdout tasks with different distributions than development.
- Abstract(参考訳): 私たちの目標は、AutoMLシステムの変更、すなわち検索スペースやハイパーパラメータ最適化が、運用タスクにおける最終モデルのパフォーマンスを改善するかどうかを評価することです。
しかし、本番のタスクで変更をテストすることはできません。
代わりに、AutoMLシステムが以前実行したタスクに関する限定的な記述子、例えばデータポイントの数や機能へのアクセスしかできません。
また、変更をテストするための開発タスクも用意しています。
使用制限のないOpenMLからサンプルしたものだ。
しかし、開発と生産のタスクの分布は異なり、開発だけを改善し、生産しない変更を追求します。
本稿では,最も関連する開発タスクのフィルタ付きサブセットを選択するために,automl生産タスクのディスクリプタ情報を活用する手法を提案する。
実験の結果,提案手法は,開発時とは異なる分布を持つホールドアウトタスクにおけるautomlシステム変化を評価する能力を向上させることがわかった。
関連論文リスト
- AUTOACT: Automatic Agent Learning from Scratch via Self-Planning [56.81725335882185]
AutoActは、大規模アノテートデータやクローズドソースモデルからの合成軌跡に依存しない自動エージェント学習フレームワークである。
我々は異なるLLMを用いて総合的な実験を行い、AutoActは様々な強力なベースラインと比較して優れた性能または並列性能が得られることを示した。
論文 参考訳(メタデータ) (2024-01-10T16:57:24Z) - TaskBench: Benchmarking Large Language Models for Task Automation [85.3879908356586]
タスク自動化における大規模言語モデルの能力を評価するためにTaskBenchを導入します。
高品質な評価データセットを生成するために,ツールグラフの概念を導入する。
また,タスク分解,ツールの実行,パラメータ予測など,さまざまな側面からLCMの能力を評価するためのTaskEvalを提案する。
論文 参考訳(メタデータ) (2023-11-30T18:02:44Z) - Benchmarking Large Language Models As AI Research Agents [105.65277755304277]
我々は,AI研究エージェントをベンチマークするMLタスクスイートであるMLAgentBenchを提案する。
我々は, GPT-4をベースとした研究エージェントが, MLAgentBenchの多くのタスクにおいて, 魅力的なMLモデルを構築できることを発見した。
長期計画や幻覚など,LSMをベースとした研究エージェントにとって重要な課題をいくつか挙げる。
論文 参考訳(メタデータ) (2023-10-05T04:06:12Z) - The Devil is in the Errors: Leveraging Large Language Models for
Fine-grained Machine Translation Evaluation [93.01964988474755]
AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。
テキスト内学習と微調整によるラベル付きデータの影響について検討する。
次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
論文 参考訳(メタデータ) (2023-08-14T17:17:21Z) - AutoML in Heavily Constrained Applications [24.131387687157382]
メタ学習を用いて自動MLパラメータを自動的に適応するCAMLを提案する。
CAMLの動的AutoML戦略は、ユーザ定義の制約を考慮に入れ、高い予測性能で制約を満たすパイプラインを得る。
論文 参考訳(メタデータ) (2023-06-29T13:05:12Z) - AutoTransfer: AutoML with Knowledge Transfer -- An Application to Graph
Neural Networks [75.11008617118908]
AutoML技術は、各タスクをスクラッチから独立して考慮し、高い計算コストをもたらす。
本稿では,従来の設計知識を新たな関心事に伝達することで,検索効率を向上させるAutoTransferを提案する。
論文 参考訳(メタデータ) (2023-03-14T07:23:16Z) - Attributed Question Answering: Evaluation and Modeling for Attributed
Large Language Models [68.37431984231338]
大規模言語モデル(LLM)は、直接の監督をほとんど必要とせず、様々なタスクにわたって印象的な結果を示している。
我々は、LLMが生成するテキストの属性に持つ能力は、この設定においてシステム開発者とユーザの両方にとって不可欠であると信じている。
論文 参考訳(メタデータ) (2022-12-15T18:45:29Z) - Automatic Componentwise Boosting: An Interpretable AutoML System [1.1709030738577393]
本稿では,高度にスケーラブルなコンポーネントワイドブースティングアルゴリズムを用いて適用可能な,解釈可能な付加モデルを構築するAutoMLシステムを提案する。
我々のシステムは、部分的な効果やペアの相互作用を可視化するなど、簡単なモデル解釈のためのツールを提供する。
解釈可能なモデル空間に制限があるにもかかわらず、我々のシステムは、ほとんどのデータセットにおける予測性能の点で競争力がある。
論文 参考訳(メタデータ) (2021-09-12T18:34:33Z) - Interpret-able feedback for AutoML systems [5.5524559605452595]
自動機械学習(AutoML)システムは、非ML専門家のための機械学習(ML)モデルのトレーニングを可能にすることを目的としている。
これらのシステムの欠点は、高い精度でモデルの生成に失敗した場合、モデルを改善するためのパスがないことである。
AutoML用の解釈可能なデータフィードバックソリューションを紹介します。
論文 参考訳(メタデータ) (2021-02-22T18:54:26Z) - Evolution of Scikit-Learn Pipelines with Dynamic Structured Grammatical
Evolution [1.5224436211478214]
本稿では、動的構造文法進化(DSGE)をScikit-Learn分類パイプラインの進化に適応させる新しい文法ベースのフレームワークについて述べる。
実験結果は、AutoML-DSGEを他の文法ベースのAutoMLフレームワークであるResilient ClassificationPipeline Evolution (RECIPE)と比較することを含む。
論文 参考訳(メタデータ) (2020-04-01T09:31:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。