論文の概要: Task Selection for AutoML System Evaluation

• arxiv url: http://arxiv.org/abs/2208.12754v1
• Date: Fri, 26 Aug 2022 16:07:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-29 13:18:07.928176
• Title: Task Selection for AutoML System Evaluation
• Title（参考訳）: automlシステム評価のためのタスク選択
• Authors: Jonathan Lorraine and Nihesh Anderson and Chansoo Lee and Quentin De Laroussilhe and Mehadi Hassen
• Abstract要約: 私たちは、AutoMLシステムの変更が最終モデルの性能を製品タスクで改善するかどうかを評価したいと考えています。 AutoMLシステムが以前実行したタスクに関する限定的な記述子のみにアクセスできます。 本稿では,AutoMLの生産タスクに関する記述子情報を利用して,最も関連性の高い開発タスクのフィルタされたサブセットを選択する手法を提案する。
• 参考スコア（独自算出の注目度）: 2.77364728680379
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Our goal is to assess if AutoML system changes - i.e., to the search space or hyperparameter optimization - will improve the final model's performance on production tasks. However, we cannot test the changes on production tasks. Instead, we only have access to limited descriptors about tasks that our AutoML system previously executed, like the number of data points or features. We also have a set of development tasks to test changes, ex., sampled from OpenML with no usage constraints. However, the development and production task distributions are different leading us to pursue changes that only improve development and not production. This paper proposes a method to leverage descriptor information about AutoML production tasks to select a filtered subset of the most relevant development tasks. Empirical studies show that our filtering strategy improves the ability to assess AutoML system changes on holdout tasks with different distributions than development.
• Abstract（参考訳）: 私たちの目標は、AutoMLシステムの変更、すなわち検索スペースやハイパーパラメータ最適化が、運用タスクにおける最終モデルのパフォーマンスを改善するかどうかを評価することです。 しかし、本番のタスクで変更をテストすることはできません。 代わりに、AutoMLシステムが以前実行したタスクに関する限定的な記述子、例えばデータポイントの数や機能へのアクセスしかできません。 また、変更をテストするための開発タスクも用意しています。 使用制限のないOpenMLからサンプルしたものだ。 しかし、開発と生産のタスクの分布は異なり、開発だけを改善し、生産しない変更を追求します。 本稿では,最も関連する開発タスクのフィルタ付きサブセットを選択するために,automl生産タスクのディスクリプタ情報を活用する手法を提案する。 実験の結果,提案手法は,開発時とは異なる分布を持つホールドアウトタスクにおけるautomlシステム変化を評価する能力を向上させることがわかった。

関連論文リスト

• LLM-AutoDiff: Auto-Differentiate Any LLM Workflow [58.56731133392544]
  自動プロンプト工学(APE)のための新しいフレームワーク LLM-AutoDiff について紹介する。 LLMs-AutoDiffは、各テキスト入力をトレーニング可能なパラメータとして扱い、フリーズした後方エンジンを使用して、テキスト勾配に対するフィードバック・アキンを生成する。 精度とトレーニングコストの両方において、既存のテキスト勾配ベースラインを一貫して上回ります。
  論文  参考訳（メタデータ） (2025-01-28T03:18:48Z)
• Benchmarking Agentic Workflow Generation [80.74757493266057]
  複数面シナリオと複雑なグラフワークフロー構造を備えた統合ワークフロー生成ベンチマークであるWorFBenchを紹介する。 また,サブシーケンスとサブグラフマッチングアルゴリズムを利用したシステム評価プロトコルWorFEvalを提案する。 我々は、生成されたタスクが下流のタスクを強化し、推論中により少ない時間で優れたパフォーマンスを達成することができることを観察する。
  論文  参考訳（メタデータ） (2024-10-10T12:41:19Z)
• AutoML-Agent: A Multi-Agent LLM Framework for Full-Pipeline AutoML [56.565200973244146]
  自動機械学習(Automated Machine Learning, ML)は、開発パイプライン内のタスクを自動化することによって、AI開発を加速する。 近年の作業では,そのような負担を軽減するために,大規模言語モデル(LLM)の利用が始まっている。 本稿では,フルパイプのAutoMLに適した新しいマルチエージェントフレームワークであるAutoML-Agentを提案する。
  論文  参考訳（メタデータ） (2024-10-03T20:01:09Z)
• Enhancing Decision-Making for LLM Agents via Step-Level Q-Value Models [22.43652231336764]
  本稿では,タスク関連Q値モデルを用いて行動選択を導出する手法を提案する。 その結果,Q値モデルの性能は大幅に向上した。
  論文  参考訳（メタデータ） (2024-09-14T07:32:49Z)
• AutoMMLab: Automatically Generating Deployable Models from Language Instructions for Computer Vision Tasks [37.48197934228379]
  コンピュータビジョンのためのエンドツーエンドモデルプロダクションワークフロー全体を自動化するAutoMLシステムはありません。 本稿では、ユーザの自然言語要求を理解し、プロダクション対応モデルを生成するワークフロー全体を実行することを含む、新しいリクエスト・ツー・モデルタスクを提案する。 これにより、専門家でない個人が、ユーザフレンドリーな言語インターフェースを通じて、タスク固有のモデルを簡単に構築できるようになる。
  論文  参考訳（メタデータ） (2024-02-23T14:38:19Z)
• AutoAct: Automatic Agent Learning from Scratch for QA via Self-Planning [54.47116888545878]
  AutoActはQAのための自動エージェント学習フレームワークである。 大規模アノテートデータやクローズドソースモデルからの合成計画軌道は依存していない。
  論文  参考訳（メタデータ） (2024-01-10T16:57:24Z)
• TaskBench: Benchmarking Large Language Models for Task Automation [82.2932794189585]
  タスク自動化における大規模言語モデル(LLM)の機能を評価するためのフレームワークであるTaskBenchを紹介する。 具体的には、タスクの分解、ツールの選択、パラメータ予測を評価する。 提案手法は, 自動構築と厳密な人的検証を組み合わせることで, 人的評価との整合性を確保する。
  論文  参考訳（メタデータ） (2023-11-30T18:02:44Z)
• AutoML in Heavily Constrained Applications [24.131387687157382]
  メタ学習を用いて自動MLパラメータを自動的に適応するCAMLを提案する。 CAMLの動的AutoML戦略は、ユーザ定義の制約を考慮に入れ、高い予測性能で制約を満たすパイプラインを得る。
  論文  参考訳（メタデータ） (2023-06-29T13:05:12Z)
• Attributed Question Answering: Evaluation and Modeling for Attributed Large Language Models [68.37431984231338]
  大規模言語モデル(LLM)は、直接の監督をほとんど必要とせず、様々なタスクにわたって印象的な結果を示している。 我々は、LLMが生成するテキストの属性に持つ能力は、この設定においてシステム開発者とユーザの両方にとって不可欠であると信じている。
  論文  参考訳（メタデータ） (2022-12-15T18:45:29Z)
• Evolution of Scikit-Learn Pipelines with Dynamic Structured Grammatical Evolution [1.5224436211478214]
  本稿では、動的構造文法進化(DSGE)をScikit-Learn分類パイプラインの進化に適応させる新しい文法ベースのフレームワークについて述べる。 実験結果は、AutoML-DSGEを他の文法ベースのAutoMLフレームワークであるResilient ClassificationPipeline Evolution (RECIPE)と比較することを含む。
  論文  参考訳（メタデータ） (2020-04-01T09:31:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。