論文の概要: Task Selection for AutoML System Evaluation

• arxiv url: http://arxiv.org/abs/2208.12754v1
• Date: Fri, 26 Aug 2022 16:07:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-08-29 13:18:07.928176
• Title: Task Selection for AutoML System Evaluation
• Title（参考訳）: automlシステム評価のためのタスク選択
• Authors: Jonathan Lorraine and Nihesh Anderson and Chansoo Lee and Quentin De Laroussilhe and Mehadi Hassen
• Abstract要約: 私たちは、AutoMLシステムの変更が最終モデルの性能を製品タスクで改善するかどうかを評価したいと考えています。 AutoMLシステムが以前実行したタスクに関する限定的な記述子のみにアクセスできます。 本稿では,AutoMLの生産タスクに関する記述子情報を利用して,最も関連性の高い開発タスクのフィルタされたサブセットを選択する手法を提案する。
• 参考スコア（独自算出の注目度）: 2.77364728680379
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Our goal is to assess if AutoML system changes - i.e., to the search space or hyperparameter optimization - will improve the final model's performance on production tasks. However, we cannot test the changes on production tasks. Instead, we only have access to limited descriptors about tasks that our AutoML system previously executed, like the number of data points or features. We also have a set of development tasks to test changes, ex., sampled from OpenML with no usage constraints. However, the development and production task distributions are different leading us to pursue changes that only improve development and not production. This paper proposes a method to leverage descriptor information about AutoML production tasks to select a filtered subset of the most relevant development tasks. Empirical studies show that our filtering strategy improves the ability to assess AutoML system changes on holdout tasks with different distributions than development.
• Abstract（参考訳）: 私たちの目標は、AutoMLシステムの変更、すなわち検索スペースやハイパーパラメータ最適化が、運用タスクにおける最終モデルのパフォーマンスを改善するかどうかを評価することです。 しかし、本番のタスクで変更をテストすることはできません。 代わりに、AutoMLシステムが以前実行したタスクに関する限定的な記述子、例えばデータポイントの数や機能へのアクセスしかできません。 また、変更をテストするための開発タスクも用意しています。 使用制限のないOpenMLからサンプルしたものだ。 しかし、開発と生産のタスクの分布は異なり、開発だけを改善し、生産しない変更を追求します。 本稿では,最も関連する開発タスクのフィルタ付きサブセットを選択するために,automl生産タスクのディスクリプタ情報を活用する手法を提案する。 実験の結果,提案手法は,開発時とは異なる分布を持つホールドアウトタスクにおけるautomlシステム変化を評価する能力を向上させることがわかった。

関連論文リスト

• EDCA - An Evolutionary Data-Centric AutoML Framework for Efficient Pipelines [0.276240219662896]
  この作業では、Evolutionary Data Centric AutoMLフレームワークであるEDCAを紹介します。 データ品質は通常、AutoMLの見過ごされている部分であり、手作業と時間を要するタスクであり続けています。 EDCAは、AutoMLベンチマークのトップの2つのフレームワークであるFLAMLとTPOTと比較された。
  論文  参考訳（メタデータ） (2025-03-06T11:46:07Z)
• IMPROVE: Iterative Model Pipeline Refinement and Optimization Leveraging LLM Agents [17.301758094000125]
  大規模言語モデル(LLM)エージェントは、コンピュータビジョンモデルの開発を自動化するための有望なソリューションとして登場した。 LLM駆動のMLパイプライン設計のための新しい戦略であるIterative Refinementを導入する。 イテレーティブリファインメントは安定性、解釈可能性、全体的なモデルパフォーマンスを改善します。
  論文  参考訳（メタデータ） (2025-02-25T01:52:37Z)
• LLM-AutoDiff: Auto-Differentiate Any LLM Workflow [58.56731133392544]
  自動プロンプト工学(APE)のための新しいフレームワーク LLM-AutoDiff について紹介する。 LLMs-AutoDiffは、各テキスト入力をトレーニング可能なパラメータとして扱い、フリーズした後方エンジンを使用して、テキスト勾配に対するフィードバック・アキンを生成する。 精度とトレーニングコストの両方において、既存のテキスト勾配ベースラインを一貫して上回ります。
  論文  参考訳（メタデータ） (2025-01-28T03:18:48Z)
• Flow: Modularized Agentic Workflow Automation [53.073598156915615]
  大規模言語モデル(LLM)を利用したマルチエージェントフレームワークは、自動計画とタスク実行において大きな成功を収めている。 しかし, 実行中のエージェントの効果的な調整は十分に研究されていない。 本稿では,エージェントによる継続的なワークフロー改善を可能にするアクティビティ・オン・頂点(AOV)グラフを定義する。 提案するマルチエージェントフレームワークは,サブタスクの効率的な同時実行,効果的なゴール達成,エラー耐性の向上を実現している。
  論文  参考訳（メタデータ） (2025-01-14T04:35:37Z)
• Benchmarking Agentic Workflow Generation [80.74757493266057]
  複数面シナリオと複雑なグラフワークフロー構造を備えた統合ワークフロー生成ベンチマークであるWorFBenchを紹介する。 また,サブシーケンスとサブグラフマッチングアルゴリズムを利用したシステム評価プロトコルWorFEvalを提案する。 我々は、生成されたタスクが下流のタスクを強化し、推論中により少ない時間で優れたパフォーマンスを達成することができることを観察する。
  論文  参考訳（メタデータ） (2024-10-10T12:41:19Z)
• Embodied Agent Interface: Benchmarking LLMs for Embodied Decision Making [85.24399869971236]
  我々は,大規模言語モデル(LLM)を具体的意思決定のために評価することを目指している。 既存の評価は最終的な成功率にのみ依存する傾向がある。 本稿では,様々なタスクの形式化を支援する汎用インタフェース (Embodied Agent Interface) を提案する。
  論文  参考訳（メタデータ） (2024-10-09T17:59:00Z)
• AutoML-Agent: A Multi-Agent LLM Framework for Full-Pipeline AutoML [56.565200973244146]
  自動機械学習(Automated Machine Learning, ML)は、開発パイプライン内のタスクを自動化することによって、AI開発を加速する。 近年の作業では,そのような負担を軽減するために,大規模言語モデル(LLM)の利用が始まっている。 本稿では,フルパイプのAutoMLに適した新しいマルチエージェントフレームワークであるAutoML-Agentを提案する。
  論文  参考訳（メタデータ） (2024-10-03T20:01:09Z)
• Enhancing Decision-Making for LLM Agents via Step-Level Q-Value Models [22.43652231336764]
  本稿では,タスク関連Q値モデルを用いて行動選択を導出する手法を提案する。 その結果,Q値モデルの性能は大幅に向上した。
  論文  参考訳（メタデータ） (2024-09-14T07:32:49Z)
• AutoMMLab: Automatically Generating Deployable Models from Language Instructions for Computer Vision Tasks [37.48197934228379]
  コンピュータビジョンのためのエンドツーエンドモデルプロダクションワークフロー全体を自動化するAutoMLシステムはありません。 本稿では、ユーザの自然言語要求を理解し、プロダクション対応モデルを生成するワークフロー全体を実行することを含む、新しいリクエスト・ツー・モデルタスクを提案する。 これにより、専門家でない個人が、ユーザフレンドリーな言語インターフェースを通じて、タスク固有のモデルを簡単に構築できるようになる。
  論文  参考訳（メタデータ） (2024-02-23T14:38:19Z)
• AutoAct: Automatic Agent Learning from Scratch for QA via Self-Planning [54.47116888545878]
  AutoActはQAのための自動エージェント学習フレームワークである。 大規模アノテートデータやクローズドソースモデルからの合成計画軌道は依存していない。
  論文  参考訳（メタデータ） (2024-01-10T16:57:24Z)
• TaskBench: Benchmarking Large Language Models for Task Automation [82.2932794189585]
  タスク自動化における大規模言語モデル(LLM)の機能を評価するためのフレームワークであるTaskBenchを紹介する。 具体的には、タスクの分解、ツールの選択、パラメータ予測を評価する。 提案手法は, 自動構築と厳密な人的検証を組み合わせることで, 人的評価との整合性を確保する。
  論文  参考訳（メタデータ） (2023-11-30T18:02:44Z)
• AutoML in Heavily Constrained Applications [24.131387687157382]
  メタ学習を用いて自動MLパラメータを自動的に適応するCAMLを提案する。 CAMLの動的AutoML戦略は、ユーザ定義の制約を考慮に入れ、高い予測性能で制約を満たすパイプラインを得る。
  論文  参考訳（メタデータ） (2023-06-29T13:05:12Z)
• Attributed Question Answering: Evaluation and Modeling for Attributed Large Language Models [68.37431984231338]
  大規模言語モデル(LLM)は、直接の監督をほとんど必要とせず、様々なタスクにわたって印象的な結果を示している。 我々は、LLMが生成するテキストの属性に持つ能力は、この設定においてシステム開発者とユーザの両方にとって不可欠であると信じている。
  論文  参考訳（メタデータ） (2022-12-15T18:45:29Z)
• Automatic Componentwise Boosting: An Interpretable AutoML System [1.1709030738577393]
  本稿では,高度にスケーラブルなコンポーネントワイドブースティングアルゴリズムを用いて適用可能な,解釈可能な付加モデルを構築するAutoMLシステムを提案する。 我々のシステムは、部分的な効果やペアの相互作用を可視化するなど、簡単なモデル解釈のためのツールを提供する。 解釈可能なモデル空間に制限があるにもかかわらず、我々のシステムは、ほとんどのデータセットにおける予測性能の点で競争力がある。
  論文  参考訳（メタデータ） (2021-09-12T18:34:33Z)
• Evolution of Scikit-Learn Pipelines with Dynamic Structured Grammatical Evolution [1.5224436211478214]
  本稿では、動的構造文法進化(DSGE)をScikit-Learn分類パイプラインの進化に適応させる新しい文法ベースのフレームワークについて述べる。 実験結果は、AutoML-DSGEを他の文法ベースのAutoMLフレームワークであるResilient ClassificationPipeline Evolution (RECIPE)と比較することを含む。
  論文  参考訳（メタデータ） (2020-04-01T09:31:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。