論文の概要: In-Context Decision Making for Optimizing Complex AutoML Pipelines

• arxiv url: http://arxiv.org/abs/2508.13657v1
• Date: Tue, 19 Aug 2025 09:05:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-20 15:36:31.868149
• Title: In-Context Decision Making for Optimizing Complex AutoML Pipelines
• Title（参考訳）: 複雑なオートMLパイプラインの最適化のためのコンテキスト内決定法
• Authors: Amir Rezaei Balef, Katharina Eggensperger,
• Abstract要約: この作業はCASHフレームワークを拡張して、現代的なMLパイプラインを選択し、適応する。 我々は,PS(Posterior Sampling)を最大k腕バンディット問題に拡張することにより,適応MLパイプラインを効率的に探索し,活用するPS-PFNを提案する。 1つの新しいベンチマークタスクと2つの既存のベンチマークタスクの実験結果から、PS-PFNの他のバンディットおよびオートML戦略と比較して優れた性能を示した。
• 参考スコア（独自算出の注目度）: 3.2337644762124724
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Combined Algorithm Selection and Hyperparameter Optimization (CASH) has been fundamental to traditional AutoML systems. However, with the advancements of pre-trained models, modern ML workflows go beyond hyperparameter optimization and often require fine-tuning, ensembling, and other adaptation techniques. While the core challenge of identifying the best-performing model for a downstream task remains, the increasing heterogeneity of ML pipelines demands novel AutoML approaches. This work extends the CASH framework to select and adapt modern ML pipelines. We propose PS-PFN to efficiently explore and exploit adapting ML pipelines by extending Posterior Sampling (PS) to the max k-armed bandit problem setup. PS-PFN leverages prior-data fitted networks (PFNs) to efficiently estimate the posterior distribution of the maximal value via in-context learning. We show how to extend this method to consider varying costs of pulling arms and to use different PFNs to model reward distributions individually per arm. Experimental results on one novel and two existing standard benchmark tasks demonstrate the superior performance of PS-PFN compared to other bandit and AutoML strategies. We make our code and data available at https://github.com/amirbalef/CASHPlus.
• Abstract（参考訳）: アルゴリズム選択とハイパーパラメータ最適化(CASH)の組み合わせは、従来のAutoMLシステムの基本となっている。 しかし、事前訓練されたモデルの進歩により、現代のMLワークフローはハイパーパラメータ最適化を超えて、微調整、アンサンブル、その他の適応技術を必要とすることが多い。 ダウンストリームタスクの最高のパフォーマンスモデルを特定する上での課題は依然として残っているが、MLパイプラインの不均一性の増大には、新しいAutoMLアプローチが必要である。 この作業はCASHフレームワークを拡張して、現代的なMLパイプラインを選択し、適応する。 我々は,PS(Posterior Sampling)を最大k腕バンディット問題に拡張することにより,適応MLパイプラインを効率的に探索し,活用するPS-PFNを提案する。 PS-PFNは、事前データ付きネットワーク(PFN)を利用して、テキスト内学習により最大値の後方分布を効率的に推定する。 本手法を,腕を引く際の様々なコストを考慮し,各腕ごとの報酬分布をモデル化するために異なるPFNを用いて拡張する方法を示す。 1つの新しいベンチマークタスクと2つの既存のベンチマークタスクの実験結果から、PS-PFNの他のバンディットおよびオートML戦略と比較して優れた性能を示した。 コードとデータはhttps://github.com/amirbalef/CASHPlus.comで公開しています。

関連論文リスト

• EDCA - An Evolutionary Data-Centric AutoML Framework for Efficient Pipelines [0.276240219662896]
  この作業では、Evolutionary Data Centric AutoMLフレームワークであるEDCAを紹介します。 データ品質は通常、AutoMLの見過ごされている部分であり、手作業と時間を要するタスクであり続けています。 EDCAは、AutoMLベンチマークのトップの2つのフレームワークであるFLAMLとTPOTと比較された。
  論文  参考訳（メタデータ） (2025-03-06T11:46:07Z)
• RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models [53.571195477043496]
  本稿では,RoSTE (Rotated Straight-Through-Estimator) というアルゴリズムを提案する。 RoSTEは、量子化を意識した微調整(QA-SFT)と適応的な回転戦略を組み合わせることで、アクティベーションアウトリーを減少させる。 その結果, 予測誤差は収束重みの量子化誤差と直接比例し, 最適化された回転構成により効果的に管理できることが判明した。
  論文  参考訳（メタデータ） (2025-02-13T06:44:33Z)
• Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
  本研究では,プルーンドモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する最適化に基づく構造的プルーニングを提案する。 我々は、基底となるベルヌーイ分布をサンプルのバイナリ・プルーニングマスクに学習することでこれを実現する。 LLaMA, LLaMA-2, LLaMA-3, Vicuna, Mistral モデルによる実験により, 本手法の有効性と有効性を示すことができた。
  論文  参考訳（メタデータ） (2024-06-15T09:31:03Z)
• Self-Augmented Preference Optimization: Off-Policy Paradigms for Language Model Alignment [104.18002641195442]
  既存のペアデータを必要としない、効果的でスケーラブルなトレーニングパラダイムである自己拡張型優先度最適化(SAPO)を導入する。 負の反応を自律的に生成するセルフプレイの概念に基づいて、我々はさらに、データ探索とエクスプロイトを強化するために、非政治的な学習パイプラインを組み込む。
  論文  参考訳（メタデータ） (2024-05-31T14:21:04Z)
• Multi-Reference Preference Optimization for Large Language Models [56.84730239046117]
  複数の参照モデルを用いた直接選好最適化のための新しいクローズドフォームの定式化を提案する。 得られたアルゴリズムであるMulti-Reference Preference Optimization (MRPO)は、様々な参照モデルからより広範な事前知識を活用する。 MRPOを微調整したLLMは,データ不足や多量性に関わらず,様々な嗜好データにおいてより一般化されていることを示す。
  論文  参考訳（メタデータ） (2024-05-26T00:29:04Z)
• AutoEn: An AutoML method based on ensembles of predefined Machine Learning pipelines for supervised Traffic Forecasting [1.6242924916178283]
  交通予測(TF)は、将来の交通状況を予測することで交通渋滞を緩和する能力により、関連性が高まっている。 TFは、モデル選択問題(MSP)として知られる機械学習パラダイムに大きな課題を提起する。 事前に定義されたMLパイプラインの集合からマルチクラス化アンサンブルを自動生成する,シンプルで効率的な手法であるAutoEnを紹介する。
  論文  参考訳（メタデータ） (2023-03-19T18:37:18Z)
• Multi-armed bandits for resource efficient, online optimization of language model pre-training: the use case of dynamic masking [7.3618738570222915]
  我々はトランスフォーマーベース言語モデル(TLM)の資源効率向上のためのフレームワークの評価を行った。 本稿では,TLM事前学習型ハイパーパラメータの逐次選択のためのマルチアームバンディットフレームワークを提案する。 GP-TSは、効率よく最適化されたTLM事前学習のためのインタラクティブなフレームワークを提供する。
  論文  参考訳（メタデータ） (2022-03-24T16:12:21Z)
• Model Selection for Bayesian Autoencoders [25.619565817793422]
  本稿では,オートエンコーダの出力と経験的データ分布との分散スライス-ワッサーシュタイン距離を最適化することを提案する。 我々のBAEは、フレキシブルなディリクレ混合モデルを潜在空間に適合させることにより、生成モデルに変換する。 我々は,教師なしの学習課題に対する膨大な実験的キャンペーンを質的かつ定量的に評価し,先行研究が重要となる小規模データ体制において,我々のアプローチが最先端の結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2021-06-11T08:55:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。