論文の概要: PSEO: Optimizing Post-hoc Stacking Ensemble Through Hyperparameter Tuning

• arxiv url: http://arxiv.org/abs/2508.05144v1
• Date: Thu, 07 Aug 2025 08:25:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-08 18:59:39.762434
• Title: PSEO: Optimizing Post-hoc Stacking Ensemble Through Hyperparameter Tuning
• Title（参考訳）: PSEO:ハイパーパラメータチューニングによるポストホックなスタックングアンサンブルの最適化
• Authors: Beicheng Xu, Wei Liu, Keyao Ding, Yupeng Lu, Bin Cui,
• Abstract要約: 本稿では,ポスト・ホック・スタックング・アンサンブル最適化のためのフレームワークであるPSEOを提案する。 sysは、最近のAutoMLシステムにおけるポストホックな設計を含む16の手法の中で、最も平均的なテストランク(2.96)を達成している。
• 参考スコア（独自算出の注目度）: 21.71071582871805
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Combined Algorithm Selection and Hyperparameter Optimization (CASH) problem is fundamental in Automated Machine Learning (AutoML). Inspired by the success of ensemble learning, recent AutoML systems construct post-hoc ensembles for final predictions rather than relying on the best single model. However, while most CASH methods conduct extensive searches for the optimal single model, they typically employ fixed strategies during the ensemble phase that fail to adapt to specific task characteristics. To tackle this issue, we propose PSEO, a framework for post-hoc stacking ensemble optimization. First, we conduct base model selection through binary quadratic programming, with a trade-off between diversity and performance. Furthermore, we introduce two mechanisms to fully realize the potential of multi-layer stacking. Finally, PSEO builds a hyperparameter space and searches for the optimal post-hoc ensemble strategy within it. Empirical results on 80 public datasets show that \sys achieves the best average test rank (2.96) among 16 methods, including post-hoc designs in recent AutoML systems and state-of-the-art ensemble learning methods.
• Abstract（参考訳）: アルゴリズム選択とハイパーパラメータ最適化(CASH)の併用は、自動機械学習(AutoML)の基本的な問題である。 アンサンブル学習の成功に触発された最近のAutoMLシステムは、最高の単一モデルに頼るのではなく、最終的な予測のためのポストホックアンサンブルを構築している。 しかし、ほとんどのCASH法は最適な単一モデルの広範な探索を行うが、通常、特定のタスク特性に適応できないアンサンブルフェーズ中に固定戦略を用いる。 この問題に対処するため,ポストホック・スタックング・アンサンブル最適化のためのフレームワークであるPSEOを提案する。 まず,二分法プログラミングによる基本モデル選択を行い,多様性と性能のトレードオフを解消する。 さらに,多層積層の可能性を完全に実現するための2つのメカニズムを導入する。 最後に、PSEOはハイパーパラメータ空間を構築し、その内部で最適なポストホックアンサンブル戦略を探索する。 80の公開データセットの実証的な結果は、最近のAutoMLシステムにおけるポストホック設計や最先端のアンサンブル学習方法を含む16の手法の中で、Shasysが最高の平均テストランク(2.96)を達成していることを示している。

関連論文リスト

• SPIO: Ensemble and Selective Strategies via LLM-Based Multi-Agent Planning in Automated Data Science [1.1343849658875087]
  大規模言語モデル(LLM)は、動的推論と適応性を有効にすることで、自動データ分析と機械学習に革命をもたらした。 4つの主要なモジュールをまたいだマルチエージェントプランニングを編成する新しいフレームワークであるSPIOを提案する。 各モジュールでは、専用の計画エージェントが独立して、後続のステージにカスケードする候補戦略を生成し、包括的な探索を促進する。
  論文  参考訳（メタデータ） (2025-03-30T04:45:32Z)
• Collab: Controlled Decoding using Mixture of Agents for LLM Alignment [90.6117569025754]
  人間のフィードバックからの強化学習は、大規模言語モデルを整合させる効果的な手法として現れてきた。 制御された復号化は、再訓練せずに推論時にモデルを整列するメカニズムを提供する。 本稿では,既存の既成のLCMポリシを活用するエージェントベースのデコーディング戦略の混合を提案する。
  論文  参考訳（メタデータ） (2025-03-27T17:34:25Z)
• Heterogeneous Swarms: Jointly Optimizing Model Roles and Weights for Multi-LLM Systems [102.36545569092777]
  モデルの役割と重みを協調的に最適化し,マルチLLMシステムを設計するアルゴリズムであるヘテロジニアス・スウォームを提案する。 実験により、異種群は12タスクの平均18.5%で15のロールベースおよび/またはウェイトベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2025-02-06T21:27:11Z)
• An incremental preference elicitation-based approach to learning potentially non-monotonic preferences in multi-criteria sorting [53.36437745983783]
  まず最適化モデルを構築し,非単調な選好をモデル化する。 本稿では,情報量測定手法と質問選択戦略を考案し,各イテレーションにおいて最も情報に富む選択肢を特定する。 2つのインクリメンタルな選好に基づくアルゴリズムは、潜在的に単調な選好を学習するために開発された。
  論文  参考訳（メタデータ） (2024-09-04T14:36:20Z)
• Decoding-Time Language Model Alignment with Multiple Objectives [116.42095026960598]
  既存の手法は主に、1つの報酬関数に対してLMを最適化することに集中し、それらの適応性は様々な目的に制限される。 本稿では,予測の線形結合から次のトークンを出力する復号時間アルゴリズムである$textbfmulti-objective decoding (MOD)$を提案する。 提案手法は, 自然条件下であっても, 既存のアプローチが準最適であることを示すとともに, 提案手法の最適性を保証する。
  論文  参考訳（メタデータ） (2024-06-27T02:46:30Z)
• Unleashing the Potential of Large Language Models as Prompt Optimizers: Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
  本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。 モデルパラメータ学習における2つの重要な要素を同定する。 グラディエントにインスパイアされた Prompt ベースの GPO を開発した。
  論文  参考訳（メタデータ） (2024-02-27T15:05:32Z)
• BOtied: Multi-objective Bayesian optimization with tied multivariate ranks [33.414682601242006]
  本稿では,非支配解と結合累積分布関数の極端量子化との自然な関係を示す。 このリンクにより、我々はPareto対応CDFインジケータと関連する取得関数BOtiedを提案する。 種々の合成および実世界の問題に対する実験により,BOtied は最先端MOBO 取得関数より優れていることが示された。
  論文  参考訳（メタデータ） (2023-06-01T04:50:06Z)
• Data-driven Mixed Integer Optimization through Probabilistic Multi-variable Branching [8.03915440701838]
  オンライン混合整数プログラム(MIP)をオフラインデータセットと機械学習モデルで高速化する事前学習混合最適化フレームワーク(PreMIO)を提案する。 本手法は, 濃度不等式から選択した超平面を用いて, 実現可能な領域を分割するデータ駆動型多変量基数分岐法に基づく。
  論文  参考訳（メタデータ） (2023-05-21T05:11:30Z)
• Agent-based Collaborative Random Search for Hyper-parameter Tuning and Global Function Optimization [0.0]
  本稿では,機械学習モデルにおける任意のハイパーパラメータの任意の集合に対する近似値を求めるためのエージェントベース協調手法を提案する。 提案モデルの動作,特に設計パラメータの変化に対して,機械学習およびグローバル関数最適化アプリケーションの両方で検討する。
  論文  参考訳（メタデータ） (2023-03-03T21:10:17Z)
• DivBO: Diversity-aware CASH for Ensemble Learning [26.18421492435029]
  本稿では,多様性の明示的な探索をCASH問題に注入するダイバーシティ対応フレームワークであるDivBOを提案する。 本フレームワークでは,2つの未知の構成のペアワイドな多様性を予測するために,ダイバーシティサロゲート(ダイバーシティサロゲート)を提案する。 そこで,DivBOは10種類の比較手法の検証とテスト誤差の両面で,平均ランク(1.82と1.73)を達成していることを示す。
  論文  参考訳（メタデータ） (2023-02-07T04:53:21Z)
• A Deep Neural Networks ensemble workflow from hyperparameter search to inference leveraging GPU clusters [0.0]
  AutoMLは、定性的予測を達成するために、ディープニューラルネットワーク(DNN)のアンサンブルを自動的に構築することを目指している。 我々は,より正確で多様な個別モデルのライブラリを構築し,アンサンブルを構築するための新しいAutoMLを提案する。 高精度なアンサンブルを生成するために,多目的グリードアルゴリズムに基づく新しいアンサンブル選択法を提案する。
  論文  参考訳（メタデータ） (2022-08-30T08:04:19Z)
• Consolidated learning -- a domain-specific model-free optimization strategy with examples for XGBoost and MIMIC-IV [4.370097023410272]
  本稿では,統合学習と呼ばれるチューニング問題の新たな定式化を提案する。 このような設定では、単一のタスクをチューニングするよりも、全体の最適化時間に関心があります。 我々は,XGBoostアルゴリズムの実証研究とMIMIC-IV医療データベースから抽出した予測タスクの収集を通じて,このアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2022-01-27T21:38:53Z)
• Stepwise Model Selection for Sequence Prediction via Deep Kernel Learning [100.83444258562263]
  本稿では,モデル選択の課題を解決するために,新しいベイズ最適化(BO)アルゴリズムを提案する。 結果として得られる複数のブラックボックス関数の最適化問題を協調的かつ効率的に解くために,ブラックボックス関数間の潜在的な相関を利用する。 我々は、シーケンス予測のための段階的モデル選択(SMS)の問題を初めて定式化し、この目的のために効率的な共同学習アルゴリズムを設計し、実証する。
  論文  参考訳（メタデータ） (2020-01-12T09:42:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。