論文の概要: M-DEW: Extending Dynamic Ensemble Weighting to Handle Missing Values

• arxiv url: http://arxiv.org/abs/2405.00182v1
• Date: Tue, 30 Apr 2024 20:13:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-02 17:16:17.688212
• Title: M-DEW: Extending Dynamic Ensemble Weighting to Handle Missing Values
• Title（参考訳）: M-DEW: ダイナミックアンサンブルウェイトを拡張してミス値を処理する
• Authors: Adam Catto, Nan Jia, Ansaf Salleb-Aouissi, Anita Raja,
• Abstract要約: 我々は、不足データを用いて下流予測を行うための新しいAutoML技術を開発した。 M-DEWは18実験中17実験において、モデルパープレキシティの統計的に有意な減少を生じるという、最先端技術よりも優れていることが示されている。
• 参考スコア（独自算出の注目度）: 2.8861431208787525
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Missing value imputation is a crucial preprocessing step for many machine learning problems. However, it is often considered as a separate subtask from downstream applications such as classification, regression, or clustering, and thus is not optimized together with them. We hypothesize that treating the imputation model and downstream task model together and optimizing over full pipelines will yield better results than treating them separately. Our work describes a novel AutoML technique for making downstream predictions with missing data that automatically handles preprocessing, model weighting, and selection during inference time, with minimal compute overhead. Specifically we develop M-DEW, a Dynamic missingness-aware Ensemble Weighting (DEW) approach, that constructs a set of two-stage imputation-prediction pipelines, trains each component separately, and dynamically calculates a set of pipeline weights for each sample during inference time. We thus extend previous work on dynamic ensemble weighting to handle missing data at the level of full imputation-prediction pipelines, improving performance and calibration on downstream machine learning tasks over standard model averaging techniques. M-DEW is shown to outperform the state-of-the-art in that it produces statistically significant reductions in model perplexity in 17 out of 18 experiments, while improving average precision in 13 out of 18 experiments.
• Abstract（参考訳）: 値計算の欠如は多くの機械学習問題にとって重要な前処理ステップである。 しかし、しばしば分類、回帰、クラスタリングといった下流アプリケーションとは別のサブタスクと見なされるため、それらと共に最適化されない。 我々は、計算モデルと下流タスクモデルを一緒に扱い、完全なパイプラインを最適化することで、個別に扱うよりも良い結果が得られると仮定する。 我々の研究は、プリプロセス、モデルの重み付け、推論時間中の選択を自動的に処理し、最小の計算オーバーヘッドでダウンストリーム予測を行う新しいAutoML技術について説明している。 具体的には,M-DEW(Dynamic missingness-aware Ensemble Weighting, DEW)アプローチを開発し,2段階のインプット予測パイプラインのセットを構築し,各コンポーネントを個別に訓練し,各サンプルの推論時間におけるパイプライン重みのセットを動的に計算する。 これにより、従来のダイナミックアンサンブル重み付けの作業を拡張し、完全な計算予測パイプラインのレベルで欠落したデータを処理し、標準モデル平均化技術よりも下流機械学習タスクのパフォーマンスとキャリブレーションを改善した。 M-DEWは18実験中17実験において、モデルパープレキシティの統計的に有意な低減を実現し、平均精度を18実験中13実験で改善している。

関連論文リスト

• Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
  機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。 最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
  論文  参考訳（メタデータ） (2024-10-30T17:20:10Z)
• PIVOT-R: Primitive-Driven Waypoint-Aware World Model for Robotic Manipulation [68.17081518640934]
  ロボット操作のためのPrIrmitive-driVen waypOinT-aware world model(PIVOT-R)を提案する。 PIVOT-RはWAWM(Waypoint-aware World Model)と軽量アクション予測モジュールで構成される。 私たちのPIVOT-RはSeaWaveベンチマークで最先端のオープンソースモデルより優れており、4段階の命令タスクで平均19.45%の相対的な改善を実現しています。
  論文  参考訳（メタデータ） (2024-10-14T11:30:18Z)
• DaWin: Training-free Dynamic Weight Interpolation for Robust Adaptation [57.11544252399801]
  本研究では,各未ラベルテストサンプルに対する個々のモデルのエントロピーを利用するトレーニングフリーな動的重み付け手法であるDaWinを提案する。 このような係数を学習するために、通常追加のトレーニングに依存する以前の作業とは異なり、我々のアプローチはトレーニングを必要としない。 その結果、DaWinは計算オーバーヘッドを最小限に抑えながら、考慮された設定で大幅なパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-10-03T16:25:35Z)
• Learning with Noisy Foundation Models [95.50968225050012]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
  本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。 本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。 AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
  論文  参考訳（メタデータ） (2023-10-04T04:26:33Z)
• Maintaining Stability and Plasticity for Predictive Churn Reduction [8.971668467496055]
  我々は,累積モデル組合せ (AMC) という解を提案する。 AMCは一般的な手法であり、モデルやデータ特性に応じてそれぞれ独自の利点を持ついくつかの事例を提案する。
  論文  参考訳（メタデータ） (2023-05-06T20:56:20Z)
• Building Robust Machine Learning Models for Small Chemical Science Data: The Case of Shear Viscosity [3.4761212729163313]
  我々はLennard-Jones (LJ)流体のせん断粘度を予測するために、いくつかの機械学習モデルを訓練する。 具体的には,モデル選択,性能評価,不確実性定量化に関する課題について検討した。
  論文  参考訳（メタデータ） (2022-08-23T07:33:14Z)
• Training Experimentally Robust and Interpretable Binarized Regression Models Using Mixed-Integer Programming [3.179831861897336]
  マルチクラス分類タスクに対するロバストかつ解釈可能な二項化回帰モデルをトレーニングするためのモデルに基づくアプローチを提案する。 MIPモデルは、重み付けされた目的を用いて予測マージンとモデルサイズを最適化する。 MIPを用いた頑健かつ解釈可能な二項化回帰モデルのトレーニングの有効性を示す。
  論文  参考訳（メタデータ） (2021-12-01T11:53:08Z)
• End-to-End Weak Supervision [15.125993628007972]
  下流モデルを直接学習するためのエンドツーエンドアプローチを提案する。 下流テストセットにおけるエンドモデル性能の観点から,先行作業よりも性能が向上したことを示す。
  論文  参考訳（メタデータ） (2021-07-05T19:10:11Z)
• Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
  本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。 我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。 その結果,我々のモデルは最先端の性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2020-10-12T03:27:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。