論文の概要: Beyond algorithm hyperparameters: on preprocessing hyperparameters and associated pitfalls in machine learning applications

• arxiv url: http://arxiv.org/abs/2412.03491v1
• Date: Wed, 04 Dec 2024 17:29:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-05 15:09:20.843743
• Title: Beyond algorithm hyperparameters: on preprocessing hyperparameters and associated pitfalls in machine learning applications
• Title（参考訳）: アルゴリズムハイパーパラメータを超えて--機械学習応用におけるハイパーパラメータと関連する落とし穴の事前処理について
• Authors: Christina Sauer, Anne-Laure Boulesteix, Luzia Hanßum, Farina Hodiamont, Claudia Bausewein, Theresa Ullmann,
• Abstract要約: 本稿では,予測モデルの生成と評価のための異なる手順について,実験的に考察する。 潜在的な落とし穴、特に誇張されたパフォーマンスクレームにつながる可能性のあるものを強調することで、このレビューはMLアプリケーションにおける予測モデリングの品質をさらに向上することを目的としている。
• 参考スコア（独自算出の注目度）: 0.30786914102688595
• License:
• Abstract: Adequately generating and evaluating prediction models based on supervised machine learning (ML) is often challenging, especially for less experienced users in applied research areas. Special attention is required in settings where the model generation process involves hyperparameter tuning, i.e. data-driven optimization of different types of hyperparameters to improve the predictive performance of the resulting model. Discussions about tuning typically focus on the hyperparameters of the ML algorithm (e.g., the minimum number of observations in each terminal node for a tree-based algorithm). In this context, it is often neglected that hyperparameters also exist for the preprocessing steps that are applied to the data before it is provided to the algorithm (e.g., how to handle missing feature values in the data). As a consequence, users experimenting with different preprocessing options to improve model performance may be unaware that this constitutes a form of hyperparameter tuning - albeit informal and unsystematic - and thus may fail to report or account for this optimization. To illuminate this issue, this paper reviews and empirically illustrates different procedures for generating and evaluating prediction models, explicitly addressing the different ways algorithm and preprocessing hyperparameters are typically handled by applied ML users. By highlighting potential pitfalls, especially those that may lead to exaggerated performance claims, this review aims to further improve the quality of predictive modeling in ML applications.
• Abstract（参考訳）: 教師付き機械学習(ML)に基づく予測モデルの生成と評価は、特に応用研究分野で経験の浅いユーザにとって、しばしば困難である。 モデル生成プロセスがハイパーパラメータチューニングを伴う設定、すなわち、結果モデルの予測性能を改善するために、様々なタイプのハイパーパラメータのデータ駆動最適化に特に注意が必要である。 チューニングに関する議論は、通常、MLアルゴリズムのハイパーパラメータ(木に基づくアルゴリズムの各終端ノードにおける観測の最小数)に焦点を当てる。 この文脈では、アルゴリズムに提供される前にデータに適用される前処理ステップ(例えば、データの欠落した特徴値の扱い方)に対してハイパーパラメータが存在していることも無視されることが多い。 結果として、モデルパフォーマンスを改善するためにさまざまな前処理オプションを実験しているユーザは、これが非公式で非システム的なハイパーパラメータチューニングの形式であることに気付いていないかもしれないため、この最適化を報告したり説明したりすることができないかもしれない。 本論文は,予測モデルの生成と評価の異なる手順を実証的に検証し,アルゴリズムとハイパーパラメータの事前処理が一般的に適用されたMLユーザによって処理される方法を明確にする。 潜在的な落とし穴、特に誇張されたパフォーマンスクレームにつながる可能性のあるものを強調することで、このレビューはMLアプリケーションにおける予測モデリングの品質をさらに向上することを目的としている。

関連論文リスト

• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
  本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。 私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。 最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
  論文  参考訳（メタデータ） (2024-07-08T12:32:51Z)
• End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
  機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。 本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。 この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-12T16:33:35Z)
• Hyperparameter Tuning for Causal Inference with Double Machine Learning: A Simulation Study [4.526082390949313]
  機械学習手法の予測性能と結果の因果推定との関係を実証的に評価する。 我々は,2019 Atlantic Causal Inference Conference Data Challengeのデータを用いて,広範囲にわたるシミュレーション研究を行う。
  論文  参考訳（メタデータ） (2024-02-07T09:01:51Z)
• Interactive Hyperparameter Optimization in Multi-Objective Problems via Preference Learning [65.51668094117802]
  我々は多目的機械学習(ML)に適した人間中心型対話型HPO手法を提案する。 ユーザが自分のニーズに最も適した指標を推測する代わりに、私たちのアプローチは自動的に適切な指標を学習します。
  論文  参考訳（メタデータ） (2023-09-07T09:22:05Z)
• PriorCVAE: scalable MCMC parameter inference with Bayesian deep generative modelling [12.820453440015553]
  近年、可変オートエンコーダ(VAE)のような深層生成モデルを用いてGPプリエントを符号化できることが示されている。 MCMC推論において、VAEが元のプリミティブのドロップイン置換としてどのように機能するかを示す。 ODEの解を符号化するために、PresideCVAEを提案する。
  論文  参考訳（メタデータ） (2023-04-09T20:23:26Z)
• Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
  Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。 本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。 我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
  論文  参考訳（メタデータ） (2022-09-27T07:58:25Z)
• Scalable Gaussian Process Hyperparameter Optimization via Coverage Regularization [0.0]
  本稿では,予測の不確かさの堅牢性を改善するために,Maternカーネルのスムーズさと長大パラメータを推定するアルゴリズムを提案する。 数値実験で示すように,高いスケーラビリティを維持しつつ,残余可能性よりも改善されたUQを実現する。
  論文  参考訳（メタデータ） (2022-09-22T19:23:37Z)
• Multi-objective hyperparameter optimization with performance uncertainty [62.997667081978825]
  本稿では,機械学習アルゴリズムの評価における不確実性を考慮した多目的ハイパーパラメータ最適化の結果について述べる。 木構造型Parzen Estimator(TPE)のサンプリング戦略と、ガウス過程回帰(GPR)と異種雑音の訓練後に得られたメタモデルを組み合わせる。 3つの解析的テスト関数と3つのML問題の実験結果は、多目的TPEとGPRよりも改善したことを示している。
  論文  参考訳（メタデータ） (2022-09-09T14:58:43Z)
• Hyperboost: Hyperparameter Optimization by Gradient Boosting surrogate models [0.4079265319364249]
  現在の最先端の方法は、ランダムフォレストまたはガウスプロセスを利用してサーロゲートモデルを構築しています。 勾配向上に基づく新しいサロゲートモデルを提案する。 実験により,新しい手法は,ある程度の分類問題に対して,最先端技術より優れていることを示す。
  論文  参考訳（メタデータ） (2021-01-06T22:07:19Z)
• VisEvol: Visual Analytics to Support Hyperparameter Search through Evolutionary Optimization [4.237343083490243]
  機械学習(ML)モデルのトレーニングフェーズでは、通常、いくつかのハイパーパラメータを設定する必要がある。 本稿では、ハイパーパラメータのインタラクティブな探索と、この進化過程への介入を支援するビジュアル分析ツールVisEvolを紹介する。 VisEvolの実用性と適用性は,2つのユースケースと,ツールの有効性を評価するML専門家へのインタビューで実証された。
  論文  参考訳（メタデータ） (2020-12-02T13:43:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。