論文の概要: The Role of Hyperparameters in Predictive Multiplicity

• arxiv url: http://arxiv.org/abs/2503.13506v1
• Date: Thu, 13 Mar 2025 19:22:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-19 14:17:55.221610
• Title: The Role of Hyperparameters in Predictive Multiplicity
• Title（参考訳）: 予測多重性におけるハイパーパラメータの役割
• Authors: Mustafa Cavus, Katarzyna Woźnica, Przemysław Biecek,
• Abstract要約: 同じデータセットでトレーニングされた異なる機械学習モデルは、同じ入力に対して分岐予測を生成する。 これらの矛盾は、信用評価、雇用、医療診断などの高い評価の判断に深刻な影響を及ぼす可能性がある。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: This paper investigates the critical role of hyperparameters in predictive multiplicity, where different machine learning models trained on the same dataset yield divergent predictions for identical inputs. These inconsistencies can seriously impact high-stakes decisions such as credit assessments, hiring, and medical diagnoses. Focusing on six widely used models for tabular data - Elastic Net, Decision Tree, k-Nearest Neighbor, Support Vector Machine, Random Forests, and Extreme Gradient Boosting - we explore how hyperparameter tuning influences predictive multiplicity, as expressed by the distribution of prediction discrepancies across benchmark datasets. Key hyperparameters such as lambda in Elastic Net, gamma in Support Vector Machines, and alpha in Extreme Gradient Boosting play a crucial role in shaping predictive multiplicity, often compromising the stability of predictions within specific algorithms. Our experiments on 21 benchmark datasets reveal that tuning these hyperparameters leads to notable performance improvements but also increases prediction discrepancies, with Extreme Gradient Boosting exhibiting the highest discrepancy and substantial prediction instability. This highlights the trade-off between performance optimization and prediction consistency, raising concerns about the risk of arbitrary predictions. These findings provide insight into how hyperparameter optimization leads to predictive multiplicity. While predictive multiplicity allows prioritizing domain-specific objectives such as fairness and reduces reliance on a single model, it also complicates decision-making, potentially leading to arbitrary or unjustified outcomes.
• Abstract（参考訳）: 本稿では,同じデータセット上でトレーニングされた異なる機械学習モデルが同一入力に対して分岐予測を行う,予測多重度におけるハイパーパラメータの重要性について検討する。 これらの矛盾は、信用評価、雇用、医療診断などの高い評価の判断に深刻な影響を及ぼす可能性がある。 ベンチマークデータセット間の予測不一致の分布によって表されるように、ハイパーパラメータチューニングが予測多重度にどのように影響するかを調査するため、表層データ(Elastic Net、Decision Tree、k-Nearest Neighbor、Support Vector Machine、Random Forests、Extreme Gradient Boosting)で広く使用されている6つのモデルに注目した。 Elastic Netのラムダ、Support Vector Machinesのガンマ、Extreme Gradient Boostingのアルファといった重要なハイパーパラメータは、予測多重性を形作る上で重要な役割を果たし、しばしば特定のアルゴリズム内の予測の安定性を損なう。 21のベンチマークデータセットを用いた実験により,これらのハイパーパラメータのチューニングは顕著な性能向上をもたらすが,予測誤差も増大し,Extreme Gradient Boostingは高い差と相当な予測不安定を示した。 これは、パフォーマンス最適化と予測一貫性のトレードオフを強調し、任意の予測のリスクに関する懸念を提起する。 これらの結果は、ハイパーパラメータ最適化が予測多重性にどのように寄与するかについての洞察を与える。 予測的多重性は、公正性のようなドメイン固有の目的を優先順位付けし、単一のモデルへの依存を減らすことができるが、決定を複雑にし、任意の結果や不正な結果につながる可能性がある。

関連論文リスト

• Hyperparameter Importance Analysis for Multi-Objective AutoML [14.336028105614824]
  本稿では,多目的最適化タスクにおけるハイパーパラメータの重要性を評価するための最初の手法を提案する。 具体的には、目的のa-prioriスキャラライゼーションを計算し、異なる目的のトレードオフに対するハイパーパラメータの重要性を決定する。
  論文  参考訳（メタデータ） (2024-05-13T11:00:25Z)
• Overparameterized Multiple Linear Regression as Hyper-Curve Fitting [0.0]
  線形モデルは, モデル仮定に反する非線形依存が存在する場合でも, 正確な予測を生成することが証明された。 ハイパーカーブのアプローチは、予測変数のノイズに関する問題を正規化するのに特に適しており、モデルからノイズや「不適切な」予測子を取り除くのに使うことができる。
  論文  参考訳（メタデータ） (2024-04-11T15:43:11Z)
• Subject-specific Deep Neural Networks for Count Data with High-cardinality Categorical Features [1.2289361708127877]
  本稿では,ポアソンディープニューラルネットワークにガンマランダム効果を導入するための新しい階層的確率学習フレームワークを提案する。 提案手法は,固定パラメータの最大極大推定器とランダム効果の最適非バイアス予測器を同時に生成する。 最先端のネットワークアーキテクチャは、提案されたh-likelihoodフレームワークに容易に実装できる。
  論文  参考訳（メタデータ） (2023-10-18T01:54:48Z)
• Structured Radial Basis Function Network: Modelling Diversity for Multiple Hypotheses Prediction [51.82628081279621]
  多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。 構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。 この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
  論文  参考訳（メタデータ） (2023-09-02T01:27:53Z)
• Causality-oriented robustness: exploiting general additive interventions [3.871660145364189]
  本稿では因果性指向のロバスト性に着目し,不変勾配(DRIG)を用いた分布ロバスト性を提案する。 線形環境では、DRIGがデータ依存の分布シフトのクラスの中で頑健な予測を得られることを証明している。 我々は、予測性能をさらに向上させるために、半教師付きドメイン適応設定にアプローチを拡張した。
  論文  参考訳（メタデータ） (2023-07-18T16:22:50Z)
• Prediction-Oriented Bayesian Active Learning [51.426960808684655]
  予測情報ゲイン(EPIG)は、パラメータではなく予測空間における情報ゲインを測定する。 EPIGは、さまざまなデータセットやモデルにわたるBALDと比較して、予測パフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-04-17T10:59:57Z)
• Multivariate Probabilistic Regression with Natural Gradient Boosting [63.58097881421937]
  多変量予測分布の条件パラメータを非パラメトリックにモデル化したNatural Gradient Boosting (NGBoost) 手法を提案する。 提案手法は頑健で, 広範囲なチューニングを伴わず, 推定対象分布に対してモジュール構造であり, 既存の手法と比較して競争力がある。
  論文  参考訳（メタデータ） (2021-06-07T17:44:49Z)
• Probabilistic Gradient Boosting Machines for Large-Scale Probabilistic Regression [51.770998056563094]
  PGBM(Probabilistic Gradient Boosting Machines)は、確率的予測を生成する手法である。 既存の最先端手法と比較してPGBMの利点を実証的に示す。
  論文  参考訳（メタデータ） (2021-06-03T08:32:13Z)
• Probabilistic electric load forecasting through Bayesian Mixture Density Networks [70.50488907591463]
  確率的負荷予測(PLF)は、スマートエネルギーグリッドの効率的な管理に必要な拡張ツールチェーンの重要なコンポーネントです。 ベイジアン混合密度ネットワークを枠とした新しいPLFアプローチを提案する。 後方分布の信頼性と計算にスケーラブルな推定を行うため,平均場変動推定と深層アンサンブルを統合した。
  論文  参考訳（メタデータ） (2020-12-23T16:21:34Z)
• Ambiguity in Sequential Data: Predicting Uncertain Futures with Recurrent Models [110.82452096672182]
  逐次データによる曖昧な予測を扱うために,Multiple hypothesis Prediction(MHP)モデルの拡張を提案する。 また、不確実性を考慮するのに適した曖昧な問題に対する新しい尺度も導入する。
  論文  参考訳（メタデータ） (2020-03-10T09:15:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。