論文の概要: Are Ensembles Getting Better all the Time?

• arxiv url: http://arxiv.org/abs/2311.17885v2
• Date: Wed, 20 Mar 2024 13:36:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-21 22:17:48.042722
• Title: Are Ensembles Getting Better all the Time?
• Title（参考訳）: アンサンブルは常に改善されているか?
• Authors: Pierre-Alexandre Mattei, Damien Garreau,
• Abstract要約: アンサンブルが常に改善されていることは、考慮された損失関数が凸である場合に限る。 医用予測(ニューラルネットを用いたメラノーマ診断)と「魔法の群集」実験(今後の映画の評価)について概説する。
• 参考スコア（独自算出の注目度）: 24.442955229765957
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Ensemble methods combine the predictions of several base models. We study whether or not including more models always improves their average performance. This question depends on the kind of ensemble considered, as well as the predictive metric chosen. We focus on situations where all members of the ensemble are a priori expected to perform as well, which is the case of several popular methods such as random forests or deep ensembles. In this setting, we show that ensembles are getting better all the time if, and only if, the considered loss function is convex. More precisely, in that case, the average loss of the ensemble is a decreasing function of the number of models. When the loss function is nonconvex, we show a series of results that can be summarised as: ensembles of good models keep getting better, and ensembles of bad models keep getting worse. To this end, we prove a new result on the monotonicity of tail probabilities that may be of independent interest. We illustrate our results on a medical prediction problem (diagnosing melanomas using neural nets) and a "wisdom of crowds" experiment (guessing the ratings of upcoming movies).
• Abstract（参考訳）: アンサンブル法は、いくつかのベースモデルの予測を組み合わせる。 より多くのモデルを含む場合、平均性能が常に向上するかどうかを調査する。 この問題は、検討されたアンサンブルの種類と、選択された予測計量に依存する。 我々は,アンサンブルのすべてのメンバーが,ランダムな森林や深層アンサンブルといったいくつかの一般的な手法の場合において,先駆的な演奏を期待する状況に焦点をあてる。 この設定では、検討された損失関数が凸である場合にのみ、アンサンブルが常に良くなっていることを示す。 より正確には、アンサンブルの平均損失はモデルの数を減少させる関数である。 損失関数が非凸である場合、良いモデルのアンサンブルは良くなり、悪いモデルのアンサンブルは悪化し続けます。 この目的のために、独立な興味を持つ可能性のある尾確率の単調性に関する新しい結果が証明される。 本稿では,医療予測問題(ニューラルネットを用いたメラノーマ診断)と「群衆の知恵」実験(今後の映画の評価)について概説する。

関連論文リスト

• Prediction Instability in Machine Learning Ensembles [0.0]
  我々は、任意のアンサンブルが以下の予測不安定性の少なくとも1つの形式を示すことを示す定理を証明している。 基礎となるすべてのモデル間の合意を無視したり、基礎となるモデルが存在しない場合、その考えを変更したり、実際に予測することのないオプションを除外したりすることで、操作可能になります。 この分析はまた、特定のアンサンブルアルゴリズムから予測される特定の形の予測不安定性にも光を当てている。
  論文  参考訳（メタデータ） (2024-07-03T15:26:02Z)
• Confidence-Based Model Selection: When to Take Shortcuts for Subpopulation Shifts [119.22672589020394]
  モデル信頼度がモデル選択を効果的に導くことができるConfidence-based Model Selection (CosMoS)を提案する。 我々はCosMoSを,データ分散シフトのレベルが異なる複数のテストセットを持つ4つのデータセットで評価した。
  論文  参考訳（メタデータ） (2023-06-19T18:48:15Z)
• When are ensembles really effective? [49.37269057899679]
  分類タスクにおいて,アンサンブルが顕著な性能向上をもたらす時期について検討する。 平均誤差率に対して不一致率が大きくなると,アンサンブルにより性能が大幅に向上することを示す。 アンサンブルが実現し、大きなパフォーマンス改善をもたらすことのない、実践的なシナリオを特定します。
  論文  参考訳（メタデータ） (2023-05-21T01:36:25Z)
• Sharing pattern submodels for prediction with missing values [12.981974894538668]
  機械学習の多くのアプリケーションでは欠落値は避けられず、トレーニング中もテスト時にも課題が提示される。 パターンサブモデル(パターンサブモデル)と呼ばれる別の手法を提案する。これは、テスト時に欠落した値に対して、予測を堅牢にし、パターンサブモデルの予測力を維持または改善させる。
  論文  参考訳（メタデータ） (2022-06-22T15:09:40Z)
• Functional Ensemble Distillation [18.34081591772928]
  本研究では,効率的なモデルを用いて,アンサンブルの予測を最もよく蒸留する方法を検討する。 混合増量方式による簡易増量方式による蒸留モデルの学習により, 性能が著しく向上することが判明した。
  論文  参考訳（メタデータ） (2022-06-05T14:07:17Z)
• Uncertainty Estimation for Language Reward Models [5.33024001730262]
  言語モデルは、テキストコーパスの教師なしトレーニングからさまざまな能力を学ぶことができる。 人間がラベル付きデータを提供するよりも選択肢を選択する方が簡単であり、事前の作業はそのような選好比較から報酬モデルをトレーニングすることで最先端のパフォーマンスを達成した。 能動的学習とリスク-逆強化学習を用いてサンプル効率とロバスト性を向上させる不確実性推定によるこれらの問題に対処することを模索する。
  論文  参考訳（メタデータ） (2022-03-14T20:13:21Z)
• Causal Inference Under Unmeasured Confounding With Negative Controls: A Minimax Learning Approach [84.29777236590674]
  すべての共同設立者が観察されず、代わりに負の制御が利用可能である場合の因果パラメータの推定について検討する。 最近の研究は、2つのいわゆるブリッジ関数による同定と効率的な推定を可能にする方法を示している。
  論文  参考訳（メタデータ） (2021-03-25T17:59:19Z)
• Flexible Model Aggregation for Quantile Regression [92.63075261170302]
  量子回帰は、予測の不確実性を定量化する必要性によって動機付けられた統計学習の基本的な問題である。 条件付き量子モデルの任意の数を集約する手法について検討する。 この論文で検討するモデルはすべて、現代のディープラーニングツールキットに適合します。
  論文  参考訳（メタデータ） (2021-02-26T23:21:16Z)
• Characterizing Fairness Over the Set of Good Models Under Selective Labels [69.64662540443162]
  同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。 到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。 選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
  論文  参考訳（メタデータ） (2021-01-02T02:11:37Z)
• Ambiguity in Sequential Data: Predicting Uncertain Futures with Recurrent Models [110.82452096672182]
  逐次データによる曖昧な予測を扱うために,Multiple hypothesis Prediction(MHP)モデルの拡張を提案する。 また、不確実性を考慮するのに適した曖昧な問題に対する新しい尺度も導入する。
  論文  参考訳（メタデータ） (2020-03-10T09:15:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。