論文の概要: Residual Likelihood Forests
- arxiv url: http://arxiv.org/abs/2011.02086v1
- Date: Wed, 4 Nov 2020 00:59:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-29 21:30:24.004989
- Title: Residual Likelihood Forests
- Title(参考訳): 残留可能性森林
- Authors: Yan Zuo, Tom Drummond
- Abstract要約: 本稿では,Residual Likelihood Forests(RLF)と呼ばれる新たなアンサンブル学習手法を提案する。
我々の弱い学習者は、過去の学習者の文脈でグローバルな損失を用いて逐次最適化された条件付き確率を生成する。
Random Forests や Gradient Boosted Trees など,いくつかのアンサンブルアプローチと比較すると,RDF のパフォーマンスは大幅に向上している。
- 参考スコア(独自算出の注目度): 19.97069303172077
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents a novel ensemble learning approach called Residual
Likelihood Forests (RLF). Our weak learners produce conditional likelihoods
that are sequentially optimized using global loss in the context of previous
learners within a boosting-like framework (rather than probability
distributions that are measured from observed data) and are combined
multiplicatively (rather than additively). This increases the efficiency of our
strong classifier, allowing for the design of classifiers which are more
compact in terms of model capacity. We apply our method to several machine
learning classification tasks, showing significant improvements in performance.
When compared against several ensemble approaches including Random Forests and
Gradient Boosted Trees, RLFs offer a significant improvement in performance
whilst concurrently reducing the required model size.
- Abstract(参考訳): 本稿では,Residual Likelihood Forests (RLF)と呼ばれる新たなアンサンブル学習手法を提案する。
弱学習者は、事前学習者の文脈における大域的損失(観測データから測定される確率分布ではなく)を用いて逐次最適化された条件付き確率を生成し、乗算的に(加法ではなく)合成する。
これにより、強力な分類器の効率が向上し、モデル容量の点でよりコンパクトな分類器の設計が可能になる。
提案手法をいくつかの機械学習分類タスクに適用し,性能の大幅な向上を示す。
Random ForestsやGradient Boosted Treesといったいくつかのアンサンブルアプローチと比較すると、RDFは必要なモデルサイズを同時に削減しながら、パフォーマンスを大幅に改善する。
関連論文リスト
- Extension of Transformational Machine Learning: Classification Problems [0.0]
本研究では、薬物発見における変換機械学習(TML)の適用と性能について検討する。
メタ学習アルゴリズムであるTMLは、さまざまなドメインにまたがる共通属性の活用に優れています。
薬物発見プロセスは複雑で時間を要するが、予測精度の増大から大きな恩恵を受けることができる。
論文 参考訳(メタデータ) (2023-08-07T07:34:18Z) - Towards Compute-Optimal Transfer Learning [82.88829463290041]
我々は、事前訓練されたモデルのゼロショット構造化プルーニングにより、性能を最小限に抑えて計算効率を向上させることができると主張している。
その結果,事前訓練されたモデルの畳み込み畳み込みフィルタは,低計算条件下で20%以上の性能向上をもたらす可能性が示唆された。
論文 参考訳(メタデータ) (2023-04-25T21:49:09Z) - Deep Negative Correlation Classification [82.45045814842595]
既存のディープアンサンブル手法は、多くの異なるモデルをナビゲートし、予測を集約する。
深部負相関分類(DNCC)を提案する。
DNCCは、個々の推定器が正確かつ負の相関を持つ深い分類アンサンブルを生成する。
論文 参考訳(メタデータ) (2022-12-14T07:35:20Z) - A Mathematical Programming Approach to Optimal Classification Forests [1.0705399532413618]
本稿では,与えられた木を同時に構築する数学的最適化手法を提案する。
分類規則は、森林の樹木の中で最も頻繁に予測される分類をそれぞれの観察に割り当てることによって導かれる。
提案手法は,最先端木分類法と同等あるいは優れた性能を示す。
論文 参考訳(メタデータ) (2022-11-18T20:33:08Z) - ProBoost: a Boosting Method for Probabilistic Classifiers [55.970609838687864]
ProBoostは確率的分類器のための新しいブースティングアルゴリズムである。
各トレーニングサンプルの不確実性を使用して、最も困難で不確実なものを決定する。
これは、最も不確実性が高いと判明したサンプルに徐々に焦点をあてる配列を生成する。
論文 参考訳(メタデータ) (2022-09-04T12:49:20Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳(メタデータ) (2022-04-13T12:43:12Z) - Improving the Accuracy-Memory Trade-Off of Random Forests Via
Leaf-Refinement [6.967385165474138]
ランダムフォレスト(RF)は多くの機械学習応用において最先端の分野である。
本研究では,大きな木々のアンサンブルに対して,刈り込みによる改良効果は低下するが,刈り込みはRFよりも全体的な精度とメモリのトレードオフが優れていることを示す。
我々は,森林の葉ノードの勾配降下による予測を改良する,単純だが驚くほど効果的なアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-10-19T16:06:43Z) - Adaptive Optimizers with Sparse Group Lasso for Neural Networks in CTR
Prediction [19.71671771503269]
深層学習における適応の族にスパース群ラッソの正規化子を追加する新しいフレームワークを開発する。
理論的に凸な設定では,収束保証が確立される。
提案手法は, 極めて優れた性能, 高い競争性能を達成できる。
論文 参考訳(メタデータ) (2021-07-30T05:33:43Z) - Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。
GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。
本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
論文 参考訳(メタデータ) (2021-01-06T17:36:26Z) - Learning Diverse Representations for Fast Adaptation to Distribution
Shift [78.83747601814669]
本稿では,複数のモデルを学習する手法を提案する。
分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
論文 参考訳(メタデータ) (2020-06-12T12:23:50Z) - Sparsity in Optimal Randomized Classification Trees [3.441021278275805]
斜め切断に基づく疎い最適分類木を構築するための連続最適化手法を提案する。
空間性、すなわち局所性と大域性は、多面体ノルムの正規化によってモデル化される。
グリーディーアプローチと異なり、我々の分類精度の一部で容易に取引できる能力は、グローバル・スパシティーの獲得に寄与する。
論文 参考訳(メタデータ) (2020-02-21T09:09:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。