論文の概要: On Subagging Boosted Probit Model Trees
- arxiv url: http://arxiv.org/abs/2311.02827v1
- Date: Mon, 6 Nov 2023 02:22:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-07 15:37:37.487225
- Title: On Subagging Boosted Probit Model Trees
- Title（参考訳）: 昇華促進プロビットモデル木について
- Authors: Tian Qin, Wei-Min Huang
- Abstract要約: 分類問題に対して,SBPMTというハイブリッドなバギングブースティングアルゴリズムを設計する。
SBPMTの強化部分として,AdaBoostプロシージャにおけるベース分類器として,Probit Model Tree (PMT) と呼ばれる新しいツリーモデルを提案する。
袋詰め部では、ブースティングの各ステップでデータセットからサブサンプリングするのではなく、サブタグ付きデータセットでブーストされたPMTを実行する。
- 参考スコア（独自算出の注目度）: 8.580054721729473
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the insight of variance-bias decomposition, we design a new hybrid
bagging-boosting algorithm named SBPMT for classification problems. For the
boosting part of SBPMT, we propose a new tree model called Probit Model Tree
(PMT) as base classifiers in AdaBoost procedure. For the bagging part, instead
of subsampling from the dataset at each step of boosting, we perform boosted
PMTs on each subagged dataset and combine them into a powerful "committee",
which can be viewed an incomplete U-statistic. Our theoretical analysis shows
that (1) SBPMT is consistent under certain assumptions, (2) Increase the
subagging times can reduce the generalization error of SBPMT to some extent and
(3) Large number of ProbitBoost iterations in PMT can benefit the performance
of SBPMT with fewer steps in the AdaBoost part. Those three properties are
verified by a famous simulation designed by Mease and Wyner (2008). The last
two points also provide a useful guidance in model tuning. A comparison of
performance with other state-of-the-art classification methods illustrates that
the proposed SBPMT algorithm has competitive prediction power in general and
performs significantly better in some cases.
- Abstract（参考訳）: 分散バイアス分解の知見を用いて、分類問題に対するSBPMTと呼ばれる新しいハイブリッドバッグリングブースティングアルゴリズムを設計する。
SBPMTの強化部分として,AdaBoostプロシージャにおけるベース分類器として,Probit Model Tree (PMT) と呼ばれる新しいツリーモデルを提案する。
バッグング部では、ブースティングの各ステップでデータセットからサブサンプリングする代わりに、サブタグ付きデータセットでブーストされたPMTを実行し、それを強力な"コミット"に組み合わせ、不完全なU統計を見ることができます。
理論的解析により,(1)sbpmtは一定の仮定の下で一貫性があり,(2)サブアグタイムの増加はsbpmtの一般化誤差をある程度低減し,(3)pmtの多くのプロビットブースト反復は,adaboost部分の歩数が少なくsbpmtの性能向上に寄与することが示された。
これら3つの性質は Mease and Wyner (2008) によって設計された有名なシミュレーションによって検証される。
最後の2つのポイントは、モデルチューニングにおける有用なガイダンスも提供する。
他の最先端の分類手法との比較により,提案アルゴリズムは一般に競争予測能力を有し,性能が著しく向上していることを示す。
関連論文リスト
- Revisiting BPR: A Replicability Study of a Common Recommender System Baseline [78.00363373925758]
我々は,BPRモデルの特徴を考察し,その性能への影響を示し,オープンソースのBPR実装について検討する。
分析の結果,これらの実装とオリジナルのBPR論文の矛盾が明らかとなり,特定の実装に対して最大50%の性能低下がみられた。
BPRモデルは、トップnのレコメンデーションタスクにおける最先端メソッドに近いパフォーマンスレベルを達成でき、特定のデータセット上でもパフォーマンスが向上することを示す。
論文 参考訳（メタデータ） (2024-09-21T18:39:53Z) - Improving Tree Probability Estimation with Stochastic Optimization and Variance Reduction [11.417249588622926]
サブスプリットベイズネットワーク(SBN)は木確率推定のための強力な確率的グラフィカルモデルを提供する。
現在、SBNパラメータの学習に使われている期待値(EM)法は、大きなデータセットまでスケールしない。
本稿では,SBNを学習するための計算効率のよい方法をいくつか紹介し,分散化が性能向上の鍵となることを示す。
論文 参考訳（メタデータ） (2024-09-09T02:22:52Z) - BMRS: Bayesian Model Reduction for Structured Pruning [9.508747319738847]
構造化プルーニングの完全エンドツーエンドベイズ手法を提案する。
BMRSは、ニューラルネットワークの構造的プルーニングに対する理論的に基礎的なアプローチを提供する。
論文 参考訳（メタデータ） (2024-06-03T14:08:04Z) - SelfSeg: A Self-supervised Sub-word Segmentation Method for Neural
Machine Translation [51.881877192924414]
サブワードセグメンテーションはニューラルマシン翻訳(NMT)に不可欠な前処理ステップである
本稿では,自己教師型ニューラルネットワークサブワードセグメンテーション手法であるSelfSegを紹介する。
SelfSegはトレーニング/デコードがはるかに高速で、並列コーパスの代わりに単言語辞書のみを必要とする。
論文 参考訳（メタデータ） (2023-07-31T04:38:47Z) - PTP: Boosting Stability and Performance of Prompt Tuning with
Perturbation-Based Regularizer [94.23904400441957]
損失景観を平滑化できる摂動型正規化器を即時チューニングに導入する。
我々は乱数ノイズベースと逆数ベースを含む2種類の摂動型正規化器を設計する。
我々の新しいアルゴリズムは,SuperGLUEベンチマークとFewGLUEベンチマークでそれぞれ1.94%,2.34%の最先端のプロンプトチューニング手法を改善した。
論文 参考訳（メタデータ） (2023-05-03T20:30:51Z) - Efficient LSTM Training with Eligibility Traces [0.5801044612920815]
リカレントニューラルネットワークのトレーニングは、時間によるバックプロパゲーション(BPTT)によって主に達成される
BPTTのより効率的で生物学的に有望な代替手段はe-propである。
教師あり学習のための2つのベンチマークにおいて,e-prop は BPTT と比較することにより,LSTM に適した最適化アルゴリズムであることを示す。
論文 参考訳（メタデータ） (2022-09-30T14:47:04Z) - ProBoost: a Boosting Method for Probabilistic Classifiers [55.970609838687864]
ProBoostは確率的分類器のための新しいブースティングアルゴリズムである。
各トレーニングサンプルの不確実性を使用して、最も困難で不確実なものを決定する。
これは、最も不確実性が高いと判明したサンプルに徐々に焦点をあてる配列を生成する。
論文 参考訳（メタデータ） (2022-09-04T12:49:20Z) - Bayesian Pseudo Labels: Expectation Maximization for Robust and
Efficient Semi-Supervised Segmentation [5.395988148252077]
本稿では,予測最大化(EM)アルゴリズムとして擬似ラベリングの新たな定式化について述べる。
そこで本研究では,従来の擬似ラベリング,すなわちSegPLに基づく半教師付き医用画像分割手法を提案する。
論文 参考訳（メタデータ） (2022-08-08T21:33:43Z) - BiBERT: Accurate Fully Binarized BERT [69.35727280997617]
BiBERTは、パフォーマンスボトルネックを取り除くために、正確に2項化されたBERTである。
提案手法は,FLOPとモデルサイズで56.3回,31.2回節約できる。
論文 参考訳（メタデータ） (2022-03-12T09:46:13Z) - FSPN: A New Class of Probabilistic Graphical Model [37.80683263600885]
確率的グラフィカルモデル(PGM)の新しいクラスである分解和分割積ネットワーク(FSPN)を導入する。
FSPNは推定精度と推定効率の点で既存のPGMの欠点を克服するように設計されている。
本研究では、FSPNに対する効率的な確率推定と構造学習アルゴリズムと、理論解析と広範囲な評価証拠について述べる。
論文 参考訳（メタデータ） (2020-11-18T01:11:55Z) - A Generic First-Order Algorithmic Framework for Bi-Level Programming
Beyond Lower-Level Singleton [49.23948907229656]
Bi-level Descent Aggregationは、汎用的な双方向最適化のためのフレキシブルでモジュール化されたアルゴリズムフレームワークである。
LLS条件なしでBDAの収束を証明する新しい手法を導出する。
我々の研究は、BDAが特定の一階計算モジュールの検証と互換性があることも示している。
論文 参考訳（メタデータ） (2020-06-07T05:18:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。