論文の概要: Simplex-Constrained Sparse Bagging: Transitioning from Uniform Priors to Sparse Posteriors in Ensemble Learning

• arxiv url: http://arxiv.org/abs/2606.13589v1
• Date: Thu, 11 Jun 2026 17:11:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-12 15:55:27.940209
• Title: Simplex-Constrained Sparse Bagging: Transitioning from Uniform Priors to Sparse Posteriors in Ensemble Learning
• Title（参考訳）: 単純制約スパースバッグング:アンサンブル学習における一様前処理からスパース後処理への遷移
• Authors: Meher Sai Preetam, Meher Bhaskar,
• Abstract要約: 本報告では,SCSB(Simplex-Constrained Sparse Bagging)を後処理圧縮と確率校正のための厳密な枠組みとして提示する。 SCSBはモデルに依存しないため、最大96%のアンサンブル圧縮を実現し、線形推論の高速化とより優れた確率校正を実現している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present Simplex-Constrained Sparse Bagging (SCSB), a mathematically rigorous framework for post-training compression and probability calibration of bootstrap-based bagging ensembles. Standard bagging ensembles (such as Random Forests, Bagged SVMs, and Bagged Neural Networks) assign uniform voting power to all constituent estimators. However, this naive uniform prior ignores the varying local competence of base estimators and contributes to model overconfidence. We formulate ensemble pruning and calibration as a joint optimization problem over the probability simplex by minimizing the Out-Of-Bag (OOB) loss. To induce sparsity, we address the theoretical "L1-simplex paradox" -- the mathematical reality that the L1 norm is constant on the simplex and fails to prune -- by introducing a concave quadratic penalty. SCSB is model-agnostic and achieves up to 96% ensemble compression, yielding linear inference speedups and superior probability calibration (lowered Expected Calibration Error) while preserving or enhancing generalization accuracy.
• Abstract（参考訳）: ブートストラップ型バッグアンサンブルのポストトレーニング圧縮と確率校正のための数学的に厳密なフレームワークであるSimplex-Constrained Sparse Bagging (SCSB)を提案する。 標準バッグングアンサンブル(ランダムフォレスト、タグ付きSVM、タグ付きニューラルネットワークなど)は、すべての構成推定器に均一な投票力を割り当てる。 しかし、この単純なユニフォームは、基底推定器の様々な局所的な能力を無視し、モデルの過信に寄与する。 我々は,Of-Bag(OOB)損失を最小化することにより,確率単純度に対するアンサンブルプルーニングとキャリブレーションを共同最適化問題として定式化する。 スパーシリティを誘導するために、コンケーブ2次ペナルティを導入することによって、L1ノルムが単純体上で定数であり、発散しないという数学的現実である「L1-simplex paradox」を論じる。 SCSBはモデルに依存しないため、最大96%のアンサンブル圧縮を実現し、線形推論スピードアップとより優れた確率キャリブレーション(より低い予測キャリブレーション誤差)を出力し、一般化精度を保留または向上する。

関連論文リスト

• Why Self-Supervised Encoders Want to Be Normal [0.0]
  自己教師型エンコーダにおける正規分布の優先性は,インフォメーション・ボトルネック(IB)の原理の直接的な帰結であることを示す。 この枠組みでは、潜在表現は、類似の予測分布を共有する入力のソフトクラスタリングに対応することを示す。 この観点は、広く使われている正規化スキームに対する原則的な説明として、教師付きおよび教師なしの目的を広範囲に統一する。
  論文  参考訳（メタデータ） (2026-04-30T11:33:05Z)
• Learning from Emptiness: De-biasing Listwise Rerankers with Content-Agnostic Probability Calibration [76.08899010904652]
  CapCalは、ランキング決定から位置バイアスを機械的に分離する、トレーニング不要のフレームワークである。 シングルパス効率を保ちながら、トレーニング不要の手法で優れた性能を発揮する。
  論文  参考訳（メタデータ） (2026-04-11T10:47:22Z)
• LoBoost: Fast Model-Native Local Conformal Prediction for Gradient-Boosted Trees [3.4988194836573894]
  LoBoostは、マルチスケールキャリブレーショングループを定義するために、アンサンブルの葉構造を再利用するモデルネイティブな局所共形法である。 実験では、競合するインターバル品質、ほとんどのデータセットでのテストMSEの改善、大きなキャリブレーションスピードアップが示されている。
  論文  参考訳（メタデータ） (2026-02-25T21:44:19Z)
• Stability and Generalization of Push-Sum Based Decentralized Optimization over Directed Graphs [55.77845440440496]
  プッシュベースの分散通信は、情報交換が非対称である可能性のある通信ネットワークの最適化を可能にする。 我々は、グラディエント・プッシュ(SGP)アルゴリズムのための統一的な一様安定性フレームワークを開発する。 重要な技術的要素は、2つの量に束縛された不均衡認識の一般化である。
  論文  参考訳（メタデータ） (2026-02-24T05:32:03Z)
• Learnable Chernoff Baselines for Inference-Time Alignment [64.81256817158851]
  本稿では,指数関数的に傾いたカーネルから効率よく,およそサンプリングする方法として,Learnerable Chernoff Baselinesを紹介した。 理想的なモデルに対する全変量保証を確立し、LCBサンプリングが理想的拒絶サンプリングと密接に一致するような連続的および離散的な拡散設定を実証する。
  論文  参考訳（メタデータ） (2026-02-08T00:09:40Z)
• Post-Hoc Split-Point Self-Consistency Verification for Efficient, Unified Quantification of Aleatoric and Epistemic Uncertainty in Deep Learning [5.996056764788456]
  不確実性定量化(UQ)は、信頼できる深層学習には不可欠であるが、既存の手法は計算集約的であるか、タスク固有の部分的な見積もりのみを提供する。 本研究では,事前訓練したモデルの変更や再訓練を伴わずに,アレタリックおよびてんかんの不確実性を共同でキャプチャするポストホック・シングルフォワード・パス・フレームワークを提案する。 提案手法は,EmphSplit-Point Analysis (SPA) を用いて,予測残差を上下サブセットに分解し,各側でEmphMean Absolute Residuals (MAR) を演算する。
  論文  参考訳（メタデータ） (2025-09-16T17:16:01Z)
• Batched Nonparametric Bandits via k-Nearest Neighbor UCB [0.0]
  バッチ化された非パラメトリックな文脈的包帯における逐次的意思決定について検討する。 適応的k-アネレスト近傍(k-NN)回帰と上位信頼境界(UCB)の原理を組み合わせた非パラメトリックアルゴリズムを提案する。 提案手法であるBaNk-UCBは完全に非パラメトリックであり,コンテキスト次元に適応し,実装が簡単である。
  論文  参考訳（メタデータ） (2025-05-15T17:00:51Z)
• Distributional Reinforcement Learning via Moment Matching [54.16108052278444]
  ニューラルネットワークを用いて各戻り分布から統計量の有限集合を学習する手法を定式化する。 我々の手法は、戻り分布とベルマン目標の間のモーメントの全ての順序を暗黙的に一致させるものとして解釈できる。 Atariゲームスイートの実験により,本手法は標準分布RLベースラインよりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-07-24T05:18:17Z)
• Distribution-free binary classification: prediction sets, confidence intervals and calibration [106.50279469344937]
  分布自由条件における二項分類のための不確実性定量化(キャリブレーション、信頼区間、予測セット)の3つの概念について検討する。 固定幅と一様質量の両双対の双対確率に対する信頼区間を導出する。 我々の「三脚」定理の結果として、双有理確率に対するこれらの信頼区間は分布自由キャリブレーションに繋がる。
  論文  参考訳（メタデータ） (2020-06-18T14:17:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。