論文の概要: Hierarchical Empirical-Bayes Naive Bayes: Minimax Smoothing and Calibration with AODE Extension

• arxiv url: http://arxiv.org/abs/2608.11162v1
• Date: Tue, 11 Aug 2026 17:21:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-12 19:14:46.134372
• Title: Hierarchical Empirical-Bayes Naive Bayes: Minimax Smoothing and Calibration with AODE Extension
• Title（参考訳）: Hierarchical Empirical-Bayes Naive Bayes: Minimax Smoothing and Calibration with AODE Extension
• Abstract要約: 階層的経験的ベイズ・ネイブベイズ(HEB-NB)を提案する。 各クラス特徴条件確率は、データ順応的に学習されるディリクレによって滑らか化される。 31のUCIとOpenMLベンチマークで、HEB-NBは確率的指標でFriedmanランキングで最高の成績を収めている。
• 参考スコア（独自算出の注目度）: 2.423836984571605
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Naive Bayes (NB) classifier remains a standard choice for categorical data, yet its widely used smoothing rules, such as Laplace, Lidstone, Krichevsky-Trofimov, and the $m$-estimate, all prescribe a fixed smoothing strength that ignores feature cardinality, sample size, and class imbalance, inducing a non-vanishing bias on modern high-cardinality tabular data. We propose hierarchical empirical-Bayes Naive Bayes (HEB-NB), in which each class-feature conditional probability is smoothed by a Dirichlet prior whose concentration is learned data-adaptively via Type-II maximum likelihood, enabling principled information sharing across classes while retaining closed-form inference. We further introduce HEB average one-dependence estimators (HEB-AODE), showing that the adaptive smoothing transfers cleanly to structural relaxations of NB. Theoretically, we establish a non-asymptotic $\ell_1$ error bound for HEB-NB matching the empirical-distribution minimax rate plus a vanishing data-adaptive bias, together with a matching Laplace-tight lower bound that yields a finite-sample, risk-level strict separation from Laplace. We further derive a plug-in excess Bayes-risk bound via total-variation tensorization and a population top-1 expected calibration error (ECE) corollary. Empirically, across 31 UCI and OpenML benchmarks, HEB-NB attains the best average Friedman rank on probabilistic metrics, with up to 22.1% log-loss reductions on high-cardinality datasets and consistent improvements of HEB-AODE over vanilla AODE. Combining HEB-NB with mutual-information weighting reduces top-1 ECE by 41%-70%, demonstrating substantial gains in probabilistic accuracy and calibration.
• Abstract（参考訳）: ネイブベイズ(NB)分類器は、分類データの標準的な選択であるが、Laplace, Lidstone, Krichevsky-Trofimov, and the $m$-estimateといった広く使われている滑らかな規則は、特徴濃度、サンプルサイズ、クラス不均衡を無視する固定な滑らかな強度を規定し、現代の高次の表型データに非消滅バイアスをもたらす。 本研究では, 階層的な経験的ベイズ・ネイブベイズ(HEB-NB)を提案する。これは, 閉形式推論を維持しつつ, クラス間での原則的情報共有を可能にする。 さらにHEB-AODE (HEB average one-dependence estimator) を導入し, 適応的平滑化はNBの構造緩和にきれいに作用することを示した。 理論的には、経験的分布最小値と消失するデータ適応バイアスに対応するHEB-NBの非漸近的$\ell_1$エラー境界と、ラプラスから有限のリスクレベル厳密な分離をもたらすLaplace-tightローバウンドとを確立する。 さらに,全変分テンソル化と人口トップ1のキャリブレーション誤差(ECE)による過剰なベイズリスク境界の導出を行う。 実証的には、31のUCIベンチマークとOpenMLベンチマークで、EB-NBは確率的指標でFriedmanランキングで最高の成績を収め、22.1%のログロス削減とバニラAODEよりも一貫したHEB-AODEの改善を実現している。 HEB-NBと相互情報重み付けを組み合わせることで、トップ1ECEは41%-70%減少し、確率的精度とキャリブレーションが著しく向上した。

関連論文リスト

• The Role of Gradient Modification in Heavy-Tailed Nonconvex Stochastic Min-Max Optimization [50.59470683896735]
  min-max最適化は、現代の機械学習に応用されているため、注目を集めている。 我々は、勾配降下(SGDA)の包括的理論を提供する。 我々は,Stoc-GDAMとStoc-TRmaxという新たなクリッピングフリーアルゴリズムを開発し,グラディエントクリッピングを使わずに,目標精度への最適依存を実現する。
  論文  参考訳（メタデータ） (2026-09-05T12:49:28Z)
• K-ABENA: K-Adaptive Backpropagation with Error-based N-exclusion Algorithm : (Compensated Loss-Based Sample Exclusion with Unbiased Gradient Estimation) [0.0]
  K-ABENAK-Adaptive Backpropagation with Error-based N-exclusionは選択的な計算フレームワークである。 これは、少量の低損失("ミニ")観測を除外することで、イット当たりの計算トレーニングコストを削減する。 ラベル制限下で0.386の精度(ベースライン:0.832)、極端な不均衡下で0.53のAUCに崩壊する。
  論文  参考訳（メタデータ） (2026-07-07T06:58:51Z)
• Functional Bilevel Optimization for Predictive Fairness [25.649081304879218]
  本稿では, DPVar による人口統計学的同値性, センシティブな属性による条件平均予測のばらつきについて考察し, その最適化が機能的二段階問題をもたらすことを示す。 この問題に対して,2つのアルゴリズムを提案する: FBO, 正方形の随伴体を用いて, 正方形空間を正確に過次的に得るために導出する FBO と, 回転しない内部ステップで微分し, 正方形の損失を超えて拡張する ITD である。
  論文  参考訳（メタデータ） (2026-07-06T13:56:16Z)
• Direct Bethe Free Energy Minimization for Bayesian Neural Network [0.0]
  我々は,変分下界を最大化するのではなく,Bethe自由エネルギーを直接最小化してベイズニューラルネットワークを訓練することを提案する。 木構造因子グラフ上では、Bethe自由エネルギーは正確であり、決定論的層は目的から外れ、標準のバックプロパゲーションによって訓練される。 すべての変種は、アンサンブルやサンプリングベースの手法とは対照的に、MAP等価な推論コストで閉形式予測を許容する。
  論文  参考訳（メタデータ） (2026-05-08T20:12:48Z)
• Classifier Calibration at Scale: An Empirical Study of Model-Agnostic Post-Hoc Methods [0.0]
  教師付き二項分類における確率的予測を改善するためのモデル非依存のポストホック校正法について検討した。 我々は、線形モデル、SVM、ツリーアンサンブル(CatBoost、XGBoost、LightGBM)を含む21の広く使われている分類器をベンチマークした。 一般的な校正手順,特にプラットスケーリングと等調回帰は,適切なスコアリング性能を体系的に低下させる可能性がある。
  論文  参考訳（メタデータ） (2026-01-19T18:23:36Z)
• Unregularized Linear Convergence in Zero-Sum Game from Preference Feedback [50.89125374999765]
  NLHFにおける最適乗算重み更新(mathtOMWU$)に対する最初の収束保証を提供する。 本分析では, 稀に発生する行動の確率が指数関数的に小さい値から指数関数的に増大する新たな限界収束挙動を同定する。
  論文  参考訳（メタデータ） (2025-12-31T12:08:29Z)
• Minimum-Risk Recalibration of Classifiers [9.31067660373791]
  平均二乗誤差分解の枠組みにおいて,最小リスク再校正の概念を導入する。 校正分類器の転送には,スクラッチから再校正するのに比べて,ターゲットサンプルが著しく少ないことが示されている。
  論文  参考訳（メタデータ） (2023-05-18T11:27:02Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• Evaluating State-of-the-Art Classification Models Against Bayes Optimality [106.50867011164584]
  正規化フローを用いて学習した生成モデルのベイズ誤差を正確に計算できることを示す。 われわれの手法を用いて、最先端の分類モデルについて徹底的な調査を行う。
  論文  参考訳（メタデータ） (2021-06-07T06:21:20Z)
• Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
  本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。 提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。 我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
  論文  参考訳（メタデータ） (2020-11-05T08:04:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。