論文の概要: CORE-STACK+: Meta-Learning for Deep Stacked Generalization
- arxiv url: http://arxiv.org/abs/2609.26905v1
- Date: Tue, 22 Sep 2026 18:03:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 00:05:17.709186
- Title: CORE-STACK+: Meta-Learning for Deep Stacked Generalization
- Title（参考訳）: CORE-STACK+:Deep Stacked Generalizationのためのメタラーニング
- Abstract要約: スタックングヘテロジニアス視覚バックボーン(CNN、ViT、ハイブリッド)は、精度、校正、堅牢性のデファクトレシピである。
予測空間の多重コリンはメタラーナーのグラム行列を悪条件にし、重みの分散を膨らませ、薄い多様体上の脆い解を生成する。
ECEは、ホック後の温度スケーリングなしでディープアンサンブルよりも2.1タイムスで改善している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Stacking heterogeneous vision backbones (CNNs, ViTs, and hybrids) is the de facto recipe for accuracy, calibration, and robustness, yet two coupled pathologies limit its returns. Prediction-space multicollinearity ill-conditions the meta-learner's Gram matrix, inflating weight variance and producing brittle solutions on a thin manifold. Calibration collapse compounds constituent miscalibration through naive linear stacking, so adding more models can hurt expected calibration error (ECE). Existing remedies, ridge regularization, greedy selection, model soups, and SWAG address at most one of these issues, and none jointly target conditioning and calibration in heterogeneous prediction pools. We introduce CORE-STACK+, a preconditioning pipeline with four components: (i) a kernelized redundancy filter that removes non-linear inter-model dependencies invisible to Pearson correlation, using Centered Kernel Alignment (CKA) [23]; (ii) a $<15$K-parameter differentiable meta-feature gate that learns per-sample attention over ensemble statistics; (iii) a spectrum-adaptive Ridge penalty $lambda^{star}=lmax(Chat)/SNR(Chat)$ derived from a Marchenko-Pastur signal-noise decomposition, eliminating nested cross-validation; and (iv) a Laplace-approximate Bayesian blender replacing inverse-RMSE heuristics. We prove a PAC-Bayes excess-risk bound that, for the first time, jointly accounts for prediction-space redundancy and meta-learner capacity. Across six benchmarks, CORE-STACK+ delivers $+1.8\%$ top-1 on ImageNet-1K, $-4.2$ mCE on ImageNet-C, $+0.9$ mIoU on ADE20K, and $+1.3$ AP on COCO, while reducing retained models by 35-57% and inference FLOPs by up to $41%$. ECE improves $2.1\times$ over deep ensembles without post hoc temperature scaling.
- Abstract（参考訳）: スタックングヘテロジニアス視覚バックボーン(CNN、ViT、ハイブリッド)は、精度、校正、堅牢性のデファクトレシピである。
予測空間の多重線型性はメタラーナーのグラム行列を不条件にし、重みの分散を膨らませ、薄い多様体上の脆い解を生成する。
キャリブレーション崩壊化合物は、線形積層による誤校正を構成するため、より多くのモデルを追加することで、期待されるキャリブレーション誤差(ECE)を損なう可能性がある。
既存の改善、尾根規則化、欲求選択、モデルスープ、SWAGは、これらの問題の大部分に対処しており、不均一な予測プールにおける条件付けとキャリブレーションを共同で目標としていない。
4つのコンポーネントを持つプレコンディショニングパイプラインであるCORE-STACK+を紹介します。
(i)CKA(Centered Kernel Alignment, CKA)[23]を用いて、ピアソン相関に見えない非線形モデル間依存関係を除去するカーネル化冗長フィルタ
(ii) アンサンブル統計についてサンプルごとの注意を学習する,$<15$Kの微分可能なメタ機能ゲート
3) スペクトル適応型リッジペナルティ $lambda^{star}=lmax(Chat)/SNR(Chat)$ は、マルテンコ-パストゥル信号-ノイズ分解から派生し、ネストしたクロスバリデーションを排除し、
(iv)逆RMSEヒューリスティックスに代わるラプラス近似ベイズブレンダー。
我々はPAC-Bayes過剰リスク境界を初めて証明し、予測空間の冗長性とメタラーナー容量を共同で考慮した。
6つのベンチマークで、CORE-STACK+はImageNet-1Kで$+1.8\%$ top-1、ImageNet-Cで$-4.2$ mCE、ADE20Kで$+0.9$ mIoU、COCOで$+1.3$ APを提供し、保持モデルの35-57%削減、FLOPを最大41%値下げした。
ECEは、ホック後の温度スケーリングなしでディープアンサンブルよりも21\times$2.1\timesの改善を行う。
関連論文リスト
- Scaling-Score Conformal Prediction for Multi-Target Regression [0.42970700836450476]
マルチターゲット回帰は、複数の関連する出力を同時に予測するモデルを必要とする。
モデルに依存しないスケーリングスコアコンフォメーション法(コンポーネント単位の絶対残差のみを要求する)を提案する。
論文 参考訳（メタデータ） (2026-09-15T12:23:57Z) - Covariance Last-Layer Ensembles: Function-Space Diversity for Efficient Uncertainty Quantification [0.8803840644459077]
Cov-LLEは、ウェイト・オルソノーマル性が不可能な関数空間の多様性を復元し、マッチした$K$は深いアンサンブルの多様性と校正の多くを回復する。
OCを最終層アンサンブルと見なすと、検出器を2軸の分類に整理する。
論文 参考訳（メタデータ） (2026-07-26T21:56:02Z) - Depth-Efficient Quantum Topological Data Analysis for Regime-Specific Detection of Financial Stress [0.0]
パウリ相関最適化(PCE)の量子トポロジカルデータ解析への最初の適応について述べる。
Takensの埋め込みとVietoris-RipsによるS&P500リターンのフィルタリングから、ラプラシアン$0.8を抽出し、変分デフレを伴う連続PCE商としてnull空間カウントを再キャストする。
論文 参考訳（メタデータ） (2026-07-10T18:56:45Z) - Derivative Informed Learning of Exchange-Correlation Functionals [46.44973075720396]
機械学習 (ML) Exchange-correlation (XC) 関数は、人間の設計した密度関数近似を置き換えることを目的としている。
我々は,B3LYP/def2-SVPターゲットを再現するために,$mathcalO(N4)$-scaling ML-XC関数を訓練したハイブリッド蒸留条件について検討した。
本稿では、参照ハイブリッド関数からの付加情報を含む損失であるデリバティブインフォームドXC-ロス(DI-Loss)を紹介する。
論文 参考訳（メタデータ） (2026-06-02T23:07:54Z) - How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis [53.063298916923976]
r*(x) = *(langle *, xrangle)$ と $x sim N(0, I_d)$ でガウスの単一インデックスモデルでフィードバックを研究する。
まず、報酬重み付きサンプルから隠れた方向を*$で学習し、次に重み付きリッジ回帰により読み出し層に適合する2段階のニューラル報酬モデルを分析する。
論文 参考訳（メタデータ） (2026-05-23T22:00:38Z) - Adaptive Calibration in Non-Stationary Environments [44.81344039432424]
複数のキャリブレーション対策の下で適応的なキャリブレーション保証を実現するアルゴリズムの組を開発する。
我々の手法は先行研究(Hu et al., 2026, Luo et al., 2025)の上に構築され、基礎となる基底真理付近でより微細な分解を割り当てる予測空間の非一様分割を導入する。
論文 参考訳（メタデータ） (2026-05-12T04:06:40Z) - Tokens-per-Parameter Coverage Is Critical for Robust LLM Scaling Law Extrapolation [45.56738584872585]
ニューラルスケーリング法則は、パラメータカウント$N$とトークンカウント$D$のパワーロー関数として、言語モデルの損失を近似する。
本稿では,コリニア設計がガウス・ニュートン最小二乗問題に固有の不条件を生じさせることを示す。
これを4つのスケーリング法則形式に対して証明し、十分に条件付き推定に十分必要な閉形式TPP多様性閾値を導出する。
論文 参考訳（メタデータ） (2026-05-08T23:00:17Z) - Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。
任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。
本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
論文 参考訳（メタデータ） (2026-02-19T17:21:15Z) - AdamHD: Decoupled Huber Decay Regularization for Language Model Pre-Training [0.2578242050187029]
AdamHuberDecayはAdamWのドロップイン代替品で、$ell$ペナルティを分離したスムーズなHuberレギュレータで置き換える。
GPT-2 と GPT-3 の事前学習実験により,AdamHuberDecay は壁面時間で 10-15% の速度で収束することが示された。
論文 参考訳（メタデータ） (2025-11-18T18:08:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。