論文の概要: A General Weighting Theory for Ensemble Learning: Beyond Variance Reduction via Spectral and Geometric Structure

• arxiv url: http://arxiv.org/abs/2512.22286v1
• Date: Thu, 25 Dec 2025 08:51:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-30 22:37:29.960909
• Title: A General Weighting Theory for Ensemble Learning: Beyond Variance Reduction via Spectral and Geometric Structure
• Title（参考訳）: アンサンブル学習のための一般的な重み付け理論:スペクトルおよび幾何学的構造による可変化を超えて
• Authors: Ernest Fokoué,
• Abstract要約: 本稿では,アンサンブル学習のための一般的な重み付け理論を開発する。 我々は、仮説空間に作用する線型作用素としてアンサンブルを定式化する。 非一様構造重みが平均値よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Ensemble learning is traditionally justified as a variance-reduction strategy, explaining its strong performance for unstable predictors such as decision trees. This explanation, however, does not account for ensembles constructed from intrinsically stable estimators-including smoothing splines, kernel ridge regression, Gaussian process regression, and other regularized reproducing kernel Hilbert space (RKHS) methods whose variance is already tightly controlled by regularization and spectral shrinkage. This paper develops a general weighting theory for ensemble learning that moves beyond classical variance-reduction arguments. We formalize ensembles as linear operators acting on a hypothesis space and endow the space of weighting sequences with geometric and spectral constraints. Within this framework, we derive a refined bias-variance approximation decomposition showing how non-uniform, structured weights can outperform uniform averaging by reshaping approximation geometry and redistributing spectral complexity, even when variance reduction is negligible. Our main results provide conditions under which structured weighting provably dominates uniform ensembles, and show that optimal weights arise as solutions to constrained quadratic programs. Classical averaging, stacking, and recently proposed Fibonacci-based ensembles appear as special cases of this unified theory, which further accommodates geometric, sub-exponential, and heavy-tailed weighting laws. Overall, the work establishes a principled foundation for structure-driven ensemble learning, explaining why ensembles remain effective for smooth, low-variance base learners and setting the stage for distribution-adaptive and dynamically evolving weighting schemes developed in subsequent work.
• Abstract（参考訳）: アンサンブル学習は伝統的に分散還元戦略として正当化され、決定木のような不安定な予測器の強い性能を説明する。 しかし、この説明は本質的に安定な推定器から構築されたアンサンブル(スムースなスプライン、カーネルリッジ回帰、ガウス過程回帰、その他の正規化された再生されたカーネルヒルベルト空間(RKHS)法を含む)は考慮していない。 本稿では,古典的分散還元論を超えて,アンサンブル学習の一般的な重み付け理論を開発する。 我々は、仮説空間に作用する線型作用素としてアンサンブルを形式化し、幾何学的およびスペクトル的な制約で重み付け列の空間を与える。 この枠組みでは, 偏差減少が無視される場合でも, 近似幾何を再構成し, スペクトルの複雑さを再分配することにより, 非均一な構造的重みが平均値よりも優れることを示す, 偏差近似分解法を導出する。 本研究の主な成果は、構造重み付けが一様アンサンブルを確実に支配する条件を提供し、制約付き二次プログラムの解として最適な重み付けが生じることを示す。 古典的な平均化、積み重ね、そして最近提案されたフィボナッチに基づくアンサンブルは、幾何学的、準指数的、重み付け法則をさらに許容するこの統一理論の特別な場合として現れる。 全体として、この研究は構造駆動型アンサンブル学習の原則的基盤を確立し、なぜアンサンブルがスムーズで低分散ベースラーナーに有効であり続けるのかを説明し、その後の研究で開発された分布適応型および動的に進化する重み付けスキームのステージを設定する。

関連論文リスト

• An Equivariance Toolbox for Learning Dynamics [13.651450618432094]
  学習力学の1次制約と2次制約を結合した汎用等分散ツールボックスを開発した。 まず,保護法則と暗黙のバイアス関係を単一アイデンティティの特別な事例として統一する。 2階目では、曲率に関する構造予測を提供する。
  論文  参考訳（メタデータ） (2025-12-24T23:42:07Z)
• The Procrustean Bed of Time Series: The Optimization Bias of Point-wise Loss [53.542743390809356]
  本稿では,最適化バイアス(EOB)の期待に関する第一原理解析を提案する。 時間列が決定論的で構造化されるほど、ポイントワイドの損失関数によるバイアスがより厳しくなる。 本稿では,DFTとDWTの両原理を同時に実現する具体的ソリューションを提案する。
  論文  参考訳（メタデータ） (2025-12-21T06:08:22Z)
• Generalization Bounds of Surrogate Policies for Combinatorial Optimization Problems [53.03951222945921]
  我々はスムーズな(摂動された)ポリシーを解析し、線形オラクルが使用する方向に対して制御されたランダムな摂動を付加する。 我々の主な貢献は、過剰リスクを摂動バイアス、統計的推定誤差、最適化誤差に分解する一般化境界である。 車両のスケジューリングやスムーズ化がトラクタブルトレーニングと制御された一般化の両方を可能にしていることを示す。
  論文  参考訳（メタデータ） (2024-07-24T12:00:30Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Last-Iterate Convergence of Adaptive Riemannian Gradient Descent for Equilibrium Computation [52.73824786627612]
  本稿では,テクスト幾何学的強単調ゲームに対する新たな収束結果を確立する。 我々のキーとなる結果は、RGDがテクスト幾何学的手法で最終定位線形収束を実現することを示しています。 全体として、ユークリッド設定を超えるゲームに対して、幾何学的に非依存な最終点収束解析を初めて提示する。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• PAC-Chernoff Bounds: Understanding Generalization in the Interpolation Regime [6.645111950779666]
  本稿では,補間器の完全密度を示す分布依存型PAC-Chernoff境界を提案する。 我々は、ある補間子がなぜ例外的な一般化を示すのかを示す統一的な理論的枠組みを提示する。
  論文  参考訳（メタデータ） (2023-06-19T14:07:10Z)
• Optimization on manifolds: A symplectic approach [127.54402681305629]
  本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。 我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
  論文  参考訳（メタデータ） (2021-07-23T13:43:34Z)
• Towards Understanding Generalization via Decomposing Excess Risk Dynamics [13.4379473119565]
  一般化力学を解析してアルゴリズム依存境界(安定性など)を導出する。 ニューラルネットは、ノイズの嵌合時に緩やかな収束率を示すという観測から着想を得て、余剰リスクダイナミクスを分解することを提案する。 分解の枠組みの下では、新しい境界は安定性に基づく境界と一様収束境界よりも理論的および経験的証拠とよく一致している。
  論文  参考訳（メタデータ） (2021-06-11T03:42:45Z)
• On dissipative symplectic integration with applications to gradient-based optimization [77.34726150561087]
  本稿では,離散化を体系的に実現する幾何学的枠組みを提案する。 我々は、シンプレクティックな非保守的、特に散逸的なハミルトン系への一般化が、制御された誤差まで収束率を維持することができることを示す。
  論文  参考訳（メタデータ） (2020-04-15T00:36:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。