論文の概要: Reducing Learner Redundancy in Boosting via Residual Orthogonalization
- arxiv url: http://arxiv.org/abs/2606.17567v1
- Date: Tue, 16 Jun 2026 06:13:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-17 17:15:32.304897
- Title: Reducing Learner Redundancy in Boosting via Residual Orthogonalization
- Title（参考訳）: 残留直交化によるブースティングにおける学習者の冗長性低減
- Authors: Ye Su, Jipeng Guo, Yong Liu, Xin Xu, Gangchun Zhang, Jinxin Chen, Di Wu, Longlong Zhao,
- Abstract要約: 我々のフレームワークは、スペクトル残留射影(SRP)と共分散規則重み付け(CRW)の2つの相補的なメカニズムを通して冗長性に取り組む。
10のベンチマークデータセットに対する実験は、SCBoostが強力なアウトオブボックスパフォーマンスを提供することを示している。
この研究は、幾何レンズによるブースティングを再解釈し、明示的な冗長性制御がより効率的なアンサンブルアーキテクチャに向けた原則的で必要なステップであることを示唆している。
- 参考スコア（独自算出の注目度）: 18.700465769971434
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While sequential residual fitting is the bedrock of standard boosting frameworks, it inherently breeds learner redundancy by repeatedly revisiting correlated error components. To address this bottleneck, we propose a shift from residual fitting to \textit{residual orthogonalization} and introduce SCBoost. Our framework tackles redundancy through two complementary mechanisms: Spectral Residual Projection (SRP) and Covariance-Regularized Weighting (CRW). During training, SRP projects each residual target onto the orthogonal complement of the historical prediction subspace, forcing successive learners to capture only novel empirical innovations. During aggregation, CRW optimizes ensemble weights on a validation set with an explicit covariance penalty to mitigate remaining correlations. Theoretically, we provide a finite-sample geometric characterization proving that SRP yields an exact additive residual-energy decomposition. Furthermore, under an isotropic-noise assumption, we rigorously establish the conditions under which this projection improves the effective Signal-to-Noise Ratio. Extensive experiments across ten benchmark datasets demonstrate that SCBoost delivers strong out-of-the-box performance, particularly in accuracy and F1 score. This work reinterprets boosting through a geometric lens, suggesting that explicit redundancy control is a principled and necessary step toward more efficient ensemble architectures.
- Abstract（参考訳）: シーケンシャルな残留フィッティングは標準的なブースティングフレームワークの基盤となるが、本質的には相関するエラーコンポーネントを再考することによって学習者の冗長性を育む。
このボトルネックに対処するために、残留フィッティングから \textit{residual orthogonalization} へのシフトを提案し、SCBoostを導入する。
本稿では,SRP(Spectral Residual Projection)とCRW(Covariance-Regularized Weighting)の2つの相補的なメカニズムを用いて冗長性に取り組む。
訓練中、SRPは各残留目標を歴史的予測部分空間の直交的補完に投射し、連続した学習者が新しい経験的革新を捉えることを余儀なくされた。
集約中、CRWは明確な共分散ペナルティを持つ検証セット上のアンサンブル重みを最適化し、残りの相関を緩和する。
理論的には、SRPが正確な加法的残留エネルギー分解をもたらすことを示す有限サンプル幾何学的特徴を与える。
さらに、等方的雑音の仮定の下で、この予測が効果的な信号対雑音比を改善する条件を厳格に確立する。
10のベンチマークデータセットにわたる大規模な実験により、SCBoostは、特に精度とF1スコアにおいて、強力なアウト・オブ・ザ・ボックスのパフォーマンスを提供することが示された。
この研究は、幾何レンズによるブースティングを再解釈し、明示的な冗長性制御がより効率的なアンサンブルアーキテクチャに向けた原則的で必要なステップであることを示唆している。
関連論文リスト
- Residual-Controlled Multiplier Learning for Stochastic Constrained Decision-Making [12.04727482907937]
CMLは、ミニバッチ条件下での一次フィードバック乗算器のノイズを追跡する問題に対処する。
乗算器を有限ゲイン乗算器と原始降下のための有効圧力信号に分解する。
論文 参考訳（メタデータ） (2026-06-05T09:35:22Z) - Supervised Distributional Reduction via Optimal Transport and Dependence Maximization [1.0499611180329804]
ターゲット認識表現を学習するアルゴリズムであるSupervised Distribution Reduction (SDR)を提案する。
SDRはFused Gromov-Wasserstein (FGW) の目的に基づいて構築され、入力分布のリレーショナル構造を代表点の集合と整列する。
SDRはデータ依存の非定常幾何学を自然に誘導し、ガウス過程(GP)モデリングのような設定に利用することができる。
論文 参考訳（メタデータ） (2026-05-26T19:38:20Z) - Energy-Structured Low-Rank Adaptation for Continual Learning [78.5390284258307]
textbfEnergy-Concentrated and textbfEnergy-Ordered textbfLow-textbfRank textbfAdaptation (E$2$-LoRA)を提案する。
E$2$-LoRAは、知識を明示的に順序付けして上位のランクに集約することにより、その後のタスクの容量を解放する。
論文 参考訳（メタデータ） (2026-05-26T12:55:02Z) - Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals [83.0127582612634]
Near-boundary Rescue (NSR) は最小限のプラグ・アンド・プレイの修正であり、失った信号を回復するために、アウト・オブ・バウンドトークンを保持する。
NSRはトレーニングの安定性を大幅に改善し、DAPOやGSPOといった強力なベースライン上で一貫したゲインを提供する。
論文 参考訳（メタデータ） (2026-05-21T16:45:31Z) - HIR-ALIGN: Enhancing Hyperspectral Image Restoration via Diffusion-Based Data Generation [50.46910397782266]
ハイパスペクトル画像(HSI)の復元は、ノイズ、ぼかし、分解能損失などの劣化に悩まされるため、信頼性の高い解析に不可欠である。
本稿では,HIR-ALIGNを提案する。HIR-ALIGNは,限られたトレーニング画像と,ターゲット分布と密に一致した合成データとを付加して,ハイパースペクトル画像の復元を促進するための,プラグアンドプレイのターゲット適応型拡張フレームワークである。
論文 参考訳（メタデータ） (2026-05-13T14:14:13Z) - Robust Low-Rank Tensor Completion based on M-product with Weighted Correlated Total Variation and Sparse Regularization [0.0]
低ランク用勾配テンソルの重み付きSchatten-$p$ノルムと、雑音抑制用スパース成分を組み合わせた重み付き相関型全変分器(TWCTV)レギュレータを導入する。
提案した重み付け方式は、支配的な特異値とスパース成分の両方を保持するために閾値レベルを適応的に低減する。
アルゴリズムの体系的アプローチを通じて,計算効率と理論的サブストラテテーションの両方を提供する乗算器の交互方向法(ADMM)を導入する。
論文 参考訳（メタデータ） (2026-04-15T06:20:28Z) - Taming the Instability: A Robust Second-Order Optimizer for Federated Learning over Non-IID Data [77.19117648492104]
We present Federated Robust Curvature Optimization (FedRCO), a novel second-order optimization framework designed to improve convergence speed and reduce communication cost。
FedRCOは、効率的な近似曲率と証明可能な安定性メカニズムを統合することで、これらの課題に対処する。
我々は,FedRCOが,最先端の1次法と2次法のどちらよりも高い精度と高速な収束を実現しつつ,多種多様な非IIDシナリオに対して優れたロバスト性を実現することを示す。
論文 参考訳（メタデータ） (2026-03-30T11:37:46Z) - Observationally Informed Adaptive Causal Experimental Design [55.998153710215654]
本稿では,観測モデルを基礎的先行として活用する新たなパラダイムであるアクティブ残留学習を提案する。
このアプローチは、実験的な焦点を、目標因果量の学習から、観察バイアスの補正に必要な残差を効率的に推定するへとシフトさせる。
合成および半合成ベンチマークの実験は、R-Designがベースラインを大幅に上回ることを示した。
論文 参考訳（メタデータ） (2026-03-04T06:52:37Z) - Evaluating the Efficiency of Latent Spaces via the Coupling-Matrix [0.5013248430919224]
本稿では,次元間の依存関係を直接定量化する冗長指数rho(C)を導入する。
低rho(C)は高い分類精度または低い再構成誤差を確実に予測する一方、高い冗長性は性能崩壊と関連付けられる。
木構造型Parzen Estimator (TPE) は低ロー領域を優先的に探索し,rho(C) がニューラルアーキテクチャ探索を誘導し,冗長性を考慮した正規化ターゲットとして機能することを示唆する。
論文 参考訳（メタデータ） (2025-09-08T03:36:47Z) - Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。
自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。
筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
論文 参考訳（メタデータ） (2024-07-11T10:35:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。