論文の概要: RocketStack: A level-aware deep recursive ensemble learning framework with exploratory feature fusion and model pruning dynamics

• arxiv url: http://arxiv.org/abs/2506.16965v1
• Date: Fri, 20 Jun 2025 12:52:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:05.45093
• Title: RocketStack: A level-aware deep recursive ensemble learning framework with exploratory feature fusion and model pruning dynamics
• Title（参考訳）: RocketStack: 探索的特徴融合とモデルプルーニングダイナミクスを備えたレベル対応深層再帰型アンサンブル学習フレームワーク
• Authors: Çağatay Demirel,
• Abstract要約: RocketStackは、レベルの認識された再帰的なアンサンブルフレームワークである。 各レベルでより弱い学習者を徐々に引き起こし、過剰な複雑さを伴わずにより深い積み重ねを可能にします。 33のデータセットのうち、線形トレンド試験では、ほとんどの変種で深度で精度が上昇したことが確認された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Ensemble learning remains a cornerstone of machine learning, with stacking used to integrate predictions from multiple base learners through a meta-model. However, deep stacking remains rare, as most designs prioritize horizontal diversity over recursive depth due to model complexity, feature redundancy, and computational burden. To address these challenges, RocketStack, a level-aware recursive ensemble framework, is introduced and explored up to ten stacking levels, extending beyond prior architectures. The framework incrementally prunes weaker learners at each level, enabling deeper stacking without excessive complexity. To mitigate early performance saturation, mild Gaussian noise is added to out-of-fold (OOF) scores before pruning, and compared against strict OOF pruning. Further both per-level and periodic feature compressions are explored using attention-based selection, Simple, Fast, Efficient (SFE) filter, and autoencoders. Across 33 datasets (23 binary, 10 multi-class), linear-trend tests confirmed rising accuracy with depth in most variants, and the top performing meta-model at each level increasingly outperformed the strongest standalone ensemble. In the binary subset, periodic SFE with mild OOF-score randomization reached 97.08% at level 10, 5.14% above the strict-pruning configuration and cut runtime by 10.5% relative to no compression. In the multi-class subset, periodic attention selection reached 98.60% at level 10, exceeding the strongest baseline by 6.11%, while reducing runtime by 56.1% and feature dimensionality by 74% compared to no compression. These findings highlight mild randomization as an effective regularizer and periodic compression as a stabilizer. Echoing the design of multistage rockets in aerospace (prune, compress, propel) RocketStack achieves deep recursive ensembling with tractable complexity.
• Abstract（参考訳）: アンサンブル学習は、メタモデルを通じて複数のベース学習者からの予測を統合するために、機械学習の基盤のままである。 しかし、モデル複雑さ、特徴冗長性、計算負荷により、多くの設計では再帰的な深さよりも水平的な多様性を優先しているため、深い積み重ねは依然として稀である。 これらの課題に対処するため、レベルの認識された再帰的アンサンブルフレームワークであるRocketStackが導入され、以前のアーキテクチャを超えて最大10のスタックレベルまで調査されている。 このフレームワークは、各レベルでより弱い学習者を徐々に引き起こし、過剰な複雑さを伴わずにより深い積み重ねを可能にします。 早期性能飽和を緩和するため、プルーニング前のアウト・オブ・フォールド(OOF)スコアに軽度のガウスノイズを付加し、厳密なOOFプルーニングと比較する。 さらに、アテンションベースの選択、シンプル、高速、効率(SFE)フィルタ、オートエンコーダを用いて、レベルごとの特徴圧縮と周期的な特徴圧縮について検討する。 33のデータセット(23のバイナリ、10のマルチクラス)で、ほとんどの変種で精度が上昇し、各レベルの上位のメタモデルが最強のスタンドアロンアンサンブルを上回った。 二進法では、緩やかなOOFスコアのランダム化を持つ周期的SFEは10.14%のレベルで97.08%に達し、圧縮のない場合に比べてランタイムを10.5%削減した。 マルチクラスのサブセットでは、周期的なアテンション選択がレベル10で98.60%に達し、最強のベースラインを6.11%上回り、ランタイムを56.1%減らし、非圧縮に比べて特徴次元を74%減らした。 これらの結果から, 有効正則化剤として軽度ランダム化, 安定剤として周期圧縮が認められた。 宇宙空間(プルーン、圧縮、プロペラ)における多段ロケットの設計に反響を呈するRocketStackは、難解な複雑さを伴う深い再帰的なアンサンブルを実現する。

関連論文リスト

• DISC: DISC: Dynamic Decomposition Improves LLM Inference Scaling [66.63177876471113]
  動的分解は、解を適応的に分解し、トレースを推論中に管理可能なステップに推論する手法である。 APPS、MATH、LiveCodeBenchといったベンチマークの実験では、動的な分解はトークンレベル、文レベル、シングルステップの分解のような固定された戦略よりも優れています。
  論文  参考訳（メタデータ） (2025-02-23T20:37:32Z)
• CLEAR: Conv-Like Linearization Revs Pre-Trained Diffusion Transformers Up [64.38715211969516]
  CLEARと呼ばれる畳み込み型ローカルアテンション戦略を導入し,各クエリトークンの周囲のローカルウィンドウに特徴的インタラクションを限定する。 実験により,10K反復で10Kの自己生成サンプルに注意層を微調整することにより,事前学習したDiTから線形複雑度のある学生モデルへの知識伝達を効果的に行うことができた。
  論文  参考訳（メタデータ） (2024-12-20T17:57:09Z)
• Advancing LLM Reasoning Generalists with Preference Trees [119.57169648859707]
  推論に最適化された大規模言語モデル(LLM)のスイートであるEulusを紹介する。 Eurusモデルは、様々なベンチマークでオープンソースのモデルの間で最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-04-02T16:25:30Z)
• Select High-Level Features: Efficient Experts from a Hierarchical Classification Network [4.051316555028782]
  本研究では,予測性能を損なうことなく,タスクと計算の複雑さを動的に低減する新しいエキスパート生成手法を提案する。 これは、一般的な低レベル特徴の逐次処理と並列性と高レベルの特徴のネスト処理を組み合わせた、新しい階層型分類ネットワークトポロジーに基づいている。 動的推論の観点では、我々の方法論は最大88.7.%のパラメータと73.4.%のギガ乗算(GMAC)演算を除外することができる。
  論文  参考訳（メタデータ） (2024-03-08T00:02:42Z)
• Towards a universal mechanism for successful deep learning [0.0]
  本研究は,SNRの精度が層によって徐々に増加することを示す。 与えられた深いアーキテクチャでは、最大誤差率は出力ラベルの数とともにほぼ直線的に増加する。 同様の傾向がデータセットラベルの [3, 1,000] の範囲で得られ, この機構の普遍性を支持した。
  論文  参考訳（メタデータ） (2023-09-14T09:03:57Z)
• Large-scale Fully-Unsupervised Re-Identification [78.47108158030213]
  大規模未ラベルデータから学ぶための2つの戦略を提案する。 第1の戦略は、近傍関係に違反することなく、それぞれのデータセットサイズを減らすために、局所的な近傍サンプリングを行う。 第2の戦略は、低時間上限の複雑さを持ち、メモリの複雑さを O(n2) から O(kn) に k n で還元する新しい再帰的手法を利用する。
  論文  参考訳（メタデータ） (2023-07-26T16:19:19Z)
• Scaling ResNets in the Large-depth Regime [11.374578778690623]
  Deep ResNetは、機械学習タスクで最先端の結果を達成するために認識されている。 Deep ResNetsは、勾配の消滅や爆発を避けるために慎重に設計する必要があるトレーニング手順に依存している。 この問題を緩和する方法については合意が得られていないが、広く議論されている戦略は、各レイヤの出力を$alpha_L$でスケーリングすることである。
  論文  参考訳（メタデータ） (2022-06-14T15:49:10Z)
• Reinforcement Learning for Branch-and-Bound Optimisation using Retrospective Trajectories [72.15369769265398]
  機械学習は分岐のための有望なパラダイムとして登場した。 分岐のための単純かつ効果的なRLアプローチであるレトロ分岐を提案する。 我々は現在最先端のRL分岐アルゴリズムを3～5倍に上回り、500の制約と1000の変数を持つMILP上での最高のILメソッドの性能の20%以内である。
  論文  参考訳（メタデータ） (2022-05-28T06:08:07Z)
• Phase Retrieval using Expectation Consistent Signal Recovery Algorithm based on Hypernetwork [73.94896986868146]
  位相検索は現代の計算イメージングシステムにおいて重要な要素である。 近年のディープラーニングの進歩は、堅牢で高速なPRの新たな可能性を開いた。 我々は、既存の制限を克服するために、深層展開のための新しいフレームワークを開発する。
  論文  参考訳（メタデータ） (2021-01-12T08:36:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。