論文の概要: EMA-FS: Accelerating GBDT Training via Gain-Informed Feature Screening
- arxiv url: http://arxiv.org/abs/2606.26337v1
- Date: Wed, 24 Jun 2026 19:28:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 18:46:32.063241
- Title: EMA-FS: Accelerating GBDT Training via Gain-Informed Feature Screening
- Title（参考訳）: EMA-FS:ゲインインインフォームド機能スクリーニングによるGBDTトレーニングの高速化
- Abstract要約: EMAベースの特徴スクリーニング(EMA-FS)を提案する。これはアルゴリズムレベルの最適化であり、機能ごとの差分ゲインの指数的な移動平均(EMA)を維持する。
EMA-FSは、低利得機能をスクリーニングしながら高利得機能を保ちます。
金融不正検出、広告クリックスルー予測、産業品質管理、総合ベンチマークを含むデータセット上でのEMA-FSの評価を行った。
- 参考スコア（独自算出の注目度）: 7.336436436266022
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Gradient Boosted Decision Trees (GBDT), exemplified by LightGBM, spend a dominant fraction of training time -- typically 65-70% -- constructing per-feature histograms. Existing approaches such as random feature subsampling (feature_fraction) discard features without regard for their predictive utility. We propose EMA-based Feature Screening (EMA-FS), an algorithm-level optimization that maintains an exponential moving average (EMA) of per-feature split gains across boosting iterations and, after a short warmup, restricts histogram construction to the top-K features ranked by historical gain. Unlike random subsampling, EMA-FS is informed: it retains high-gain features while screening out low-gain ones. Operating at the per-tree level, it preserves full compatibility with LightGBM's histogram subtraction trick, requiring no changes to core routines. We evaluate EMA-FS on datasets spanning financial fraud detection, advertising click-through prediction, industrial quality control, and synthetic benchmarks, with feature dimensionalities from 29 to 968. On dense, moderate-to-high-dimensional data it achieves significant speedups: 2.61x on a 500-feature synthetic benchmark and 1.45x on the 432-feature IEEE-CIS Fraud dataset at 30% retention. At 70% retention it improves AUC by 0.11 points while delivering a 1.34x speedup. On extremely sparse data (Bosch, >90% missing) it yields no speedup, as LightGBM's sparse bin optimization already bypasses empty values. We further introduce Stochastic EMA-FS (S-EMA-FS), which replaces deterministic top-K selection with gain-weighted random sampling controlled by a concentration parameter beta, unifying deterministic EMA-FS (beta -> infinity) and random subsampling (beta = 0) in one framework. Both are implemented in ~120 lines of C++ across all six LightGBM tree learners and are fully backward-compatible.
- Abstract（参考訳）: LightGBMで実証されたグラディエントブースト決定木(GBDT)は、機能ごとのヒストグラムを構成するトレーニング時間(典型的には65-70%)の大部分を費やしている。
ランダム機能サブサンプリング(feature_fraction)のような既存のアプローチは、予測ユーティリティを考慮せずに、機能を破棄する。
EMAベースの特徴スクリーニング (EMA-FS) を提案する。これはアルゴリズムレベルでの最適化であり、各機能ごとのスプリットゲインの指数的な移動平均(EMA)を維持し、短いウォームアップの後、ヒストグラム構造を歴史的ゲインでランク付けされたトップK機能に制限する。
ランダムなサブサンプリングとは異なり、EMA-FSは低利得機能を維持しながら高利得機能を保持する。
ツリー単位で操作することで、LightGBMのヒストグラムサブトラクショントリックとの完全な互換性を保ち、コアルーチンを変更する必要はない。
金融詐欺検出,広告クリックスルー予測,産業品質管理,および総合ベンチマークを含むデータセットに対して,EMA-FSを29～968の特徴次元で評価した。
密度が高く、中程度から高次元のデータでは、500個の合成ベンチマークで2.61倍、432個のIEEE-CISフラッドデータセットで1.45倍という大きなスピードアップを達成する。
70%の保持率でAUCを0.11ポイント改善し、1.34倍のスピードアップを実現している。
非常にスパースなデータ(Bosch, 90% 未満)では、LightGBMのスパースビン最適化が既に空の値をバイパスしているため、スピードアップは得られない。
さらに、Stochastic EMA-FS(S-EMA-FS)を導入し、決定論的トップK選択を、集中パラメータベータによって制御されたゲイン重み付きランダムサンプリングに置き換え、決定論的EMA-FS(ベータ->無限)とランダムサブサンプリング(ベータ=0)を一つのフレームワークで統一する。
どちらも6つのLightGBMツリー学習者間で120行程度のC++で実装されており、完全に後方互換性がある。
関連論文リスト
- On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。
トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
論文 参考訳（メタデータ） (2026-08-31T06:35:07Z) - BayesSeg: A Bayesian Optimization Framework for State Segmentation of Electricity Consumption Time Series [3.3483950365040855]
BayesSegは時系列セグメンテーション、多次元評価、自動パラメータ最適化を統合した統合フレームワークである。
このフレームワークは、重み付き合成スコア0.7149、イベント_F10.9340を達成し、最適化のレイテンシを5300秒から1秒以下に短縮する。
論文 参考訳（メタデータ） (2026-08-01T08:22:49Z) - ChunkFT: Byte-Streamed Optimization for Memory-Efficient Full Fine-Tuning [58.54940026861599]
textscChunkFTはメモリ効率の良い微調整フレームワークである。
textscChunkFTは、ネットワークアーキテクチャを変更することなく任意のサブテンソルの勾配計算を可能にする。
textscChunkFTは、既存のメモリ効率のベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2026-05-20T13:44:44Z) - Tempus: A Temporally Scalable Resource-Invariant GEMM Streaming Framework for Versal AI Edge [0.0]
本稿では,AMD Versal AI Edgeシステムのためのリソース不変時GEMMフレームワークを提案する。
我々はTempusが10.677Wのオンチップパワーで607GOPSを達成したことを示す。
我々はまた、Tempusが先頭空間SOTA(ARIES)よりも211.2倍高いプロミネンス係数を達成することを証明した。
論文 参考訳（メタデータ） (2026-05-01T09:28:34Z) - Mycelium-Index: A Streaming Approximate Nearest Neighbor Index with Myelial Edge Decay, Traffic-Driven Reinforcement, and Adaptive Living Hierarchy [0.0]
我々は,高次元ベクトル空間に対するANN指数であるMycelium-indexを提示する。
システムはそのトポロジーを、ミエラルエッジ崩壊と強化、交通駆動型生活階層、ハイブリッド削除を通じて適応する。
論文 参考訳（メタデータ） (2026-04-13T10:30:08Z) - SMART: When is it Actually Worth Expanding a Speculative Tree? [26.986851887229054]
ツリーベースの投機的復号化は、分岐したツリードラフトトークンを単一のターゲットモデルフォワードパスで検証することにより、自己回帰生成を加速する。
既存の方法では、重要な効率パラドックスを無視しながら、受理トークン数のトークンレベル確率の最大化が優先されている」。
本稿では,実行木構築のためのシステム対応限界解析フレームワークSMARTを提案する。
論文 参考訳（メタデータ） (2026-04-09T13:17:56Z) - Scaling Attention via Feature Sparsity [50.64995497733461]
超長期のコンテキストにトランスフォーマーをスケールすることは、自己注意のコスト$O(n2 d)$コストによってボトルネックとなる。
本稿では,高次元表現性を維持するために,クエリとキーを$k$sparseコードとして表現するスパース特徴注意法を提案する。
GPT-2とQwen3の事前トレーニングで、SFAは密度の高いベースラインにマッチし、最高2.5タイムのスピードを向上し、FLOPとKVキャッシュを50%近く削減した。
論文 参考訳（メタデータ） (2026-03-17T08:41:50Z) - Resource-Efficient Iterative LLM-Based NAS with Feedback Memory [49.44875022114861]
ニューラルアーキテクチャサーチ(NAS)はネットワーク設計を自動化するが、従来の手法ではかなりの計算資源を必要とする。
本稿では,大規模言語モデル(LLM)を活用して,畳み込みニューラルネットワークアーキテクチャを反復的に生成し,評価し,洗練するクローズドループパイプラインを提案する。
論文 参考訳（メタデータ） (2026-03-12T16:00:22Z) - STEM: Scaling Transformers with Embedding Modules [59.26825251273227]
STEMは静的なトークンインデックス付きアプローチで、FFNのアッププロジェクションをレイヤローカルな埋め込みルックアップに置き換える。
これにより、ランタイムルーティングを廃止し、非同期プリフェッチによるCPUオフロードを可能にし、トーケン毎のFLOPとデバイス間通信の両方からキャパシティを分離する。
全体として、STEMはパラメトリックメモリのスケーリングに有効な方法であり、解釈性の向上、トレーニングの安定性の向上、効率の向上を実現している。
論文 参考訳（メタデータ） (2026-01-15T18:00:27Z) - CodedPaddedFL and CodedSecAgg: Straggler Mitigation and Secure
Aggregation in Federated Learning [86.98177890676077]
本稿では, 階層化デバイスの効果を緩和する線形回帰のための2つの新しい符号付きフェデレーションラーニング手法を提案する。
最初のスキームであるCodedPaddedFLは、従来のFLのプライバシレベルを維持しながら、ストラグリングデバイスの効果を緩和する。
第2のスキームであるCodedSecAggは、モデル反転攻撃に対するストラグラーレジリエンスと堅牢性を提供する。
論文 参考訳（メタデータ） (2021-12-16T14:26:30Z) - Sequential Place Learning: Heuristic-Free High-Performance Long-Term
Place Recognition [24.70946979449572]
学習ベースのCNN+LSTMアーキテクチャを開発し、バックプロパゲーションを通じてトレーニングし、視点および外観不変の場所認識を実現します。
我々のモデルは、新しい最先端パフォーマンス標準を設定しながら、15の古典的手法より優れています。
さらに, SPL は 729 km の経路において, 従来の方法よりも 70 倍高速に展開可能であることを示す。
論文 参考訳（メタデータ） (2021-03-02T22:57:43Z) - Non-Parametric Adaptive Network Pruning [125.4414216272874]
アルゴリズム設計を簡略化するノンパラメトリックモデリングを導入。
顔認識コミュニティに触発されて,メッセージパッシングアルゴリズムを用いて,適応的な例示数を求める。
EPrunerは「重要」フィルタを決定する際にトレーニングデータへの依存を壊します。
論文 参考訳（メタデータ） (2021-01-20T06:18:38Z) - Adaptive Feature Selection for End-to-End Speech Translation [87.07211937607102]
我々は、エンコーダデコーダに基づくE2E音声翻訳(ST)のための適応的特徴選択(AFS)を提案する。
まず、ASRエンコーダを事前訓練し、AFSを適用して各符号化音声特徴の重要性をSRに動的に推定する。
我々は、L0DROPをAFSのバックボーンとみなし、時間次元と特徴次元の両方に関して、音声特徴をスパース化するように適応する。
論文 参考訳（メタデータ） (2020-10-16T17:21:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。