論文の概要: Accelerated Componentwise Gradient Boosting using Efficient Data Representation and Momentum-based Optimization

• arxiv url: http://arxiv.org/abs/2110.03513v1
• Date: Thu, 7 Oct 2021 14:49:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-08 22:20:56.027303
• Title: Accelerated Componentwise Gradient Boosting using Efficient Data Representation and Momentum-based Optimization
• Title（参考訳）: 効率的なデータ表現とモーメントベース最適化による成分的勾配ブースティングの高速化
• Authors: Daniel Schalk, Bernd Bischl and David R\"ugamer
• Abstract要約: コンポーネントワイズ強化(CWB)は、解釈可能性を保証するためのベースラーナーとして追加モデルを構築する。 CWBの欠点の1つは、メモリと実行時の計算複雑性である。 本稿では,CWBの特性を損なうことなく,これらの問題を克服する2つの手法を提案する。
• 参考スコア（独自算出の注目度）: 1.3159777131162964
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Componentwise boosting (CWB), also known as model-based boosting, is a variant of gradient boosting that builds on additive models as base learners to ensure interpretability. CWB is thus often used in research areas where models are employed as tools to explain relationships in data. One downside of CWB is its computational complexity in terms of memory and runtime. In this paper, we propose two techniques to overcome these issues without losing the properties of CWB: feature discretization of numerical features and incorporating Nesterov momentum into functional gradient descent. As the latter can be prone to early overfitting, we also propose a hybrid approach that prevents a possibly diverging gradient descent routine while ensuring faster convergence. We perform extensive benchmarks on multiple simulated and real-world data sets to demonstrate the improvements in runtime and memory consumption while maintaining state-of-the-art estimation and prediction performance.
• Abstract（参考訳）: componentwise boosting (cwb) はモデルベースブースティングとしても知られ、解釈可能性を確保するためにベースラーナとして追加モデル上に構築された勾配ブースティングの変種である。 したがって、CWBは、モデルがデータ内の関係を説明するツールとして使用される研究領域でよく用いられる。 CWBの欠点の1つは、メモリと実行時の計算複雑性である。 本稿では,CWBの特性を損なうことなく,これらの問題を克服する2つの手法を提案する。 後者は初期オーバーフィッティングの傾向が強いため,より高速な収束を確保しつつ,変動する勾配降下ルーチンを防止できるハイブリッドアプローチも提案する。 複数のシミュレーションおよび実世界のデータセットに対して広範なベンチマークを行い、最先端の推定と予測性能を維持しながら、実行時およびメモリ消費の改善を実証する。

関連論文リスト

• FGP: Feature-Gradient-Prune for Efficient Convolutional Layer Pruning [16.91552023598741]
  本稿では,FGP (Feature-Gradient Pruning) と呼ばれる新しいプルーニング手法を提案する。 特徴に基づく情報と勾配に基づく情報を統合し、様々なターゲットクラスにおけるチャネルの重要性をより効果的に評価する。 複数のタスクやデータセットにまたがる実験により、FGPは計算コストを大幅に削減し、精度損失を最小化することが示された。
  論文  参考訳（メタデータ） (2024-11-19T08:42:15Z)
• Accelerating AI Performance using Anderson Extrapolation on GPUs [2.114333871769023]
  Anderson外挿を利用したAI性能向上のための新しい手法を提案する。 混合ペナルティが生じるクロスオーバー点を特定することにより、反復を収束に還元することに焦点を当てる。 高速コンピューティングの領域におけるスケーラビリティと効率性の拡張を動機とした,トレーニングと推論の両面での大幅な改善を示す。
  論文  参考訳（メタデータ） (2024-10-25T10:45:17Z)
• A Functional Extension of Semi-Structured Networks [2.482050942288848]
  半構造化ネットワーク(SSN)は、深いニューラルネットワークを持つ付加モデルに精通した構造をマージする。 大規模データセットにインスパイアされた本研究では,SSNを機能データに拡張する方法について検討する。 本稿では,古典的機能回帰手法の優位性を保ちつつ,スケーラビリティを向上する機能的SSN法を提案する。
  論文  参考訳（メタデータ） (2024-10-07T18:50:18Z)
• Decreasing the Computing Time of Bayesian Optimization using Generalizable Memory Pruning [56.334116591082896]
  本稿では,任意のサロゲートモデルと取得関数で使用可能なメモリプルーニングとバウンダリ最適化のラッパーを示す。 BOを高次元または大規模データセット上で実行することは、この時間の複雑さのために難解になる。 すべてのモデル実装はMIT Supercloudの最先端コンピューティングハードウェア上で実行される。
  論文  参考訳（メタデータ） (2023-09-08T14:05:56Z)
• Generalizing Backpropagation for Gradient-Based Interpretability [103.2998254573497]
  モデルの勾配は、半環を用いたより一般的な定式化の特別な場合であることを示す。 この観測により、バックプロパゲーションアルゴリズムを一般化し、他の解釈可能な統計を効率的に計算することができる。
  論文  参考訳（メタデータ） (2023-07-06T15:19:53Z)
• Performance Embeddings: A Similarity-based Approach to Automatic Performance Optimization [71.69092462147292]
  パフォーマンス埋め込みは、アプリケーション間でパフォーマンスチューニングの知識伝達を可能にする。 本研究では, 深層ニューラルネットワーク, 密度およびスパース線形代数合成, および数値風速予測ステンシルのケーススタディにおいて, この伝達チューニング手法を実証する。
  論文  参考訳（メタデータ） (2023-03-14T15:51:35Z)
• Tree ensemble kernels for Bayesian optimization with known constraints over mixed-feature spaces [54.58348769621782]
  木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。 ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。 我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
  論文  参考訳（メタデータ） (2022-07-02T16:59:37Z)
• Convergent Boosted Smoothing for Modeling Graph Data with Tabular Node Features [46.052312251801]
  本稿では,グラフ伝播ステップでブースティングを反復するフレームワークを提案する。 我々のアプローチは、原則化されたメタロス関数に固定されている。 様々な非イドグラフデータセットに対して,本手法は同等あるいは優れた性能を実現する。
  論文  参考訳（メタデータ） (2021-10-26T04:53:12Z)
• Gradient Boosted Binary Histogram Ensemble for Large-scale Regression [60.16351608335641]
  本研究では,2値ヒストグラム分割とアンサンブル学習に基づくテキストグラディエント2値ヒストグラムアンサンブル(GBBHE)と呼ばれる大規模回帰問題に対する勾配向上アルゴリズムを提案する。 実験では, 勾配向上回帰木 (GBRT) などの他の最先端アルゴリズムと比較して, GBBHEアルゴリズムは大規模データセット上での実行時間が少なく, 有望な性能を示す。
  論文  参考訳（メタデータ） (2021-06-03T17:05:40Z)
• High-Dimensional Bayesian Optimization via Tree-Structured Additive Models [40.497123136157946]
  変数の重複部分集合を持つ低次元関数を合成して高次元目標関数をモデル化する一般化加法モデルを検討する。 私たちの目標は、必要な計算リソースを減らし、より高速なモデル学習を促進することです。 我々は,合成関数と実世界のデータセットに関する様々な実験を通して,本手法の有効性を実証し,議論する。
  論文  参考訳（メタデータ） (2020-12-24T03:56:44Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。