論文の概要: Learning Multi-Layered GBDT Via Back Propagation

• arxiv url: http://arxiv.org/abs/2109.11863v2
• Date: Mon, 27 Sep 2021 03:05:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-28 10:46:45.990862
• Title: Learning Multi-Layered GBDT Via Back Propagation
• Title（参考訳）: バックプロパゲーションによる多層GBDTの学習
• Authors: Zhendong Zhang
• Abstract要約: バックプロパゲーション(BP)を用いた多層GBDT学習フレームワークを提案する。 線形回帰に基づくGBDTの勾配を近似した。 実験では,提案手法の有効性を性能と表現能力の観点から示す。
• 参考スコア（独自算出の注目度）: 9.249235534786072
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks are able to learn multi-layered representation via back propagation (BP). Although the gradient boosting decision tree (GBDT) is effective for modeling tabular data, it is non-differentiable with respect to its input, thus suffering from learning multi-layered representation. In this paper, we propose a framework of learning multi-layered GBDT via BP. We approximate the gradient of GBDT based on linear regression. Specifically, we use linear regression to replace the constant value at each leaf ignoring the contribution of individual samples to the tree structure. In this way, we estimate the gradient for intermediate representations, which facilitates BP for multi-layered GBDT. Experiments show the effectiveness of the proposed method in terms of performance and representation ability. To the best of our knowledge, this is the first work of optimizing multi-layered GBDT via BP. This work provides a new possibility of exploring deep tree based learning and combining GBDT with neural networks.
• Abstract（参考訳）: ディープニューラルネットワークはバック伝搬(BP)を通じて多層表現を学習することができる。 勾配向上決定木(GBDT)は表データのモデリングに有効であるが,その入力に対して微分不可能であり,多層表現の学習に苦慮している。 本稿では,BPを用いた多層GBDTの学習フレームワークを提案する。 線形回帰に基づくGBDTの勾配を近似した。 具体的には,木構造への個々の試料の寄与を無視した各葉の定数を線形回帰を用いて置き換える。 このようにして、多層GBDTのBPを容易にする中間表現の勾配を推定する。 実験では,提案手法の有効性を性能と表現能力の観点から示す。 我々の知る限りでは、BPを介して多層GBDTを最適化する最初の試みである。 この研究は、深い木に基づく学習とGBDTとニューラルネットワークを組み合わせる新たな可能性を提供する。

関連論文リスト

• Vanilla Gradient Descent for Oblique Decision Trees [7.236325471627686]
  ニューラルネットワーク(NN)としての(ハード,斜め)DTの符号化法を提案する。 DTSemNetを用いて学習した斜めDTは、最先端技術を用いて学習した同様の大きさの斜めDTよりも正確であることを示す実験である。 また、DTSemNetは、物理入力による強化学習(RL)設定において、NNポリシーと同じくらい効率的にDTポリシーを学習できることを実験的に実証した。
  論文  参考訳（メタデータ） (2024-08-17T08:18:40Z)
• Towards Memory- and Time-Efficient Backpropagation for Training Spiking Neural Networks [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのためのエネルギー効率の高いモデルである。 本研究では,学習効率を大幅に向上させつつ,高い性能を達成できる空間学習時間(SLTT)法を提案する。 BPTTと比較して, メモリコストとトレーニング時間は, それぞれ70%以上, 50%以上削減されている。
  論文  参考訳（メタデータ） (2023-02-28T05:01:01Z)
• WLD-Reg: A Data-dependent Within-layer Diversity Regularizer [98.78384185493624]
  ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。 我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。 本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
  論文  参考訳（メタデータ） (2023-01-03T20:57:22Z)
• An In-depth Study of Stochastic Backpropagation [44.953669040828345]
  本稿では,標準画像分類および物体検出タスクのための深層ニューラルネットワークのトレーニングにおいて,バックプロパゲーション(SBP)について検討する。 後方伝播中、SBPはGPUメモリと計算コストを節約するために、機能マップのサブセットのみを使用することで勾配を計算する。 画像分類とオブジェクト検出の実験は、SBPが最大40%のGPUメモリを1%未満の精度で保存できることを示している。
  論文  参考訳（メタデータ） (2022-09-30T23:05:06Z)
• Transfer Learning with Deep Tabular Models [66.67017691983182]
  上流データにより、グラフニューラルネットワークはGBDTモデルよりも決定的な優位性を示す。 そこで本研究では,表在化学習のための現実的な診断ベンチマークを提案する。 上流と下流の特徴セットが異なる場合の擬似特徴法を提案する。
  論文  参考訳（メタデータ） (2022-06-30T14:24:32Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Enhancing Transformers with Gradient Boosted Decision Trees for NLI Fine-Tuning [7.906608953906889]
  ニューラルネットワークによる余分な計算を行なわずに性能を向上させるために、微調整中に計算された機能にGBDTヘッドを装着するFreeGBDTを導入する。 強力なベースラインモデルを用いて,複数のNLIデータセットに対して提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2021-05-08T22:31:51Z)
• Towards Evaluating and Training Verifiably Robust Neural Networks [81.39994285743555]
  We study the relationship between IBP and CROWN, and prove that CROWN are always tight than IBP when select each bounding lines。 線形結合伝播(LBP) CROWNの緩やかなバージョンを提案する。これは、大きなネットワークを検証して、より低い検証エラーを得るのに使用できる。
  論文  参考訳（メタデータ） (2021-04-01T13:03:48Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。