論文の概要: Gradient boosting machine with partially randomized decision trees

• arxiv url: http://arxiv.org/abs/2006.11014v1
• Date: Fri, 19 Jun 2020 08:38:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-19 03:58:06.720514
• Title: Gradient boosting machine with partially randomized decision trees
• Title（参考訳）: 部分ランダム決定木を有する勾配昇降機
• Authors: Andrei V. Konstantinov and Lev V. Utkin
• Abstract要約: 勾配ブースティングマシンは、回帰問題を解くための強力なアンサンブルベースの機械学習手法である。 そこで本論文では, 勾配押し上げに適用する極端ランダム化木の特殊な場合として, 部分ランダム化木を応用することを提案する。 部分ランダム化木を用いた勾配押し上げ機は、合成データと実データを用いて、多くの数値例を用いて図示する。
• 参考スコア（独自算出の注目度）: 5.482532589225552
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The gradient boosting machine is a powerful ensemble-based machine learning method for solving regression problems. However, one of the difficulties of its using is a possible discontinuity of the regression function, which arises when regions of training data are not densely covered by training points. In order to overcome this difficulty and to reduce the computational complexity of the gradient boosting machine, we propose to apply the partially randomized trees which can be regarded as a special case of the extremely randomized trees applied to the gradient boosting. The gradient boosting machine with the partially randomized trees is illustrated by means of many numerical examples using synthetic and real data.
• Abstract（参考訳）: 勾配ブースティングマシンは回帰問題を解決するための強力なアンサンブルベースの機械学習手法である。 しかし、その使用の難しさの1つは、トレーニングデータの領域がトレーニングポイントで密にカバーされていない場合に生じる回帰関数の不連続性である。 この難しさを克服し、勾配押し上げ機の計算複雑性を低減するため、勾配押し上げに適用される極端にランダム化された木の特別な場合と考えられる部分ランダム化された木を応用することを提案する。 部分ランダム化木を用いた勾配ブースティングマシンは,合成および実データを用いた多数の数値例を用いて示される。

関連論文リスト

• Regression Trees Know Calculus [1.8130068086063336]
  一般的な木学習ライブラリが公開する量を用いて効率的に計算できる勾配の簡単な推定値を求める。 これにより、ニューラルネットやガウシアンプロセスといった、微分可能なアルゴリズムのコンテキストで開発されたツールを、ツリーベースのモデルにデプロイすることができる。
  論文  参考訳（メタデータ） (2024-05-22T17:14:03Z)
• How to guess a gradient [68.98681202222664]
  我々は、勾配が以前考えられていたよりもより構造化されていることを示す。 この構造をエクスプロイトすると、勾配のない最適化スキームが大幅に改善される。 厳密な勾配の最適化と勾配の推測の間に大きなギャップを克服する上での新たな課題を強調した。
  論文  参考訳（メタデータ） (2023-12-07T21:40:44Z)
• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• A Unified Framework for Implicit Sinkhorn Differentiation [58.56866763433335]
  暗黙の微分によってシンクホーン層の解析勾配を求めるアルゴリズムを提案する。 特にGPUメモリなどのリソースが不足している場合には,計算効率が向上する。
  論文  参考訳（メタデータ） (2022-05-13T14:45:31Z)
• Gradients without Backpropagation [16.928279365071916]
  本稿では、フォワードモードによって正確に効率的に計算できる方向微分のみに基づいて勾配を計算する方法を提案する。 様々な問題において前方降下勾配を示し、計算の大幅な削減を示し、場合によっては最大2倍の速さで訓練を可能にする。
  論文  参考訳（メタデータ） (2022-02-17T11:07:55Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Infinitesimal gradient boosting [0.0]
  我々は、機械学習から人気のツリーベース勾配向上アルゴリズムの限界として無限小勾配ブースティングを定義する。 完全無作為化木とエクストラツリーを繋ぐ新種の無作為化回帰木を紹介します。
  論文  参考訳（メタデータ） (2021-04-26T15:09:05Z)
• Uncertainty in Gradient Boosting via Ensembles [37.808845398471874]
  勾配促進モデルのアンサンブルは、予測された総不確実性を改善する能力に制限があるにもかかわらず、異常な入力を検出することに成功した。 本稿では,1つの勾配押し上げモデルのみでアンサンブルの利点を得るための仮想アンサンブルの概念を提案する。
  論文  参考訳（メタデータ） (2020-06-18T14:11:27Z)
• Variance Reduction with Sparse Gradients [82.41780420431205]
  SVRGやSpiderBoostのような分散還元法では、大きなバッチ勾配と小さなバッチ勾配が混在している。 我々は、新しい空間演算子:ランダムトップk演算子を導入する。 我々のアルゴリズムは、画像分類、自然言語処理、スパース行列分解など様々なタスクにおいて、一貫してSpiderBoostより優れています。
  論文  参考訳（メタデータ） (2020-01-27T08:23:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。