論文の概要: Soft Gradient Boosting Machine

• arxiv url: http://arxiv.org/abs/2006.04059v1
• Date: Sun, 7 Jun 2020 06:43:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-24 07:28:38.069471
• Title: Soft Gradient Boosting Machine
• Title（参考訳）: ソフトグラディエントブースティングマシン
• Authors: Ji Feng, Yi-Xuan Xu, Yuan Jiang, Zhi-Hua Zhou
• Abstract要約: 複数の異なるベースラーナを連携させて,ソフトなグラディエントブースティングマシン(sGBM)を提案する。 実験の結果,sGBMは,オンラインとオフラインの両方で同一の学習者に対して,より高精度な時間効率を享受できることが判明した。
• 参考スコア（独自算出の注目度）: 72.54062017726154
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gradient Boosting Machine has proven to be one successful function approximator and has been widely used in a variety of areas. However, since the training procedure of each base learner has to take the sequential order, it is infeasible to parallelize the training process among base learners for speed-up. In addition, under online or incremental learning settings, GBMs achieved sub-optimal performance due to the fact that the previously trained base learners can not adapt with the environment once trained. In this work, we propose the soft Gradient Boosting Machine (sGBM) by wiring multiple differentiable base learners together, by injecting both local and global objectives inspired from gradient boosting, all base learners can then be jointly optimized with linear speed-up. When using differentiable soft decision trees as base learner, such device can be regarded as an alternative version of the (hard) gradient boosting decision trees with extra benefits. Experimental results showed that, sGBM enjoys much higher time efficiency with better accuracy, given the same base learner in both on-line and off-line settings.
• Abstract（参考訳）: グラディエントブースティングマシンは関数近似器として成功し、様々な分野で広く利用されている。 しかし,各学習者の学習手順は逐次順序を取らなければならないため,学習者間での学習プロセスの並列化が不可能である。 さらに,オンラインやインクリメンタルな学習環境下では,学習者が一度学習した環境に適応できないという事実から,GBMは準最適性能を達成した。 本研究では,複数の異なる基本学習者をつなぎ合わせることで,グラディエント・ブーピング・マシン(sGBM)を提案し,グラディエント・ブーピングから着想を得た局所的・大域的目的の両方を注入することにより,全ての基礎学習者を線形スピードアップで協調的に最適化することができる。 微分可能なソフト決定木をベースラーナとして使用する場合、この装置は余分な利益を伴う決定木を増加させる(ハード)勾配の代替版と見なすことができる。 実験の結果,sGBMは,オンラインとオフラインの両方で同一の学習者に対して,より高精度な時間効率を享受できることがわかった。

関連論文リスト

• Two Optimizers Are Better Than One: LLM Catalyst Empowers Gradient-Based Optimization for Prompt Tuning [69.95292905263393]
  我々は,勾配に基づく最適化と大規模言語モデル(MsLL)が相互補完的であることを示し,協調的な最適化手法を提案する。 私たちのコードはhttps://www.guozix.com/guozix/LLM-catalystでリリースされています。
  論文  参考訳（メタデータ） (2024-05-30T06:24:14Z)
• ELRA: Exponential learning rate adaption gradient descent optimization method [83.88591755871734]
  我々は, 高速(指数率), ab initio(超自由)勾配に基づく適応法を提案する。 本手法の主な考え方は,状況認識による$alphaの適応である。 これは任意の次元 n の問題に適用でき、線型にしかスケールできない。
  論文  参考訳（メタデータ） (2023-09-12T14:36:13Z)
• Bayesian Generational Population-Based Training [35.70338636901159]
  Population-Based Training (PBT)は、いくつかの大規模な設定で素晴らしいパフォーマンスを実現している。 PBTスタイルの手法に2つの新しい革新を導入する。 これらのイノベーションが大きなパフォーマンス向上につながっていることを示しています。
  論文  参考訳（メタデータ） (2022-07-19T16:57:38Z)
• BBTv2: Pure Black-Box Optimization Can Be Comparable to Gradient Descent for Few-Shot Learning [83.26610968655815]
  Black-Box Tuningは、言語モデルの入力に先立って、連続的なプロンプトトークンを最適化するためのデリバティブフリーなアプローチである。 BBTv2は、言語モデルをグラデーションベースの最適化に匹敵する結果を得るために駆動する、純粋なブラックボックス最適化手法である。
  論文  参考訳（メタデータ） (2022-05-23T11:10:19Z)
• Efficient Differentiable Simulation of Articulated Bodies [89.64118042429287]
  本稿では, 音素の効率的な微分可能シミュレーション法を提案する。 これにより、ボディダイナミクスを深層学習フレームワークに統合することが可能になる。 提案手法を用いて, 調音システムによる強化学習を高速化できることを示す。
  論文  参考訳（メタデータ） (2021-09-16T04:48:13Z)
• Analytically Tractable Bayesian Deep Q-Learning [0.0]
  我々は時間差Q-ラーニングフレームワークを適応させ、抽出可能な近似ガウス推論(TAGI)と互換性を持たせる。 我々は,TAGIがバックプロパゲーション学習ネットワークに匹敵する性能に到達できることを実証した。
  論文  参考訳（メタデータ） (2021-06-21T13:11:52Z)
• Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
  数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。 我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。 我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
  論文  参考訳（メタデータ） (2020-10-01T15:59:31Z)
• Federated Transfer Learning with Dynamic Gradient Aggregation [27.42998421786922]
  本稿では,音響モデル学習のためのフェデレートラーニング(FL)シミュレーションプラットフォームを提案する。 提案するFLプラットフォームは,モジュール設計を取り入れたさまざまなタスクをサポートすることができる。 これは、収束速度と全体的なモデル性能の両方において、分散トレーニングの黄金標準よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-06T04:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。