論文の概要: Gradient Boosting Neural Networks: GrowNet

• arxiv url: http://arxiv.org/abs/2002.07971v2
• Date: Sun, 14 Jun 2020 22:07:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-12-30 12:58:13.041964
• Title: Gradient Boosting Neural Networks: GrowNet
• Title（参考訳）: 勾配強化ニューラルネットワーク: grownet
• Authors: Sarkhan Badirli, Xuanqing Liu, Zhengming Xing, Avradeep Bhowmik, Khoa Doan, and Sathiya S. Keerthi
• Abstract要約: 「浅層ニューラルネットワークを弱学習者として活用する新しい勾配促進フレームワーク」が提案されている。 古典的な勾配上昇決定木を近似した欲求関数の落とし穴を修復するために、完全な補正ステップが組み込まれている。 提案モデルでは、複数のデータセット上の3つのタスクすべてにおいて、最先端のブースティング手法よりも優れた結果が得られた。
• 参考スコア（独自算出の注目度）: 9.0491536808974
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A novel gradient boosting framework is proposed where shallow neural networks are employed as ``weak learners''. General loss functions are considered under this unified framework with specific examples presented for classification, regression, and learning to rank. A fully corrective step is incorporated to remedy the pitfall of greedy function approximation of classic gradient boosting decision tree. The proposed model rendered outperforming results against state-of-the-art boosting methods in all three tasks on multiple datasets. An ablation study is performed to shed light on the effect of each model components and model hyperparameters.
• Abstract（参考訳）: 浅いニューラルネットワークを ‘weak learners'' として使用する新しい勾配ブースティングフレームワークが提案されている。 一般損失関数はこの統一フレームワークの下で考慮され、分類、回帰、ランクへの学習の具体例が提示される。 古典的な勾配上昇決定木を近似した欲求関数の落とし穴を修復するために、完全な補正ステップが組み込まれている。 提案モデルは,複数のデータセット上の3つのタスクすべてにおいて,最先端のブースティング手法よりも優れた結果を得た。 それぞれのモデル成分とモデルハイパーパラメータの影響について、アブレーション研究を行い、光を遮蔽する。

関連論文リスト

• Theoretical Characterization of How Neural Network Pruning Affects its Generalization [131.1347309639727]
  この研究は、異なるプルーニング率がモデルの勾配降下ダイナミクスと一般化にどのように影響するかを研究する最初の試みである。 プルーニング率が一定の閾値以下である限り、勾配降下はトレーニング損失をゼロに導くことができる。 より驚くべきことに、プルーニング分数が大きくなるにつれて、一般化境界はより良くなる。
  論文  参考訳（メタデータ） (2023-01-01T03:10:45Z)
• Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
  勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。 我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。 彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
  論文  参考訳（メタデータ） (2022-12-05T14:47:52Z)
• Deep Manifold Learning with Graph Mining [80.84145791017968]
  グラフマイニングのための非段階的決定層を持つ新しいグラフ深層モデルを提案する。 提案モデルでは,現行モデルと比較して最先端性能を実現している。
  論文  参考訳（メタデータ） (2022-07-18T04:34:08Z)
• Scaling Private Deep Learning with Low-Rank and Sparse Gradients [5.14780936727027]
  ニューラルネットワークの低ランクかつスパースな構造を利用して、勾配更新の次元を小さくするフレームワークを提案する。 勾配を拡大するために新しい戦略が利用され、低次元でノイズの少ない更新をもたらす。 自然言語処理とコンピュータビジョンタスクの実証評価により,本手法が他の最先端のベースラインよりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-07-06T14:09:47Z)
• FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
  ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。 本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
  論文  参考訳（メタデータ） (2022-04-10T11:38:33Z)
• Proxy Convexity: A Unified Framework for the Analysis of Neural Networks Trained by Gradient Descent [95.94432031144716]
  学習ネットワークの分析のための統合された非最適化フレームワークを提案する。 既存の保証は勾配降下により統一することができることを示す。
  論文  参考訳（メタデータ） (2021-06-25T17:45:00Z)
• Non-Gradient Manifold Neural Network [79.44066256794187]
  ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。 非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:39:13Z)
• LaplaceNet: A Hybrid Energy-Neural Model for Deep Semi-Supervised Classification [0.0]
  深層半教師付き分類の最近の進歩は、前例のない性能に達している。 モデル複雑性を大幅に低減した深層半教師付き分類のための新しいフレームワークであるLaplaceNetを提案する。 本モデルは,複数のベンチマークデータセットを用いて,半教師付き深層分類のための最先端手法より優れる。
  論文  参考訳（メタデータ） (2021-06-08T17:09:28Z)
• Uncertainty in Gradient Boosting via Ensembles [37.808845398471874]
  勾配促進モデルのアンサンブルは、予測された総不確実性を改善する能力に制限があるにもかかわらず、異常な入力を検出することに成功した。 本稿では,1つの勾配押し上げモデルのみでアンサンブルの利点を得るための仮想アンサンブルの概念を提案する。
  論文  参考訳（メタデータ） (2020-06-18T14:11:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。