論文の概要: To Boost or not to Boost: On the Limits of Boosted Neural Networks

• arxiv url: http://arxiv.org/abs/2107.13600v1
• Date: Wed, 28 Jul 2021 19:10:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-31 00:45:00.648232
• Title: To Boost or not to Boost: On the Limits of Boosted Neural Networks
• Title（参考訳）: 強化するか否か: 強化されたニューラルネットワークの限界について
• Authors: Sai Saketh Rambhatla, Michael Jones, Rama Chellappa
• Abstract要約: ブースティングは分類器のアンサンブルを学ぶ方法である。 ブースティングは決定木に非常に有効であることが示されているが、ニューラルネットワークへの影響は広く研究されていない。 単一のニューラルネットワークは通常、同じ数のパラメータを持つ小さなニューラルネットワークの強化されたアンサンブルよりもよく一般化される。
• 参考スコア（独自算出の注目度）: 67.67776094785363
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Boosting is a method for finding a highly accurate hypothesis by linearly combining many ``weak" hypotheses, each of which may be only moderately accurate. Thus, boosting is a method for learning an ensemble of classifiers. While boosting has been shown to be very effective for decision trees, its impact on neural networks has not been extensively studied. We prove one important difference between sums of decision trees compared to sums of convolutional neural networks (CNNs) which is that a sum of decision trees cannot be represented by a single decision tree with the same number of parameters while a sum of CNNs can be represented by a single CNN. Next, using standard object recognition datasets, we verify experimentally the well-known result that a boosted ensemble of decision trees usually generalizes much better on testing data than a single decision tree with the same number of parameters. In contrast, using the same datasets and boosting algorithms, our experiments show the opposite to be true when using neural networks (both CNNs and multilayer perceptrons (MLPs)). We find that a single neural network usually generalizes better than a boosted ensemble of smaller neural networks with the same total number of parameters.
• Abstract（参考訳）: ブースティング(boosting)は、多くの「弱」仮説を線形に結合することで、非常に正確な仮説を見つける方法である。 したがって、ブースティングは分類器のアンサンブルを学ぶ方法である。 ブースティングは決定木に非常に有効であることが示されているが、ニューラルネットワークへの影響は広く研究されていない。 決定木の和と畳み込みニューラルネットワーク(cnns)の和との1つの重要な違いは、決定木の和は、同じパラメータの1つの決定木では表現できないが、cnnの和は1つのcnnで表現できるということである。 次に、標準のオブジェクト認識データセットを用いて、決定木の増加したアンサンブルが、同じ数のパラメータを持つ単一の決定木よりも、データをテストする上ではるかに優れているという、よく知られた結果を検証する。 対照的に、同じデータセットとブースティングアルゴリズムを用いて、ニューラルネットワーク(CNNと多層パーセプトロン(MLP)の両方)を使用する場合、我々の実験は真であることを示す。 単一のニューラルネットワークは通常、同じ数のパラメータを持つ小さなニューラルネットワークの強化されたアンサンブルよりもよく一般化される。

関連論文リスト

• RF-GNN: Random Forest Boosted Graph Neural Network for Social Bot Detection [10.690802468726078]
  ソーシャルメディア上に多数のボットが存在することは、有害な影響をもたらす。 本稿では、RF-GNNと呼ばれるソーシャルボット検出のためのランダムフォレスト強化グラフニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2023-04-14T00:57:44Z)
• Structured Bayesian Compression for Deep Neural Networks Based on The Turbo-VBI Approach [23.729955669774977]
  多くの既存のプルーニング法では、生き残ったニューロンは構造のないニューラルネットワークでランダムに接続される。 刈り込み時のより規則的なスパース構造を促進するために, 3層階層の階層構造を提案する。 モデル圧縮問題を解くために,効率的なターボ変量ベイズ推論(Turbo-VBI)アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2023-02-21T07:12:36Z)
• Improving the Accuracy and Robustness of CNNs Using a Deep CCA Neural Data Regularizer [2.026424957803652]
  畳み込みニューラルネットワーク(CNN)がオブジェクト認識においてより正確になるにつれて、それらの表現は霊長類の視覚システムとよりよく似ている。 この問題に対処する以前の試みは、正規化法の制限により、精度が極端に向上した。 我々は,CNNのイメージ表現とサル視覚野との類似性を最適化するために,ディープ相関解析(DCCA)を用いた新しいCNN用ニューラルデータ正規化器を開発した。
  論文  参考訳（メタデータ） (2022-09-06T15:40:39Z)
• Coin Flipping Neural Networks [8.009932864430901]
  ランダム性を持つニューラルネットワークは、増幅を用いて決定論的ネットワークより優れていることを示す。 我々は、ほとんどの分類問題に対して、決定論的ネットワークよりも高い精度または少ないニューロンでそれらを解くCFNNが存在すると推測する。
  論文  参考訳（メタデータ） (2022-06-18T11:19:44Z)
• Can pruning improve certified robustness of neural networks? [106.03070538582222]
  ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。 実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。 さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
  論文  参考訳（メタデータ） (2022-06-15T05:48:51Z)
• Distilled Neural Networks for Efficient Learning to Rank [0.0]
  本稿では, 蒸留法, プルーニング法, 高速行列乗算法を組み合わせて, ニューラルスコアリング時間を高速化する手法を提案する。 2つの公開学習からランクへのデータセットに関する総合的な実験は、新しいアプローチで生成されたニューラルネットワークが、有効性と効率のトレードオフのあらゆる点で競合していることを示している。
  論文  参考訳（メタデータ） (2022-02-22T08:40:18Z)
• Redundant representations help generalization in wide neural networks [71.38860635025907]
  様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。 最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)
• Growing Deep Forests Efficiently with Soft Routing and Learned Connectivity [79.83903179393164]
  この論文は、いくつかの重要な側面で深い森林のアイデアをさらに拡張します。 我々は、ノードがハードバイナリ決定ではなく、確率的ルーティング決定、すなわちソフトルーティングを行う確率的ツリーを採用する。 MNISTデータセットの実験は、私たちの力のある深部森林が[1]、[3]よりも優れたまたは匹敵するパフォーマンスを達成できることを示しています。
  論文  参考訳（メタデータ） (2020-12-29T18:05:05Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)
• Neural Additive Models: Interpretable Machine Learning with Neural Nets [77.66871378302774]
  ディープニューラルネットワーク(DNN)は、さまざまなタスクにおいて優れたパフォーマンスを達成した強力なブラックボックス予測器である。 本稿では、DNNの表現性と一般化した加法モデルの固有知性を組み合わせたニューラル付加モデル(NAM)を提案する。 NAMは、ニューラルネットワークの線形結合を学び、それぞれが単一の入力機能に付随する。
  論文  参考訳（メタデータ） (2020-04-29T01:28:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。