論文の概要: Deep Regression Ensembles

• arxiv url: http://arxiv.org/abs/2203.05417v1
• Date: Thu, 10 Mar 2022 15:13:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-11 17:44:22.822274
• Title: Deep Regression Ensembles
• Title（参考訳）: 深層回帰アンサンブル
• Authors: Antoine Didisheim, Bryan Kelly, Semyon Malamud
• Abstract要約: 我々は、ディープ・ニューラルネットワーク(DNN)を設計し、訓練するための方法論を導入し、「ディープ・レグレッション・アンサンブル(Deep Regression Ensembles)」と呼ぶ。 ランダムな特徴回帰でトレーニングされたDNNと2層ニューラルネットワークのギャップを埋める。 我々の実験は、単一のDREアーキテクチャが多くのデータセットにおいて最先端のDNNと同等かそれ以上であることを示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: We introduce a methodology for designing and training deep neural networks (DNN) that we call "Deep Regression Ensembles" (DRE). It bridges the gap between DNN and two-layer neural networks trained with random feature regression. Each layer of DRE has two components, randomly drawn input weights and output weights trained myopically (as if the final output layer) using linear ridge regression. Within a layer, each neuron uses a different subset of inputs and a different ridge penalty, constituting an ensemble of random feature ridge regressions. Our experiments show that a single DRE architecture is at par with or exceeds state-of-the-art DNN in many data sets. Yet, because DRE neural weights are either known in closed-form or randomly drawn, its computational cost is orders of magnitude smaller than DNN.
• Abstract（参考訳）: 本稿では,ディープ・レグレッション・アンサンブル(dre)と呼ばれる深層ニューラルネットワーク(dnn)の設計とトレーニングのための手法を提案する。 ランダムな特徴回帰でトレーニングされたDNNと2層ニューラルネットワークのギャップを埋める。 DREの各層は、ランダムに描画された入力重みと(最終出力層のように)ミオプティックに訓練された出力重みの2つの成分を持つ。 層内では、各ニューロンは異なる入力サブセットと異なるリッジペナルティを使用し、ランダムな特徴リッジ回帰のアンサンブルを構成する。 我々の実験は、単一のDREアーキテクチャが多くのデータセットにおいて最先端のDNNと同等かそれ以上であることを示している。 しかし、DREニューラルウェイトはクローズドフォームかランダム描画で知られているため、計算コストはDNNよりも桁違いに小さい。

関連論文リスト

• Wide Neural Networks Trained with Weight Decay Provably Exhibit Neural Collapse [32.06666853127924]
  収束時のディープニューラルネットワーク(DNN)は、ニューラル崩壊と呼ばれる対称的な幾何学構造を通して、最終層のトレーニングデータを一貫して表現している。 ここでは、垂直層の特徴は自由変数であり、モデルがデータに依存しないため、トレーニングをキャプチャする能力に疑問を呈する。 まず, (i) 線形層の低トレーニング誤差とバランス性, (ii) 線形部の前の特徴の有界条件付けを前提とした神経崩壊に関する一般的な保証を示す。
  論文  参考訳（メタデータ） (2024-10-07T10:16:40Z)
• Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
  勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。 我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。 彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
  論文  参考訳（メタデータ） (2022-12-05T14:47:52Z)
• Function Regression using Spiking DeepONet [2.935661780430872]
  本稿では,関数の入力領域と連続出力値をスパイクとして表現することの難しさから,回帰処理を行うSNNベースの手法を提案する。 私たちはスパイクの振る舞いを学ぶために、演算子を学習するために設計されたニューラルネットワークであるDeepONetを使用しています。 スパイクフレームワークでDeepONetを使用する方法をいくつか提案し、異なるベンチマークの精度とトレーニング時間を提示する。
  論文  参考訳（メタデータ） (2022-05-17T15:22:22Z)
• Saving RNN Computations with a Neuron-Level Fuzzy Memoization Scheme [0.0]
  リカレントニューラルネットワーク(Recurrent Neural Networks, RNN)は、音声認識や機械翻訳などのアプリケーションにおいて重要な技術である。 我々は,各ニューロンの出力を動的にキャッシュし,現在の出力が以前計算された結果に類似すると予測されたときに再利用する,ニューロンレベルのファジィメモ化スキームを構築した。 提案手法は26.7%以上の計算を回避し、21%の省エネと1.4倍の高速化を実現している。
  論文  参考訳（メタデータ） (2022-02-14T09:02:03Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Redundant representations help generalization in wide neural networks [71.38860635025907]
  様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。 最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Twin Neural Network Regression [0.802904964931021]
  ツインニューラルネットワーク(TNN)レグレッションを導入する。 本手法は,ターゲット自体ではなく,2つの異なるデータポイントの目標値の違いを予測する。 TNNは、他の最先端手法と比較して、異なるデータセットに対してより正確な予測を行うことができることを示す。
  論文  参考訳（メタデータ） (2020-12-29T17:52:31Z)
• Solving Mixed Integer Programs Using Neural Networks [57.683491412480635]
  本稿では,mipソルバの2つのキーサブタスクに学習を適用し,高品質なジョイント変数割当を生成し,その割当と最適課題との客観的値の差を限定する。 提案手法は,ニューラルネットワークに基づく2つのコンポーネントであるニューラルダイバーディングとニューラルブランチを構築し,SCIPなどのベースMIPソルバで使用する。 2つのGoogle生産データセットとMIPLIBを含む6つの現実世界データセットに対するアプローチを評価し、それぞれに別々のニューラルネットワークをトレーニングする。
  論文  参考訳（メタデータ） (2020-12-23T09:33:11Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。