論文の概要: Gaussian Gated Linear Networks

• arxiv url: http://arxiv.org/abs/2006.05964v2
• Date: Wed, 21 Oct 2020 16:39:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-23 04:48:43.019426
• Title: Gaussian Gated Linear Networks
• Title（参考訳）: ガウスゲーテッド線形ネットワーク
• Authors: David Budden, Adam Marblestone, Eren Sezener, Tor Lattimore, Greg Wayne, Joel Veness
• Abstract要約: 本稿では,最近提案されたディープニューラルネットワークのGLNファミリの拡張であるGaussian Gated Linear Network (G-GLN)を提案する。 機能を学ぶためにバックプロパゲーションを使う代わりに、GLNは凸目標の最適化に基づいて、分散型でローカルなクレジット割り当て機構を持つ。
• 参考スコア（独自算出の注目度）: 32.27304928359326
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose the Gaussian Gated Linear Network (G-GLN), an extension to the recently proposed GLN family of deep neural networks. Instead of using backpropagation to learn features, GLNs have a distributed and local credit assignment mechanism based on optimizing a convex objective. This gives rise to many desirable properties including universality, data-efficient online learning, trivial interpretability and robustness to catastrophic forgetting. We extend the GLN framework from classification to multiple regression and density modelling by generalizing geometric mixing to a product of Gaussian densities. The G-GLN achieves competitive or state-of-the-art performance on several univariate and multivariate regression benchmarks, and we demonstrate its applicability to practical tasks including online contextual bandits and density estimation via denoising.
• Abstract（参考訳）: 本稿では,最近提案されたディープニューラルネットワークのGLNファミリの拡張であるGaussian Gated Linear Network (G-GLN)を提案する。 機能を学ぶためにバックプロパゲーションを使う代わりに、GLNは凸目標の最適化に基づいて、分散型でローカルなクレジット割り当て機構を持つ。 これにより、普遍性、データ効率のよいオンライン学習、自明な解釈可能性、破滅的な忘れ物に対する堅牢性など、多くの望ましい特性が生まれる。 我々は、GLNフレームワークを分類から多重回帰および密度モデリングに拡張し、幾何混合をガウス密度の積に一般化する。 g-glnは,複数の不定値および多変量回帰ベンチマークにおいて,競争的あるいは最先端的な性能を達成し,オンライン・コンテクスト・バンディットやデノージングによる密度推定といった実用的なタスクへの適用性を示す。

関連論文リスト

• On the Convergence of (Stochastic) Gradient Descent for Kolmogorov--Arnold Networks [56.78271181959529]
  Kolmogorov--Arnold Networks (KAN) はディープラーニングコミュニティで注目されている。 実験により、勾配降下(SGD)により最適化されたカンが、ほぼゼロに近い訓練損失を達成できることが示された。
  論文  参考訳（メタデータ） (2024-10-10T15:34:10Z)
• A Non-negative VAE:the Generalized Gamma Belief Network [49.970917207211556]
  ガンマ信念ネットワーク(GBN)は、テキストデータ中の多層解釈可能な潜在表現を明らかにする可能性を実証している。 本稿では、一般化ガンマ信念ネットワーク(Generalized GBN)を導入し、元の線形生成モデルをより表現力のある非線形生成モデルに拡張する。 また、潜伏変数の後方分布を近似する上向きのワイブル推論ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-08-06T18:18:37Z)
• Exact Gauss-Newton Optimization for Training Deep Neural Networks [0.0]
  一般化されたガウスニュートン(GN)ヘッセン近似と低ランク線形代数を組み合わせた2階最適化アルゴリズムEGNを提案する。 線形探索,適応正則化,運動量などの改良をEGNにシームレスに追加して,アルゴリズムをさらに高速化する方法について述べる。
  論文  参考訳（メタデータ） (2024-05-23T10:21:05Z)
• Regularized Gauss-Newton for Optimizing Overparameterized Neural Networks [2.0072624123275533]
  一般化されたガウスニュートン(GGN)最適化法は、曲率推定を解法に組み込む。 本研究では、2層ニューラルネットワークを明示的な正規化で最適化するGGN法について検討する。
  論文  参考訳（メタデータ） (2024-04-23T10:02:22Z)
• Kernel-based Joint Multiple Graph Learning and Clustering of Graph Signals [2.4305626489408465]
  本稿では, Kernel-based Joint Multiple GL and clustering of graph signal applicationを紹介する。 実験により、KMGLは、特に高騒音レベルのシナリオにおいて、GLクラスタリングの堅牢性を大幅に向上することが示された。 これらの知見は,様々な実世界のアプリケーションにおいて,グラフ信号処理法の性能向上のためのKMGLの可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2023-10-29T13:41:12Z)
• Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs [63.768739279562105]
  学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。 この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
  論文  参考訳（メタデータ） (2023-09-26T17:42:52Z)
• Tackling Data Heterogeneity: A New Unified Framework for Decentralized SGD with Sample-induced Topology [6.6682038218782065]
  我々は,経験的リスク最小化問題に対して,勾配に基づく最適化手法を統一する汎用フレームワークを開発した。 本稿では,SAGA,Local-SVRG,GT-SAGAなどの分散還元(VR)および勾配追跡(GT)手法の統一的な視点を提供する。 その結果、VRとGTの手法は、それぞれデバイス内およびデバイス間のデータを効果的に排除し、アルゴリズムを最適解に正確に収束させることができることがわかった。
  論文  参考訳（メタデータ） (2022-07-08T07:50:08Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• Learning Graph Neural Networks for Multivariate Time Series Anomaly Detection [8.688578727646409]
  局所不確実性推定を用いたGLUE(Graph Deviation Network)を提案する。 GLUEは変数間の複雑な依存関係を学び、それを使って異常な振る舞いをよりよく識別する。 また、GLUEは、同様のセンサーをまとめる有意義なセンサー埋め込みを学習することを示す。
  論文  参考訳（メタデータ） (2021-11-15T21:05:58Z)
• Fast Learning of Graph Neural Networks with Guaranteed Generalizability: One-hidden-layer Case [93.37576644429578]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから実際に学習する上で、近年大きな進歩を遂げている。 回帰問題と二項分類問題の両方に隠れ層を持つGNNの理論的に基底的な一般化可能性解析を行う。
  論文  参考訳（メタデータ） (2020-06-25T00:45:52Z)
• Optimization and Generalization Analysis of Transduction through Gradient Boosting and Application to Multi-scale Graph Neural Networks [60.22494363676747]
  現在のグラフニューラルネットワーク(GNN)は、オーバースムーシング(over-smoothing)と呼ばれる問題のため、自分自身を深くするのは難しいことが知られている。 マルチスケールGNNは、オーバースムーシング問題を緩和するための有望なアプローチである。 マルチスケールGNNを含むトランスダクティブ学習アルゴリズムの最適化と一般化を保証する。
  論文  参考訳（メタデータ） (2020-06-15T17:06:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。