論文の概要: Coin Flipping Neural Networks

• arxiv url: http://arxiv.org/abs/2206.09182v1
• Date: Sat, 18 Jun 2022 11:19:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-26 05:46:50.068890
• Title: Coin Flipping Neural Networks
• Title（参考訳）: コインフリップニューラルネットワーク
• Authors: Yuval Sieradzki, Nitzan Hodos, Gal Yehuda, Assaf Schuster
• Abstract要約: ランダム性を持つニューラルネットワークは、増幅を用いて決定論的ネットワークより優れていることを示す。 このようなネットワークをCoin-Flipping Neural Networks(CFNN)と呼ぶ。
• 参考スコア（独自算出の注目度）: 8.009932864430901
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We show that neural networks with access to randomness can outperform deterministic networks by using amplification. We call such networks Coin-Flipping Neural Networks, or CFNNs. We show that a CFNN can approximate the indicator of a $d$-dimensional ball to arbitrary accuracy with only 2 layers and $\mathcal{O}(1)$ neurons, where a 2-layer deterministic network was shown to require $\Omega(e^d)$ neurons, an exponential improvement (arXiv:1610.09887 [cs.LG]). We prove a highly non-trivial result, that for almost any classification problem, there exists a trivially simple network that solves it given a sufficiently powerful generator for the network's weights. Combining these results we conjecture that for most classification problems, there is a CFNN which solves them with higher accuracy or fewer neurons than any deterministic network. Finally, we verify our proofs experimentally using novel CFNN architectures on CIFAR10 and CIFAR100, reaching an improvement of 9.25\% from the baseline.
• Abstract（参考訳）: ランダム性を持つニューラルネットワークは増幅を用いて決定論的ネットワークより優れていることを示す。 このようなネットワークをCoin-Flipping Neural Networks(CFNN)と呼ぶ。 CFNNは2層と$\mathcal{O}(1)$ニューロンで任意の精度で$d$次元球のインジケータを近似でき、2層決定ネットワークは$\Omega(e^d)$ニューロン、指数的改善(arXiv:1610.09887[cs.LG])を必要とすることを示した。 ほとんどすべての分類問題に対して、ネットワークの重みに対して十分な強力な生成器を与えるような、自明な単純なネットワークが存在することを証明している。 これらの結果を組み合わせることで、ほとんどの分類問題に対して、決定論的ネットワークよりも高い精度または少ないニューロンでそれらを解くCFNNが存在すると推測する。 最後に, CIFAR10 および CIFAR100 上の新しい CFNN アーキテクチャを用いて実験により検証を行い, ベースラインから 9.25 % 向上した。

関連論文リスト

• A Hierarchical Fused Quantum Fuzzy Neural Network for Image Classification [8.7057403071943]
  我々は新しい階層型融合量子ファジィニューラルネットワーク(HQFNN)を提案した。 HQFNNは量子ニューラルネットワークを使用してファジィニューラルネットワークのファジィメンバシップ関数を学習する。 その結果,提案手法は既存手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-03-14T12:09:36Z)
• Bayesian Inference Accelerator for Spiking Neural Networks [3.145754107337963]
  スパイキングニューラルネットワーク(SNN)は、計算面積と電力を減らす可能性がある。 本研究では,効率的なベイズSNNをハードウェア上で開発・実装するための最適化フレームワークについて述べる。 我々は、完全精度のベルヌーイパラメータを持つベイジアンバイナリネットワークに匹敵するアキュラ級数を示し、最大25時間分のスパイクを減らした。
  論文  参考訳（メタデータ） (2024-01-27T16:27:19Z)
• You Can Have Better Graph Neural Networks by Not Training Weights at All: Finding Untrained GNNs Tickets [105.24703398193843]
  グラフニューラルネットワーク(GNN)の未訓練作業はまだ謎のままだ。 得られた未学習作品によって,GNNの過度なスムース化問題を大幅に軽減できることを示す。 また,そのような未学習作業が,入力摂動の分布外検出と堅牢性に優れていることも観察した。
  論文  参考訳（メタデータ） (2022-11-28T14:17:36Z)
• Continuous approximation by convolutional neural networks with a sigmoidal function [0.0]
  我々は、非重複CNNと呼ばれる畳み込みニューラルネットワーク(CNN)のクラスを提示する。 このようなシグミカルアクティベーション関数を持つネットワークは任意の精度でコンパクトな入力集合上で定義された任意の連続関数を近似できることを示す。
  論文  参考訳（メタデータ） (2022-09-27T12:31:36Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
  ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。 特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
  論文  参考訳（メタデータ） (2022-03-27T15:22:19Z)
• Scalable Lipschitz Residual Networks with Convex Potential Flows [120.27516256281359]
  残差ネットワーク勾配流における凸ポテンシャルを用いることで,1ドルのLipschitz変換が組み込まれていることを示す。 CIFAR-10の包括的な実験は、アーキテクチャのスケーラビリティと、証明可能な防御に$ell$のアプローチの利点を実証している。
  論文  参考訳（メタデータ） (2021-10-25T07:12:53Z)
• Finding Everything within Random Binary Networks [11.689913953698081]
  ランダムネットワークを任意の精度で近似することは、二進数$pm1$重みのランダムネットワークを単純に作ることによって証明できる。 任意の対象ネットワークを任意の精度で近似できることを示すために、目的ネットワークよりも広く、より深い多対数係数である二進数$pm1$重みのランダムなネットワークを作ればよい。
  論文  参考訳（メタデータ） (2021-10-18T03:19:25Z)
• The Rate of Convergence of Variation-Constrained Deep Neural Networks [35.393855471751756]
  変動制約のあるニューラルネットワークのクラスは、任意に小さな定数$delta$に対して、ほぼパラメトリックレート$n-1/2+delta$を達成することができることを示す。 その結果、滑らかな関数の近似に必要な神経機能空間は、しばしば知覚されるものほど大きくない可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-22T21:28:00Z)
• Analyzing Neural Networks Based on Random Graphs [77.34726150561087]
  様々なタイプのランダムグラフに対応するアーキテクチャを用いて,ニューラルネットワークの大規模評価を行う。 古典的な数値グラフ不変量は、それ自体が最良のネットワークを選び出すことができない。 また、主に短距離接続を持つネットワークは、多くの長距離接続が可能なネットワークよりも性能が良いことも見出した。
  論文  参考訳（メタデータ） (2020-02-19T11:04:49Z)
• Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
  本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
  論文  参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。