論文の概要: Reproducing Activation Function for Deep Learning

• arxiv url: http://arxiv.org/abs/2101.04844v2
• Date: Sun, 21 Feb 2021 04:29:58 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-30 08:02:02.224820
• Title: Reproducing Activation Function for Deep Learning
• Title（参考訳）: ディープラーニングのための再生活性化関数
• Authors: Senwei Liang and Liyao Lyu and Chunmei Wang and Haizhao Yang
• Abstract要約: 各種アプリケーションの深層学習精度を向上させるために、再生活性化機能(RAF)を提案します。 RAFは、既存のディープラーニング解法よりも高精度な解に対するディープラーニング最適化の収束を容易にする。
• 参考スコア（独自算出の注目度）: 5.5438676149999075
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose reproducing activation functions (RAFs) to improve deep learning accuracy for various applications ranging from computer vision to scientific computing. The idea is to employ several basic functions and their learnable linear combination to construct neuron-wise data-driven activation functions for each neuron. Armed with RAFs, neural networks (NNs) can reproduce traditional approximation tools and, therefore, approximate target functions with a smaller number of parameters than traditional NNs. In NN training, RAFs can generate neural tangent kernels (NTKs) with a better condition number than traditional activation functions lessening the spectral bias of deep learning. As demonstrated by extensive numerical tests, the proposed RAFs can facilitate the convergence of deep learning optimization for a solution with higher accuracy than existing deep learning solvers for audio/image/video reconstruction, PDEs, and eigenvalue problems. With RAFs, the errors of audio/video reconstruction, PDEs, and eigenvalue problems are decreased by over 14%, 73%, 99%, respectively, compared with baseline, while the performance of image reconstruction increases by 58%.
• Abstract（参考訳）: 本稿では,コンピュータビジョンから科学計算に至るまで,様々な応用のディープラーニング精度を向上させるために,再生活性化関数(RAF)を提案する。 この考え方は、いくつかの基本的な機能と学習可能な線形結合を用いて、ニューロンごとにニューロンのデータ駆動活性化関数を構築することである。 RAFで武装したニューラルネットワーク(NN)は、従来の近似ツールを再現できるため、従来のNNよりも少ないパラメータのターゲット関数を近似することができる。 NNトレーニングでは、RAFは従来のアクティベーション機能よりも条件番号のよいニューラルタンジェントカーネル(NTK)を生成でき、ディープラーニングのスペクトルバイアスを低減できる。 広範な数値実験によって示されるように,提案するrafは,既存の音声/画像/ビデオ再構成,pdes,固有値問題に対して,既存のディープラーニングソルバよりも高精度な解に対するディープラーニング最適化の収束を容易にする。 RAFでは,音声・ビデオ再生の誤差,PDE,固有値問題の誤差がベースラインに比べて14%以上,73%以上,99%減少し,画像再構成の性能は58%向上した。

関連論文リスト

• Learnable Activation Functions in Physics-Informed Neural Networks for Solving Partial Differential Equations [0.0]
  物理情報ネットワーク(PINN)における学習可能なアクティベーション関数を用いた部分微分方程式(PDE)の解法について検討する。 従来のMLP(Multilayer Perceptrons)とKAN(Kolmogorov-Arnold Neural Networks)に対する固定および学習可能なアクティベーションの比較を行った。 この発見は、PDEソルバのトレーニング効率、収束速度、テスト精度のバランスをとるニューラルネットワークアーキテクチャの設計に関する洞察を提供する。
  論文  参考訳（メタデータ） (2024-11-22T18:25:13Z)
• Growing Deep Neural Network Considering with Similarity between Neurons [4.32776344138537]
  我々は、訓練段階におけるコンパクトモデルにおいて、ニューロン数を漸進的に増加させる新しいアプローチを探求する。 本稿では,ニューロン類似性分布に基づく制約を導入することにより,特徴抽出バイアスと神経冗長性を低減する手法を提案する。 CIFAR-10とCIFAR-100データセットの結果、精度が向上した。
  論文  参考訳（メタデータ） (2024-08-23T11:16:37Z)
• ReLUs Are Sufficient for Learning Implicit Neural Representations [17.786058035763254]
  暗黙的神経表現学習におけるReLUアクティベーション関数の使用について再考する。 2次B-スプラインウェーブレットにインスパイアされ、ディープニューラルネットワーク(DNN)の各層にReLUニューロンに一連の簡単な制約を組み込む。 我々は、一般的な信念とは対照的に、ReLUニューロンのみからなるDNNに基づいて最先端のINRを学習できることを実証した。
  論文  参考訳（メタデータ） (2024-06-04T17:51:08Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Overcoming the Spectral Bias of Neural Value Approximation [17.546011419043644]
  ディープニューラルネットワークを用いた値近似は、アルゴリズムの他の部分に学習信号を提供する主要なモジュールであることが多い。 神経核レグレッションにおける最近の研究は、スペクトルバイアスの存在を示唆している。そこでは、値関数の高周波成分を適合させるには、低周波成分よりも指数関数的に多くの勾配更新ステップが必要である。 我々は、カーネルレグレッションのレンズを通して、非政治強化学習を再検討し、複合神経カーネルを介してそのようなバイアスを克服することを提案する。
  論文  参考訳（メタデータ） (2022-06-09T17:59:57Z)
• Optimal Learning Rates of Deep Convolutional Neural Networks: Additive Ridge Functions [19.762318115851617]
  深部畳み込みニューラルネットワークにおける平均2乗誤差解析について考察する。 付加的なリッジ関数に対しては、畳み込みニューラルネットワークとReLUアクティベーション関数を併用した1つの完全連結層が最適極小値に到達できることが示される。
  論文  参考訳（メタデータ） (2022-02-24T14:22:32Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• Deep Reinforcement Learning with Spiking Q-learning [51.386945803485084]
  スパイクニューラルネットワーク(SNN)は、少ないエネルギー消費で人工知能(AI)を実現することが期待されている。 SNNと深部強化学習(RL)を組み合わせることで、現実的な制御タスクに有望なエネルギー効率の方法を提供する。
  論文  参考訳（メタデータ） (2022-01-21T16:42:11Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• The Connection Between Approximation, Depth Separation and Learnability in Neural Networks [70.55686685872008]
  学習可能性と近似能力の関係について検討する。 対象関数の深いネットワークでの学習性は、より単純なクラスがターゲットを近似する能力に依存することを示す。
  論文  参考訳（メタデータ） (2021-01-31T11:32:30Z)
• Towards Efficient Processing and Learning with Spikes: New Approaches for Multi-Spike Learning [59.249322621035056]
  各種タスクにおける他のベースラインよりも優れた性能を示すための2つの新しいマルチスパイク学習ルールを提案する。 特徴検出タスクでは、教師なしSTDPの能力と、その制限を提示する能力を再検討する。 提案した学習ルールは,特定の制約を適用せずに,幅広い条件で確実にタスクを解くことができる。
  論文  参考訳（メタデータ） (2020-05-02T06:41:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。