論文の概要: Recurrent Rational Networks

• arxiv url: http://arxiv.org/abs/2102.09407v1
• Date: Thu, 18 Feb 2021 14:53:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-19 18:28:01.489791
• Title: Recurrent Rational Networks
• Title（参考訳）: リカレント合理ネットワーク
• Authors: Quentin Delfosse, Patrick Schramowski, Alejandro Molina and Kristian Kersting
• Abstract要約: まず、なぜ有理が活性化関数に最適な選択を与えるのかを説明する。 残存ネットワークに対する繰り返しに触発された私たちは、Rationals: Recurrent Rationalsの自己正規化バージョンを導き出します。 画像分類と深層強化学習において,(繰り返し)レーショナルネットワークは高い性能向上をもたらすことを実証した。
• 参考スコア（独自算出の注目度）: 81.21599242430537
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Latest insights from biology show that intelligence does not only emerge from the connections between the neurons, but that individual neurons shoulder more computational responsibility. Current Neural Network architecture design and search are biased on fixed activation functions. Using more advanced learnable activation functions provide Neural Networks with higher learning capacity. However, general guidance for building such networks is still missing. In this work, we first explain why rationals offer an optimal choice for activation functions. We then show that they are closed under residual connections, and inspired by recurrence for residual networks we derive a self-regularized version of Rationals: Recurrent Rationals. We demonstrate that (Recurrent) Rational Networks lead to high performance improvements on Image Classification and Deep Reinforcement Learning.
• Abstract（参考訳）: 生物学の最近の知見は、知能はニューロン間のつながりから生じるだけでなく、個々のニューロンが計算責任を担っていることを示している。 現在のニューラルネットワークの設計と探索は、固定活性化関数に偏っている。 より高度な学習可能なアクティベーション機能を使用して、ニューラルネットワークに学習能力を提供します。 しかし、そのようなネットワークを構築するための一般的なガイダンスはまだ欠けています。 本稿では、まず、なぜrationalsがアクティベーション関数に最適な選択を提供するのかを説明する。 残差接続の下で閉じていることを示し、残差ネットワークの繰り返しにインスパイアされて、Rationals: Recurrent Rationalsの自己正規化バージョンを導出する。 画像分類と深層強化学習において,(繰り返し)レーショナルネットワークは高い性能向上をもたらすことを実証した。

関連論文リスト

• Artificial Kuramoto Oscillatory Neurons [65.16453738828672]
  しきい値単位の動的代替として人工内蔵ニューロン(AKOrN)を導入する。 このアイデアは、幅広いタスクにまたがってパフォーマンス改善をもたらすことを示しています。 これらの経験的結果は、神経表現の最も基本的なレベルにおいて、私たちの仮定の重要性を示していると信じている。
  論文  参考訳（メタデータ） (2024-10-17T17:47:54Z)
• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• Fast gradient-free activation maximization for neurons in spiking neural networks [5.805438104063613]
  このようなループのための効率的な設計のフレームワークを提案する。 トレーニング中の人工ニューロンの最適刺激の変化を追跡する。 この洗練された最適刺激の形成は、分類精度の増大と関連している。
  論文  参考訳（メタデータ） (2023-12-28T18:30:13Z)
• Leveraging Low-Rank and Sparse Recurrent Connectivity for Robust Closed-Loop Control [63.310780486820796]
  繰り返し接続のパラメータ化が閉ループ設定のロバスト性にどのように影響するかを示す。 パラメータが少ないクローズドフォーム連続時間ニューラルネットワーク(CfCs)は、フルランクで完全に接続されたニューラルネットワークよりも優れています。
  論文  参考訳（メタデータ） (2023-10-05T21:44:18Z)
• Decorrelating neurons using persistence [29.25969187808722]
  2つの正規化項は、クリッドの最小スパンニングツリーの重みから計算される。 ニューロン間の相関関係を最小化することで、正規化条件よりも低い精度が得られることを示す。 正規化の可微分性の証明を含むので、最初の効果的なトポロジカルな永続性に基づく正規化用語を開発することができる。
  論文  参考訳（メタデータ） (2023-08-09T11:09:14Z)
• Artificial Neuronal Ensembles with Learned Context Dependent Gating [0.0]
  LXDG(Learned Context Dependent Gating)は、人工神経のアンサンブルを柔軟に割り当て、リコールする方法である。 ネットワークの隠れた層におけるアクティビティは、トレーニング中に動的に生成されるゲートによって変調される。 本稿では,この手法が連続学習ベンチマークにおける破滅的な忘れを軽減できることを示す。
  論文  参考訳（メタデータ） (2023-01-17T20:52:48Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Modeling Implicit Bias with Fuzzy Cognitive Maps [0.0]
  本稿では、構造化データセットにおける暗黙バイアスを定量化するファジィ認知マップモデルを提案する。 本稿では,ニューロンの飽和を防止する正規化様伝達関数を備えた新しい推論機構を提案する。
  論文  参考訳（メタデータ） (2021-12-23T17:04:12Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)
• Rational neural networks [3.4376560669160394]
  我々は合理的な活性化機能を持つニューラルネットワークを考える。 有理ニューラルネットワークが指数関数的に小さいReLUネットワークよりもスムーズな関数を効率的に近似していることを証明する。
  論文  参考訳（メタデータ） (2020-04-04T10:36:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。