Fugu-MT 論文翻訳(概要): Feedback-Gated Rectified Linear Units

論文の概要: Feedback-Gated Rectified Linear Units

arxiv url: http://arxiv.org/abs/2301.02610v1
Date: Fri, 6 Jan 2023 17:14:11 GMT
ステータス: 処理完了
システム内更新日: 2023-01-09 23:13:59.225669
Title: Feedback-Gated Rectified Linear Units
Title（参考訳）: フィードバックゲーテッド整流線形単位
Authors: Marco Kemmerling
Abstract要約: 整流線形ユニットをゲートとする生物学的フィードバック機構を提案する。 MNISTデータセットでは、フィードバックのないオートエンコーダは、フィードバックのないものに比べて、より高速な収束、パフォーマンスの向上、ノイズに対する堅牢性を示している。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Feedback connections play a prominent role in the human brain but have not received much attention in artificial neural network research. Here, a biologically inspired feedback mechanism which gates rectified linear units is proposed. On the MNIST dataset, autoencoders with feedback show faster convergence, better performance, and more robustness to noise compared to their counterparts without feedback. Some benefits, although less pronounced and less consistent, can be observed when networks with feedback are applied on the CIFAR-10 dataset.
Abstract（参考訳）: フィードバック接続は人間の脳において重要な役割を果たすが、ニューラルネットワーク研究ではあまり注目されていない。ここでは, 整流線形ユニットをゲートとする生物学的フィードバック機構を提案する。 MNISTデータセットでは、フィードバックのないオートエンコーダは、フィードバックのないものに比べて、より高速な収束、パフォーマンスの向上、ノイズに対する堅牢性を示している。 cifar-10データセットにフィードバックのあるネットワークを適用すると、いくつかの利点は、発音や一貫性が低下するが、観察できる。

関連論文リスト

Leveraging Low-Rank and Sparse Recurrent Connectivity for Robust Closed-Loop Control [63.310780486820796]
繰り返し接続のパラメータ化が閉ループ設定のロバスト性にどのように影響するかを示す。パラメータが少ないクローズドフォーム連続時間ニューラルネットワーク(CfCs)は、フルランクで完全に接続されたニューラルネットワークよりも優れています。
論文参考訳（メタデータ） (2023-10-05T21:44:18Z)
Improving Out-of-Distribution Generalization of Neural Rerankers with Contextualized Late Interaction [52.63663547523033]
マルチベクトルの最も単純な形式である後期相互作用は、[]ベクトルのみを使用して類似度スコアを計算する神経リランカにも役立ちます。異なるモデルサイズと多様な性質の第一段階のレトリバーに一貫性があることが示される。
論文参考訳（メタデータ） (2023-02-13T18:42:17Z)
SAR Despeckling Using Overcomplete Convolutional Networks [53.99620005035804]
スペックルはSAR画像を劣化させるため、リモートセンシングにおいて重要な問題である。近年の研究では、畳み込みニューラルネットワーク(CNN)が古典的解法よりも優れていることが示されている。本研究は、受容場を制限することで低レベルの特徴を学習することに集中するために、過剰なCNNアーキテクチャを用いる。本稿では,合成および実SAR画像の非特定化手法と比較して,提案手法により非特定化性能が向上することを示す。
論文参考訳（メタデータ） (2022-05-31T15:55:37Z)
Multi-Agent Feedback Enabled Neural Networks for Intelligent Communications [28.723523146324002]
本稿では,新しいマルチエージェントフィードバック対応ニューラルネットワーク(MAFENN)フレームワークを提案する。 MAFENNフレームワークは理論的には3人プレイのFeedback Stackelbergゲームに定式化され、このゲームはFeedback Stackelberg平衡に収束することが証明される。無線通信におけるMAFENNフレームワークの実現可能性を検証するため,マルチエージェントMAFENNベースの等化器(MAFENN-E)を開発した。
論文参考訳（メタデータ） (2022-05-22T05:28:43Z)
Visual Attention Emerges from Recurrent Sparse Reconstruction [82.78753751860603]
本稿では,人間の視覚的注意機構の2つの特徴,すなわち再発と空間性に基づく新しい注意形態について述べる。自己注意は単一ステップの最適化と空間制約のないVARSの特殊な場合であることを示す。 VARSは、一般的な視覚変換器における自己注意の代替として容易に利用でき、様々なベンチマークでその堅牢性を一貫して改善することができる。
論文参考訳（メタデータ） (2022-04-23T00:35:02Z)
Minimizing Control for Credit Assignment with Strong Feedback [65.59995261310529]
ディープニューラルネットワークにおける勾配に基づくクレジット割り当ての現在の手法は、無限小のフィードバック信号を必要とする。我々は、神経活動に対する強いフィードバックと勾配に基づく学習を組み合わせることで、ニューラルネットワークの最適化に関する新たな視点を自然に導き出すことを示す。 DFCにおける強いフィードバックを用いることで、空間と時間において完全に局所的な学習規則を用いることで、前向きとフィードバックの接続を同時に学習できることを示す。
論文参考訳（メタデータ） (2022-04-14T22:06:21Z)
SalFBNet: Learning Pseudo-Saliency Distribution via Feedback Convolutional Networks [8.195696498474579]
本稿では,サリエンシ検出のためのフィードバック再帰的畳み込みフレームワーク(SalFBNet)を提案する。大規模Pseudo-Saliencyデータセットを作成し、唾液度検出におけるデータ不足の問題を軽減する。
論文参考訳（メタデータ） (2021-12-07T14:39:45Z)
On the role of feedback in visual processing: a predictive coding perspective [0.6193838300896449]
我々は、フィードフォワード視覚処理のモデルとして深層畳み込みネットワーク(CNN)を検討し、予測符号化(PC)ダイナミクスを実装した。ノイズレベルが増加するにつれて、ネットワークはますますトップダウンの予測に依存している。さらに,PCダイナミクスを実装するネットワークの精度は,等価なフォワードネットワークに比べて時間経過とともに著しく向上する。
論文参考訳（メタデータ） (2021-06-08T10:07:23Z)
Recurrent Feedback Improves Recognition of Partially Occluded Objects [1.452875650827562]
人工ニューラルネットワークが再発の恩恵を受けるかどうかについて検討する。競合パラメトリック複雑性のフィードフォワードモデルと比較して,繰り返しモデルでは分類精度が有意に高いことがわかった。
論文参考訳（メタデータ） (2021-04-21T16:18:34Z)
PoCoNet: Better Speech Enhancement with Frequency-Positional Embeddings, Semi-Supervised Conversational Data, and Biased Loss [26.851416177670096]
PoCoNetは畳み込みニューラルネットワークで、周波数位置埋め込みを用いることで、初期のレイヤで周波数依存の機能をより効率的に構築することができる。半教師付き手法は、ノイズの多いデータセットを事前に拡張することで、会話訓練データの量を増やすのに役立つ。音声品質の保存に偏った新たな損失関数は、音声品質に対する人間の知覚的意見をよりよく一致させるのに役立つ。
論文参考訳（メタデータ） (2020-08-11T01:24:45Z)
Neural Networks with Recurrent Generative Feedback [61.90658210112138]
畳み込みニューラルネットワーク(CNN)でこの設計をインスタンス化する実験では、標準ベンチマーク上の従来のフィードフォワードCNNに対して、CNN-Fは敵のロバスト性を大幅に改善した。
論文参考訳（メタデータ） (2020-07-17T19:32:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。