Fugu-MT 論文翻訳(概要): Gated Chemical Units

論文の概要: Gated Chemical Units

arxiv url: http://arxiv.org/abs/2403.08791v1
Date: Tue, 30 Jan 2024 16:01:22 GMT
ステータス: 処理完了
システム内更新日: 2024-03-25 08:16:13.551796
Title: Gated Chemical Units
Title（参考訳）: ガス化化学ユニット
Authors: Mónika Farsang, Radu Grosu,
Abstract要約: ゲーテッドケミカルユニット(GCU)は、新しいタイプのゲートリカレント細胞である。 GCUは、生物学的に証明可能なニューラルモデルにギャップを埋める。
参考スコア（独自算出の注目度）: 7.737685867200335
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: We introduce Gated Chemical Units (GCUs), a new type of gated recurrent cells which provide fresh insights into the commonly-used gated recurrent units, and bridge their gap to biologically-plausible neural models. We systematically derive GCUs from Electrical Equivalent Circuits (EECs), a widely adopted ordinary-differential-equations model in neuroscience for biological neurons with both electrical and chemical synapses. We focus on saturated EECs, as they are more stable, and chemical synapses, as they are more expressive. To define GCUs, we introduce a new kind of gate, we call a time gate (TG), in the associated difference-equations model of the EECs. The TG learns for each neuron the optimal time step to be used in a simple Euler integration scheme, and leads to a very efficient gated unit. By observing that the TG corresponds to the forget gate (FG) in traditional gated recurrent units, we provide a new formulation of these units as neural ODEs. We also show that in GCUs, the FG is in fact its liquid time constant. Finally, we demonstrate that GCUs not only explain the elusive nature of gates in traditional recurrent units, but also represent a very competitive alternative to these units.
Abstract（参考訳）: Gated Chemical Units (GCUs) という新しいタイプのゲート型リカレント細胞を導入し、一般的に使われているゲート型リカレントユニットの新たな洞察を提供し、それらのギャップを生物学的に証明可能なニューラルモデルに橋渡しする。我々は電気・化学シナプスを持つ生体ニューロンに対する神経科学において広く採用されている常微分方程式モデルであるElectric Equivalent Circuits (EECs) からGCUを系統的に導出した。我々は、より安定な飽和EECと、より表現力のある化学シナプスに焦点をあてる。 GCUを定義するため,我々は時間ゲート (TG) と呼ばれる新しいゲートをEECの差分方程式モデルで導入する。 TGは、単純なオイラー積分法で使用する最適な時間ステップをニューロンごとに学習し、非常に効率的なゲート単位へと導く。従来のゲートリカレントユニットにおいて、TGがリザーブゲート(FG)に対応することを観察することにより、これらのユニットをニューラルODEとして新しい定式化する。また、GCUでは、FGはその液体時間定数であることを示す。最後に、GCUが従来の繰り返し単位におけるゲートの解法の性質を説明するだけでなく、これらの単位に対して非常に競争力のある代替手段であることを示す。

関連論文リスト

A Fast Algorithm to Simulate Nonlinear Resistive Networks [0.6526824510982799]
線形不等式制約を持つ二次計画問題として,非線形抵抗ネットワークのシミュレーションのための新しい手法を提案する。シミュレーション手法は既存のSPICEシミュレーションよりも優れており、最大327倍のネットワークを160倍高速でトレーニングすることができる。
論文参考訳（メタデータ） (2024-02-18T18:33:48Z)
ClST: A Convolutional Transformer Framework for Automatic Modulation Recognition by Knowledge Distillation [23.068233043023834]
本稿では、畳み込み結合型信号変換器(ClST)という新しいニューラルネットワークと、信号知識蒸留(SKD)という新しい知識蒸留法を提案する。 SKDは、ニューラルネットワークのパラメータと複雑さを効果的に削減する知識蒸留法である。我々は、SKDアルゴリズムであるKD-CNNとKD-MobileNetを使って、2つの軽量ニューラルネットワークをトレーニングし、ニューラルネットワークを小型デバイスで使用できるという要求を満たす。
論文参考訳（メタデータ） (2023-12-29T03:01:46Z)
Universal Approximation of Linear Time-Invariant (LTI) Systems through RNNs: Power of Randomness in Reservoir Computing [19.995241682744567]
貯留層計算(Reservoir Computing, RC)は、リカレントウェイトがランダム化され、トレーニングされていない特別なRNNである。 RCは一般線形時間不変系(LTI)を普遍的に近似できることを示す。
論文参考訳（メタデータ） (2023-08-04T17:04:13Z)
How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文参考訳（メタデータ） (2023-06-04T08:53:27Z)
LTC-SE: Expanding the Potential of Liquid Time-Constant Neural Networks for Scalable AI and Embedded Systems [0.0]
我々は2021年にHasaniらによって提案されたLiquid Time-Constant Neural Networkアルゴリズムの改良版を提案する。 LTC-SEの強化は、柔軟性、互換性、コード組織の拡張に焦点を当てている。これらの改良は、ロボット工学、因果解析、時系列予測など、さまざまな機械学習タスクにおける液体ニューラルネットワークの適用性を高める。
論文参考訳（メタデータ） (2023-04-18T01:57:10Z)
Training Spiking Neural Networks with Local Tandem Learning [96.32026780517097]
スパイキングニューラルネットワーク(SNN)は、前者よりも生物学的に可塑性でエネルギー効率が高いことが示されている。本稿では,局所タンデム学習(Local Tandem Learning, LTL)と呼ばれる一般化学習規則を提案する。 CIFAR-10データセット上の5つのトレーニングエポック内に高速なネットワーク収束を示すとともに,計算複雑性が低い。
論文参考訳（メタデータ） (2022-10-10T10:05:00Z)
On Fast Simulation of Dynamical System with Neural Vector Enhanced Numerical Solver [59.13397937903832]
ニューラルベクトル(NeurVec)と呼ばれる深層学習に基づく補正手法を提案する。 NeurVecは、統合エラーを補償し、シミュレーションでより大きなタイムステップサイズを可能にする。様々な複雑な力学系ベンチマークの実験により、NeurVecは顕著な一般化能力を示すことが示された。
論文参考訳（メタデータ） (2022-08-07T09:02:18Z)
Euler State Networks: Non-dissipative Reservoir Computing [3.55810827129032]
我々はEuSN(Euler State Network)と呼ばれる新しいReservoir Computing(RC)モデルを提案する。我々の数学的解析は、結果のモデルが一元的有効スペクトル半径とゼロ局所リアプノフ指数に偏り、本質的に安定性の端近くで動作していることを示している。時系列分類ベンチマークの結果は、EuSNがトレーニング可能なリカレントニューラルネットワークの精度と一致する(あるいは超える)ことを示唆している。
論文参考訳（メタデータ） (2022-03-17T15:18:34Z)
Continual Learning in Recurrent Neural Networks [67.05499844830231]
リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。 RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
論文参考訳（メタデータ） (2020-06-22T10:05:12Z)
Liquid Time-constant Networks [117.57116214802504]
本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
論文参考訳（メタデータ） (2020-06-08T09:53:35Z)
Toward fast and accurate human pose estimation via soft-gated skip connections [97.06882200076096]
本稿では,高精度かつ高効率な人間のポーズ推定について述べる。我々は、最先端技術よりも精度と効率を両立させる文脈において、この設計選択を再分析する。本モデルでは,MPII と LSP のデータセットから最先端の結果が得られる。
論文参考訳（メタデータ） (2020-02-25T18:51:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。