論文の概要: Gated Chemical Units
- arxiv url: http://arxiv.org/abs/2403.08791v1
- Date: Tue, 30 Jan 2024 16:01:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-25 08:16:13.551796
- Title: Gated Chemical Units
- Title(参考訳): ガス化化学ユニット
- Authors: Mónika Farsang, Radu Grosu,
- Abstract要約: ゲーテッドケミカルユニット(GCU)は、新しいタイプのゲートリカレント細胞である。
GCUは、生物学的に証明可能なニューラルモデルにギャップを埋める。
- 参考スコア(独自算出の注目度): 7.737685867200335
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We introduce Gated Chemical Units (GCUs), a new type of gated recurrent cells which provide fresh insights into the commonly-used gated recurrent units, and bridge their gap to biologically-plausible neural models. We systematically derive GCUs from Electrical Equivalent Circuits (EECs), a widely adopted ordinary-differential-equations model in neuroscience for biological neurons with both electrical and chemical synapses. We focus on saturated EECs, as they are more stable, and chemical synapses, as they are more expressive. To define GCUs, we introduce a new kind of gate, we call a time gate (TG), in the associated difference-equations model of the EECs. The TG learns for each neuron the optimal time step to be used in a simple Euler integration scheme, and leads to a very efficient gated unit. By observing that the TG corresponds to the forget gate (FG) in traditional gated recurrent units, we provide a new formulation of these units as neural ODEs. We also show that in GCUs, the FG is in fact its liquid time constant. Finally, we demonstrate that GCUs not only explain the elusive nature of gates in traditional recurrent units, but also represent a very competitive alternative to these units.
- Abstract(参考訳): Gated Chemical Units (GCUs) という新しいタイプのゲート型リカレント細胞を導入し、一般的に使われているゲート型リカレントユニットの新たな洞察を提供し、それらのギャップを生物学的に証明可能なニューラルモデルに橋渡しする。
我々は電気・化学シナプスを持つ生体ニューロンに対する神経科学において広く採用されている常微分方程式モデルであるElectric Equivalent Circuits (EECs) からGCUを系統的に導出した。
我々は、より安定な飽和EECと、より表現力のある化学シナプスに焦点をあてる。
GCUを定義するため,我々は時間ゲート (TG) と呼ばれる新しいゲートをEECの差分方程式モデルで導入する。
TGは、単純なオイラー積分法で使用する最適な時間ステップをニューロンごとに学習し、非常に効率的なゲート単位へと導く。
従来のゲートリカレントユニットにおいて、TGがリザーブゲート(FG)に対応することを観察することにより、これらのユニットをニューラルODEとして新しい定式化する。
また、GCUでは、FGはその液体時間定数であることを示す。
最後に、GCUが従来の繰り返し単位におけるゲートの解法の性質を説明するだけでなく、これらの単位に対して非常に競争力のある代替手段であることを示す。
関連論文リスト
- Spin-Orbit Interaction Enabled High-Fidelity Two-Qubit Gates [0.0]
半導体スピンキュービットプラットフォームにおける2量子ゲート(TQG)に対するスピン軌道相互作用(SOI)の影響について検討した。
我々はSOIの本質を捉える計算ハミルトニアンを開発し、それを回転フレーム時間進化の特性を導出する。
我々はSOIなしではアクセスできない新しい2量子力学を発見し、議論する。
論文 参考訳(メタデータ) (2023-08-14T07:47:52Z) - E(n)-equivariant Graph Neural Cellular Automata [4.168157981135698]
我々は、E(n)-GNCAsと呼ばれる等方的オートマトンを提案する。
これらのモデルは軽量だが、それでも大きなグラフを扱い、複雑なダイナミクスを捉え、創発的な自己組織化行動を示すことができる。
3つのタスクにおいて,E(n)-GNCAの広範かつ良好な適用性を示す。
論文 参考訳(メタデータ) (2023-01-25T10:17:07Z) - Artificial Neuronal Ensembles with Learned Context Dependent Gating [0.0]
LXDG(Learned Context Dependent Gating)は、人工神経のアンサンブルを柔軟に割り当て、リコールする方法である。
ネットワークの隠れた層におけるアクティビティは、トレーニング中に動的に生成されるゲートによって変調される。
本稿では,この手法が連続学習ベンチマークにおける破滅的な忘れを軽減できることを示す。
論文 参考訳(メタデータ) (2023-01-17T20:52:48Z) - DG-STGCN: Dynamic Spatial-Temporal Modeling for Skeleton-based Action
Recognition [77.87404524458809]
骨格に基づく行動認識のための新しいフレームワーク,すなわち動的グループ時空間GCN(DG-STGCN)を提案する。
DG-GCNとDG-TCNの2つのモジュールで構成される。
DG-STGCNは最先端の手法よりも一貫して優れており、しばしば顕著な差がある。
論文 参考訳(メタデータ) (2022-10-12T03:17:37Z) - Growing Isotropic Neural Cellular Automata [63.91346650159648]
我々は、元のGrowing NCAモデルには、学習された更新規則の異方性という重要な制限があると主張している。
細胞系は2つの方法のいずれかによって、正確な非対称パターンを成長させる訓練が可能であることを実証する。
論文 参考訳(メタデータ) (2022-05-03T11:34:22Z) - Generative Adversarial Method Based on Neural Tangent Kernels [13.664682865991255]
GA-NTK(Generative Adversarial NTK)と呼ばれる新しい生成アルゴリズムを提案する。
GA-NTK は GAN に匹敵する画像を生成することができるが、様々な条件下での訓練がずっと容易である。
その結果,GA-NTK は GAN に匹敵する画像を生成することができるが,様々な条件下での訓練がより容易であることがわかった。
論文 参考訳(メタデータ) (2022-04-08T14:17:46Z) - Learning Graph Cellular Automata [25.520299226767946]
我々は、典型的なセルオートマトン(GCA)の一般化バージョンに焦点を当てる。
特に,従来のGAAの遷移規則を学習するために畳み込みニューラルネットワークを用いた以前の研究を拡張した。
有限かつ離散的な状態空間を持つ任意の GCA を表現可能であることを示す。
論文 参考訳(メタデータ) (2021-10-27T07:42:48Z) - Quantum simulation of $\phi^4$ theories in qudit systems [53.122045119395594]
回路量子力学(cQED)システムにおける格子$Phi4$理論の量子アルゴリズムの実装について論じる。
quditシステムの主な利点は、そのマルチレベル特性により、対角的な単一量子ゲートでしかフィールドの相互作用を実装できないことである。
論文 参考訳(メタデータ) (2021-08-30T16:30:33Z) - GEM: Group Enhanced Model for Learning Dynamical Control Systems [78.56159072162103]
サンプルベースの学習が可能な効果的なダイナミクスモデルを構築します。
リー代数ベクトル空間上のダイナミクスの学習は、直接状態遷移モデルを学ぶよりも効果的であることを示す。
この研究は、ダイナミクスの学習とリー群の性質の関連性を明らかにし、新たな研究の方向への扉を開く。
論文 参考訳(メタデータ) (2021-04-07T01:08:18Z) - Quantum-optimal-control-inspired ansatz for variational quantum
algorithms [105.54048699217668]
変分量子アルゴリズム (VQA) の中心成分は状態準備回路(英語版)であり、アンザッツ(英語版)または変分形式(英語版)とも呼ばれる。
ここでは、対称性を破るユニタリを組み込んだ「解」を導入することで、このアプローチが必ずしも有利であるとは限らないことを示す。
この研究は、より一般的な対称性を破るアンスの開発に向けた第一歩となり、物理学や化学問題への応用に繋がる。
論文 参考訳(メタデータ) (2020-08-03T18:00:05Z) - Refined Gate: A Simple and Effective Gating Mechanism for Recurrent
Units [68.30422112784355]
本稿では,この問題に対処する一般ゲートリカレントニューラルネットワークにおける新しいゲーティング機構を提案する。
提案したゲートは、抽出された入力特徴とバニラゲートの出力を直接的にショートする。
LSTM, GRU, MGUの3種類のゲートRNNに対して, 提案したゲーティング機構を検証する。
論文 参考訳(メタデータ) (2020-02-26T07:51:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。