論文の概要: Positional Encoding Helps Recurrent Neural Networks Handle a Large
Vocabulary
- arxiv url: http://arxiv.org/abs/2402.00236v1
- Date: Wed, 31 Jan 2024 23:32:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-02 17:16:12.814174
- Title: Positional Encoding Helps Recurrent Neural Networks Handle a Large
Vocabulary
- Title(参考訳): 位置エンコーディングは、ニューラルネットワークが大きな語彙を扱うのに役立つ
- Authors: Takashi Morita
- Abstract要約: 時系列における「タイムスタンプ」データを位置符号化し、トランスフォーマーニューラルネットワークの能力を補完する。
RNNはデータポイントの時間情報を自身でエンコードすることができ、位置エンコーディングの使用は「冗長」のように見える。
インプット駆動と自律的な時間表現の組み合わせに関して、RNNに関する新たな研究の道を開く。
- 参考スコア(独自算出の注目度): 1.4594704809280983
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This study discusses the effects of positional encoding on recurrent neural
networks (RNNs) utilizing synthetic benchmarks. Positional encoding
"time-stamps" data points in time series and complements the capabilities of
Transformer neural networks, which lack an inherent mechanism for representing
the data order. By contrast, RNNs can encode the temporal information of data
points on their own, rendering their use of positional encoding seemingly
"redundant". Nonetheless, empirical investigations reveal the effectiveness of
positional encoding even when coupled with RNNs, specifically for handling a
large vocabulary that yields diverse observations. These findings pave the way
for a new line of research on RNNs, concerning the combination of input-driven
and autonomous time representation. Additionally, biological implications of
the computational/simulational results are discussed, in the light of the
affinity between the sinusoidal implementation of positional encoding and
neural oscillations in biological brains.
- Abstract(参考訳): 本研究では,合成ベンチマークを用いたrecurrent neural network (rnns) における位置符号化の効果について検討する。
時系列の"タイムスタンプ"データポイントの位置符号化は、データ順序を表す固有のメカニズムを欠いたトランスフォーマーニューラルネットワークの能力を補完するものだ。
対照的に、RNNはデータポイントの時間情報を自身でエンコードすることができ、位置エンコーディングの使用は「冗長」のように見える。
それにもかかわらず、実証的な調査では、RNNと組み合わせても位置符号化の有効性が明らかにされている。
これらの知見は、入力駆動と自律時間表現の組み合わせに関して、RNNに関する新しい研究の道を開いた。
さらに, 生体脳における位置符号化の正弦波的実装と神経振動との親和性の観点から, 計算・シミュレーション結果の生物学的意義を考察した。
関連論文リスト
- Deep Learning for real-time neural decoding of grasp [0.0]
本稿では,ニューラルネットワークの復号化のためのDeep Learningに基づく手法を提案する。
提案手法の主な目的は、これまでの神経科学知識に頼ることなく、最先端の復号精度を改善することである。
論文 参考訳(メタデータ) (2023-11-02T08:26:29Z) - A Hybrid Neural Coding Approach for Pattern Recognition with Spiking
Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。
これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。
本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文 参考訳(メタデータ) (2023-05-26T02:52:12Z) - A Comparison of Temporal Encoders for Neuromorphic Keyword Spotting with
Few Neurons [0.11726720776908518]
SNNにおける時間的エンコーディングと特徴抽出のための2つの神経計算要素について検討した。
リソース効率の良いキーワードスポッティングアプリケーションは、これらのエンコーダを使用することで恩恵を受けることができるが、時間定数と重み付けを学習する手法をさらに研究する必要がある。
論文 参考訳(メタデータ) (2023-01-24T12:50:54Z) - Surrogate Gradient Spiking Neural Networks as Encoders for Large
Vocabulary Continuous Speech Recognition [91.39701446828144]
スパイクニューラルネットワークは, 代理勾配法を用いて, 通常のリカレントニューラルネットワークのように訓練可能であることを示す。
彼らは音声コマンド認識タスクについて有望な結果を示した。
繰り返し発生する非スパイキングとは対照的に、ゲートを使わずに爆発する勾配問題に対して堅牢性を示す。
論文 参考訳(メタデータ) (2022-12-01T12:36:26Z) - NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。
所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。
ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
論文 参考訳(メタデータ) (2022-09-29T04:06:00Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Domain-informed neural networks for interaction localization within
astroparticle experiments [6.157382820537719]
本研究は、実験粒子物理学のためのドメインインフォームドニューラルネットワークアーキテクチャを提案する。
粒子相互作用の局在化と時間射影チャンバ(TPC)技術をダークマター研究の例として用いている。
論文 参考訳(メタデータ) (2021-12-15T09:42:04Z) - Spiking Neural Networks -- Part II: Detecting Spatio-Temporal Patterns [38.518936229794214]
スパイキングニューラルネットワーク(SNN)は、符号化された時間信号で情報を検出するユニークな能力を持つ。
SNNをリカレントニューラルネットワーク(RNN)とみなす支配的アプローチのためのモデルとトレーニングアルゴリズムについてレビューする。
スパイキングニューロンの確率モデルに頼り、勾配推定による局所学習規則の導出を可能にする別のアプローチについて述べる。
論文 参考訳(メタデータ) (2020-10-27T11:47:42Z) - A Deep 2-Dimensional Dynamical Spiking Neuronal Network for Temporal
Encoding trained with STDP [10.982390333064536]
哺乳動物の大脳皮質を模倣する動的・カオス的な活動を持つ大きな層状SNNは、時間的データから情報を符号化することができることを示す。
ネットワーク重みに固有のランダム性は、STDPによる自己組織化後に入力される時間データを符号化するグループを形成することができると主張している。
情報伝達の指標として,ネットワークエントロピーの観点からネットワークを解析する。
論文 参考訳(メタデータ) (2020-09-01T17:12:18Z) - Multi-Tones' Phase Coding (MTPC) of Interaural Time Difference by
Spiking Neural Network [68.43026108936029]
雑音の多い実環境下での正確な音像定位のための純粋スパイクニューラルネットワーク(SNN)に基づく計算モデルを提案する。
このアルゴリズムを,マイクロホンアレイを用いたリアルタイムロボットシステムに実装する。
実験の結果, 平均誤差方位は13度であり, 音源定位に対する他の生物学的に妥当なニューロモルフィックアプローチの精度を上回っていることがわかった。
論文 参考訳(メタデータ) (2020-07-07T08:22:56Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳(メタデータ) (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。