論文の概要: Positional Encoding Helps Recurrent Neural Networks Handle a Large Vocabulary

• arxiv url: http://arxiv.org/abs/2402.00236v5
• Date: Sat, 09 Nov 2024 10:36:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:06:13.363039
• Title: Positional Encoding Helps Recurrent Neural Networks Handle a Large Vocabulary
• Title（参考訳）: 位置エンコーディングは、ニューラルネットワークが大きな語彙を扱うのに役立つ
• Authors: Takashi Morita,
• Abstract要約: 位置符号化は入力データ上の時間指標の高次元表現である。 RNNは、データポイントの時間情報を自身でエンコードすることができ、位置エンコーディングの使用は、一見冗長/不要なように見える。
• 参考スコア（独自算出の注目度）: 1.4594704809280983
• License:
• Abstract: This study reports an unintuitive finding that positional encoding enhances learning of recurrent neural networks (RNNs). Positional encoding is a high-dimensional representation of time indices on input data. Most famously, positional encoding complements the capabilities of Transformer neural networks, which lack an inherent mechanism for representing the data order. By contrast, RNNs can encode the temporal information of data points on their own, rendering their use of positional encoding seemingly redundant/unnecessary. Nonetheless, investigations through synthetic benchmarks reveal an advantage of coupling positional encoding and RNNs, especially for handling a large vocabulary that yields low-frequency tokens. Further scrutinization unveils that these low-frequency tokens destabilizes the gradients of vanilla RNNs, and the positional encoding resolves this instability. These results shed a new light on the utility of positional encoding beyond its canonical role as a timekeeper for Transformers.
• Abstract（参考訳）: 本研究では、位置エンコーディングがリカレントニューラルネットワーク(RNN)の学習を促進するという直感的な発見を報告する。 位置符号化は入力データ上の時間指標の高次元表現である。 最も有名なのは、位置エンコーディングは、データ順序を表現する固有のメカニズムが欠如しているトランスフォーマーニューラルネットワークの能力を補完するものである。 対照的に、RNNはデータポイントの時間情報を自身でエンコードすることができ、位置エンコーディングの使用は冗長/不要のように見える。 それにもかかわらず、合成ベンチマークによる調査は、特に低周波トークンを生成する大きな語彙を扱うために、位置符号化とRNNの結合の利点を明らかにしている。 さらなる精査により、これらの低周波トークンがバニラRNNの勾配を不安定にし、位置エンコーディングがこの不安定を解消することが明らかになった。 これらの結果は、トランスフォーマーのタイムキーパーとしての役割を超えて、位置エンコーディングの実用性に新たな光を当てた。

関連論文リスト

• Adaptive Spiking Neural Networks with Hybrid Coding [0.0]
  スパイテンポラルニューラルネットワーク(SNN)は、ニューラルネットワークよりもエネルギー効率が高く効果的なニューラルネットワークである 従来のSNNは、異なる時間ステップで入力データを処理する際に同じニューロンを使用し、時間情報を効果的に統合し活用する能力を制限する。 本稿では,学習に必要な時間を短縮するだけでなく,ネットワーク全体の性能を向上させるためのハイブリッド符号化手法を提案する。
  論文  参考訳（メタデータ） (2024-08-22T13:58:35Z)
• Improving Transformers using Faithful Positional Encoding [55.30212768657544]
  本稿では,Transformerと呼ばれるニューラルネットワークアーキテクチャのための新しい位置符号化手法を提案する。 標準的な正弦波位置符号化とは違って,本手法では入力シーケンスの位置次数に関する情報が失われないようにしている。
  論文  参考訳（メタデータ） (2024-05-15T03:17:30Z)
• Locality-Aware Generalizable Implicit Neural Representation [54.93702310461174]
  一般化可能な暗黙的ニューラル表現(INR)は、単一の連続関数が複数のデータインスタンスを表現することを可能にする。 本稿では、変換器エンコーダと局所性を考慮したINRデコーダを組み合わせた一般化可能なINRのための新しいフレームワークを提案する。 我々のフレームワークは、従来の一般化可能なINRよりも大幅に優れており、下流タスクにおける局所性を考慮した潜在能力の有効性を検証している。
  論文  参考訳（メタデータ） (2023-10-09T11:26:58Z)
• Progressive Fourier Neural Representation for Sequential Video Compilation [75.43041679717376]
  連続学習によって動機づけられたこの研究は、シーケンシャルエンコーディングセッションを通じて、複数の複雑なビデオデータに対して、ニューラル暗黙表現を蓄積し、転送する方法を研究する。 本稿では,FFNR(Progressive Fourier Neural Representation)という,FFNR(Progressive Fourier Neural Representation)という,FFNR(Progressive Fourier Neural Representation)という手法を提案する。 我々は,UVG8/17とDAVIS50のビデオシーケンスベンチマークでPFNR法を検証し,強力な連続学習ベースラインよりも優れた性能向上を実現した。
  論文  参考訳（メタデータ） (2023-06-20T06:02:19Z)
• A Comparison of Temporal Encoders for Neuromorphic Keyword Spotting with Few Neurons [0.11726720776908518]
  SNNにおける時間的エンコーディングと特徴抽出のための2つの神経計算要素について検討した。 リソース効率の良いキーワードスポッティングアプリケーションは、これらのエンコーダを使用することで恩恵を受けることができるが、時間定数と重み付けを学習する手法をさらに研究する必要がある。
  論文  参考訳（メタデータ） (2023-01-24T12:50:54Z)
• Surrogate Gradient Spiking Neural Networks as Encoders for Large Vocabulary Continuous Speech Recognition [91.39701446828144]
  スパイクニューラルネットワークは, 代理勾配法を用いて, 通常のリカレントニューラルネットワークのように訓練可能であることを示す。 彼らは音声コマンド認識タスクについて有望な結果を示した。 繰り返し発生する非スパイキングとは対照的に、ゲートを使わずに爆発する勾配問題に対して堅牢性を示す。
  論文  参考訳（メタデータ） (2022-12-01T12:36:26Z)
• A Scalable Graph Neural Network Decoder for Short Block Codes [49.25571364253986]
  エッジ重み付きグラフニューラルネットワーク(EW-GNN)に基づく短絡符号の復号化アルゴリズムを提案する。 EW-GNNデコーダは、繰り返しメッセージパッシング構造を持つタナーグラフで動作する。 EW-GNNデコーダは,復号誤り率の観点から,BP法および深層学習に基づくBP法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-11-13T17:13:12Z)
• NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
  本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。 所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。 ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
  論文  参考訳（メタデータ） (2022-09-29T04:06:00Z)
• Efficient spike encoding algorithms for neuromorphic speech recognition [5.182266520875928]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックプロセッサの実装に非常に効果的である。 実値信号は、SNNに適さない実値信号として符号化される。 本稿では,話者独立桁分類システムにおける4つのスパイク符号化手法について検討する。
  論文  参考訳（メタデータ） (2022-07-14T17:22:07Z)
• Learning to Time-Decode in Spiking Neural Networks Through the Information Bottleneck [37.376989855065545]
  スパイキングニューラルネットワーク(SNN)をトレーニングする上で重要な課題の1つは、ターゲット出力が通常、自然な信号の形で現れることである。 これは、ターゲットのスパイク信号を手作りして、スパイクを自然な信号にデコードするメカニズムを暗黙的に修正する。 本研究では、符号化SNNと復号ニューラルネットワークからなるハイブリッド変分オートエンコーダアーキテクチャを導入する。
  論文  参考訳（メタデータ） (2021-06-02T14:14:47Z)
• Context- and Sequence-Aware Convolutional Recurrent Encoder for Neural Machine Translation [2.729898906885749]
  既存のモデルは、エンコーダとデコーダモジュールを構築するためにリカレントニューラルネットワークを使用する。 代替研究では、入力文の構文構造をキャプチャするために畳み込みニューラルネットワークによって繰り返しネットワークが置き換えられた。 コンテクスト情報を取得するための畳み込み再帰エンコーダを提案することにより,両手法の利点を取り入れた。
  論文  参考訳（メタデータ） (2021-01-11T17:03:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。