論文の概要: Alternative positional encoding functions for neural transformers

• arxiv url: http://arxiv.org/abs/2512.19323v1
• Date: Mon, 22 Dec 2025 12:17:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-23 18:54:32.743992
• Title: Alternative positional encoding functions for neural transformers
• Title（参考訳）: ニューラルトランスのための代替位置符号化機能
• Authors: Ezequiel Lopez-Rubio, Macoris Decena-Gimenez, Rafael Marcos Luque-Baena,
• Abstract要約: 位置符号化は、ニューラルトランスフォーマーベースのディープアーキテクチャにおけるキーモジュールである。 本研究では、位置符号化のための周期関数の代替集合を提案する。 いくつかの暫定的な実験が報告され、元の正弦波バージョンは実質的に優れていた。
• 参考スコア（独自算出の注目度）: 0.30586855806896046
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: A key module in neural transformer-based deep architectures is positional encoding. This module enables a suitable way to encode positional information as input for transformer neural layers. This success has been rooted in the use of sinusoidal functions of various frequencies, in order to capture recurrent patterns of differing typical periods. In this work, an alternative set of periodic functions is proposed for positional encoding. These functions preserve some key properties of sinusoidal ones, while they depart from them in fundamental ways. Some tentative experiments are reported, where the original sinusoidal version is substantially outperformed. This strongly suggests that the alternative functions may have a wider use in other transformer architectures.
• Abstract（参考訳）: ニューラルネットワークベースのディープアーキテクチャにおけるキーモジュールは位置符号化である。 このモジュールは、トランスフォーマーニューラルネットワーク層の入力として位置情報をエンコードする適切な方法を可能にする。 この成功は、様々な周波数の正弦波関数を用いて、異なる周期の繰り返しパターンを捉えることに根ざしている。 本研究では、位置符号化のための周期関数の代替集合を提案する。 これらの関数は正弦波のいくつかの重要な性質を保ち、基本的な方法でそれらから離れる。 いくつかの暫定的な実験が報告され、元の正弦波バージョンは実質的に優れていた。 このことは、代替関数が他のトランスフォーマーアーキテクチャで広く使われる可能性があることを強く示唆している。

関連論文リスト

• Improving Transformers using Faithful Positional Encoding [55.30212768657544]
  本稿では,Transformerと呼ばれるニューラルネットワークアーキテクチャのための新しい位置符号化手法を提案する。 標準的な正弦波位置符号化とは違って,本手法では入力シーケンスの位置次数に関する情報が失われないようにしている。
  論文  参考訳（メタデータ） (2024-05-15T03:17:30Z)
• Neural Architectures Learning Fourier Transforms, Signal Processing and Much More.... [1.2328446298523066]
  音声信号処理アプリケーションにおいて,スクラッチからカーネルを学習する方法を示す。 ニューラルネットワークは正弦波のカーネル形状を学習するだけでなく、あらゆる種類の素晴らしい信号処理特性を発見する。
  論文  参考訳（メタデータ） (2023-08-20T23:30:27Z)
• Deep Transformers without Shortcuts: Modifying Self-attention for Faithful Signal Propagation [105.22961467028234]
  ディープニューラルネットワーク(DNN)のトレーニングにおいて,スキップ接続と正規化レイヤはユビキタスである Deep Kernel Shapingのような最近のアプローチは、それらへの依存を減らすために進歩しました。 しかし、これらのアプローチは変換器に存在する自己注意層とは相容れない。
  論文  参考訳（メタデータ） (2023-02-20T21:26:25Z)
• Stable, Fast and Accurate: Kernelized Attention with Relative Positional Encoding [63.539333383965726]
  相対的位置符号化(RPE)を用いた変換器の注意計算を高速化する新しい手法を提案する。 相対的な位置符号化がToeplitz行列を形成するという観測に基づいて、Fast Fourier Transform (FFT) を用いて、RPEによるカーネル化された注意を効率的に計算できることを数学的に示す。
  論文  参考訳（メタデータ） (2021-06-23T17:51:26Z)
• Learnable Fourier Features for Multi-DimensionalSpatial Positional Encoding [96.9752763607738]
  本稿では,学習可能なフーリエ特徴に基づく位置符号化手法を提案する。 本研究では,多次元位置符号化のための学習可能な特徴表現が既存の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-05T04:40:18Z)
• Learning to Encode Position for Transformer with Continuous Dynamical Model [88.69870971415591]
  本研究では,トランスフォーマーモデルなどの非リカレントモデルの位置情報をエンコードする新しい学習方法を提案する。 このような力学系による位置指数に沿った符号化結果の進化をモデル化する。
  論文  参考訳（メタデータ） (2020-03-13T00:41:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。