Fugu-MT 論文翻訳(概要): Improving Transformers using Faithful Positional Encoding

論文の概要: Improving Transformers using Faithful Positional Encoding

arxiv url: http://arxiv.org/abs/2405.09061v2
Date: Thu, 16 May 2024 06:26:43 GMT
ステータス: 処理完了
システム内更新日: 2024-05-17 13:02:53.291684
Title: Improving Transformers using Faithful Positional Encoding
Title（参考訳）: 忠実位置符号化による変圧器の改良
Authors: Tsuyoshi Idé, Jokin Labaien, Pin-Yu Chen,
Abstract要約: 本稿では,Transformerと呼ばれるニューラルネットワークアーキテクチャのための新しい位置符号化手法を提案する。標準的な正弦波位置符号化とは違って,本手法では入力シーケンスの位置次数に関する情報が失われないようにしている。
参考スコア（独自算出の注目度）: 55.30212768657544
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We propose a new positional encoding method for a neural network architecture called the Transformer. Unlike the standard sinusoidal positional encoding, our approach is based on solid mathematical grounds and has a guarantee of not losing information about the positional order of the input sequence. We show that the new encoding approach systematically improves the prediction performance in the time-series classification task.
Abstract（参考訳）: 本稿では,Transformerと呼ばれるニューラルネットワークアーキテクチャのための新しい位置符号化手法を提案する。標準的な正弦波位置符号化とは違って,本手法は固体数学的根拠に基づいており,入力シーケンスの位置次数に関する情報が失われないように保証されている。時系列分類タスクにおいて,新しい符号化手法が予測性能を体系的に向上することを示す。

関連論文リスト

Positional Encoding Helps Recurrent Neural Networks Handle a Large Vocabulary [1.4594704809280983]
位置符号化は入力データ上の時間指標の高次元表現である。 RNNは、データポイントの時間情報を自身でエンコードすることができ、位置エンコーディングの使用は、一見冗長/不要なように見える。
論文参考訳（メタデータ） (2024-01-31T23:32:20Z)
Uncovering mesa-optimization algorithms in Transformers [61.06055590704677]
いくつかの自己回帰モデルは、入力シーケンスが処理されたときに学習でき、パラメータの変更を受けずに、それを行うように明示的に訓練されていない。我々は,新しい入力が明らかになったときにモデルを調整するための補助学習アルゴリズムが,標準の次トーケン予測誤差最小化によって生まれることを示す。本研究は、自己回帰損失最小化の産物としてコンテキスト内学習を説明し、新しい最適化ベースのトランスフォーマー層の設計を通知する。
論文参考訳（メタデータ） (2023-09-11T22:42:50Z)
Cycle Encoding of a StyleGAN Encoder for Improved Reconstruction and Editability [76.6724135757723]
GANインバージョンは、事前訓練されたGANの潜在空間に入力イメージを反転させることを目的としている。 GANの逆転の最近の進歩にもかかわらず、歪みと編集性の間のトレードオフを軽減するための課題は残されている。本稿では、まず入力画像をピボットコードと呼ばれる潜在コードに反転させ、次に、入力画像を正確にピボットコードにマッピングできるようにジェネレータを変更する2段階のアプローチを提案する。
論文参考訳（メタデータ） (2022-07-19T16:10:16Z)
Transformer with Tree-order Encoding for Neural Program Generation [8.173517923612426]
木に基づく位置エンコーディングと、トランスフォーマーのための自然言語サブワード語彙の共有を導入する。その結果,木に基づく位置符号化と自然言語サブワード語彙の共有を併用することで,逐次的位置符号化よりも生成性能が向上することが示唆された。
論文参考訳（メタデータ） (2022-05-30T12:27:48Z)
Error Correction Code Transformer [92.10654749898927]
本稿では,トランスフォーマーアーキテクチャを任意のブロック長で線形符号のソフトデコードに拡張することを提案する。我々は,各チャネルの出力次元を高次元に符号化し,個別に処理すべきビット情報のより良い表現を行う。提案手法は、トランスフォーマーの極端なパワーと柔軟性を示し、既存の最先端のニューラルデコーダを、その時間的複雑さのごく一部で大きなマージンで上回る。
論文参考訳（メタデータ） (2022-03-27T15:25:58Z)
Learnable Fourier Features for Multi-DimensionalSpatial Positional Encoding [96.9752763607738]
本稿では,学習可能なフーリエ特徴に基づく位置符号化手法を提案する。本研究では,多次元位置符号化のための学習可能な特徴表現が既存の手法より優れていることを示す。
論文参考訳（メタデータ） (2021-06-05T04:40:18Z)
Demystifying the Better Performance of Position Encoding Variants for Transformer [12.503079503907989]
トランスフォーマーモデルに位置とセグメントをエンコードする方法を示します。提案手法は、GLUE, XTREME, WMTベンチマークのSOTAと同等に実行し、コストを節約する。
論文参考訳（メタデータ） (2021-04-18T03:44:57Z)
Context- and Sequence-Aware Convolutional Recurrent Encoder for Neural Machine Translation [2.729898906885749]
既存のモデルは、エンコーダとデコーダモジュールを構築するためにリカレントニューラルネットワークを使用する。代替研究では、入力文の構文構造をキャプチャするために畳み込みニューラルネットワークによって繰り返しネットワークが置き換えられた。コンテクスト情報を取得するための畳み込み再帰エンコーダを提案することにより,両手法の利点を取り入れた。
論文参考訳（メタデータ） (2021-01-11T17:03:52Z)
Cross-Thought for Sentence Encoder Pre-training [89.32270059777025]
Cross-Thoughtは、事前トレーニングシーケンスエンコーダに対する新しいアプローチである。我々は、Transformerベースのシーケンスエンコーダを、多数の短いシーケンスに対してトレーニングする。質問応答とテキストのエンコーダタスクの実験は、事前学習したエンコーダが最先端のエンコーダより優れていることを示す。
論文参考訳（メタデータ） (2020-10-07T21:02:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。