Fugu-MT 論文翻訳(概要): Theoretical Analysis of Hierarchical Language Recognition and Generation by Transformers without Positional Encoding

論文の概要: Theoretical Analysis of Hierarchical Language Recognition and Generation by Transformers without Positional Encoding

arxiv url: http://arxiv.org/abs/2410.12413v1
Date: Wed, 16 Oct 2024 09:56:01 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-17 13:42:45.900104
Title: Theoretical Analysis of Hierarchical Language Recognition and Generation by Transformers without Positional Encoding
Title（参考訳）: 位置符号化のない変換器による階層型言語認識と生成の理論解析
Authors: Daichi Hayakawa, Issei Sato,
Abstract要約: 因果マスキングと開始トークンによってトランスフォーマーは階層構造内の位置情報と深さを計算することができることを示す。位置エンコーディングのないトランスフォーマーは階層型言語を生成することができることを示す。
参考スコア（独自算出の注目度）: 32.01426831450348
License:
Abstract: In this study, we provide constructive proof that Transformers can recognize and generate hierarchical language efficiently with respect to model size, even without the need for a specific positional encoding. Specifically, we show that causal masking and a starting token enable Transformers to compute positional information and depth within hierarchical structures. We demonstrate that Transformers without positional encoding can generate hierarchical languages. Furthermore, we suggest that explicit positional encoding might have a detrimental effect on generalization with respect to sequence length.
Abstract（参考訳）: 本研究では,トランスフォーマーが特定の位置符号化を必要とせずに,モデルサイズに対して効率的に階層言語を認識・生成できることを示す。具体的には、因果マスキングと開始トークンにより、トランスフォーマーは階層構造内の位置情報と深さを計算することができることを示す。位置エンコーディングのないトランスフォーマーは階層型言語を生成することができることを示す。さらに、明示的な位置符号化は、シーケンス長に関する一般化に有害な影響を及ぼす可能性が示唆された。

関連論文リスト

Improving Transformers using Faithful Positional Encoding [55.30212768657544]
本稿では,Transformerと呼ばれるニューラルネットワークアーキテクチャのための新しい位置符号化手法を提案する。標準的な正弦波位置符号化とは違って,本手法では入力シーケンスの位置次数に関する情報が失われないようにしている。
論文参考訳（メタデータ） (2024-05-15T03:17:30Z)
Word Order Matters when you Increase Masking [70.29624135819884]
本研究では,事前学習対象自体に対する位置エンコーディングの除去効果について検討し,モデルが共起点のみの位置情報を再構成できるかどうかを検証した。位置情報の必要性はマスキングの量とともに増大し、位置エンコーディングのないマスキング言語モデルではタスク上でこの情報を再構築できないことがわかった。
論文参考訳（メタデータ） (2022-11-08T18:14:04Z)
Systematic Generalization and Emergent Structures in Transformers Trained on Structured Tasks [6.525090891505941]
我々は、因果変換器が、コピー、ソート、階層的な構成を含む一連のアルゴリズムタスクを実行する方法を示す。両層変換器は多層問題に対する一般化可能な解法を学習し,系統的タスク分解の兆候を現示する。これらの結果は、トランスフォーマーモデルが複雑な決定を再利用可能なマルチレベルポリシーに分解する方法について、重要な洞察を与えてくれる。
論文参考訳（メタデータ） (2022-10-02T00:46:36Z)
Structural Biases for Improving Transformers on Translation into Morphologically Rich Languages [120.74406230847904]
TP-Transformerは従来のTransformerアーキテクチャを拡張し、構造を表現するコンポーネントを追加する。第2の方法は、形態的トークン化でデータをセグメント化することで、データレベルで構造を付与する。これらの2つのアプローチのそれぞれが、ネットワークがより良いパフォーマンスを達成することを可能にすることは分かっていますが、この改善はデータセットのサイズに依存します。
論文参考訳（メタデータ） (2022-08-11T22:42:24Z)
Transformer with Tree-order Encoding for Neural Program Generation [8.173517923612426]
木に基づく位置エンコーディングと、トランスフォーマーのための自然言語サブワード語彙の共有を導入する。その結果,木に基づく位置符号化と自然言語サブワード語彙の共有を併用することで,逐次的位置符号化よりも生成性能が向上することが示唆された。
論文参考訳（メタデータ） (2022-05-30T12:27:48Z)
Transformer Language Models without Positional Encodings Still Learn Positional Information [45.42248458957122]
明確な位置エンコーディングのないトランスフォーマー言語モデルは、標準モデルと競合する。因果的注意により、各トークンが出席できる前任者の数を推測することができ、従って絶対的な位置を近似することができると推測する。
論文参考訳（メタデータ） (2022-03-30T19:37:07Z)
Thinking Like Transformers [64.96770952820691]
本稿では,プログラミング言語の形式で変換器エンコーダの計算モデルを提案する。 RASPは、トランスフォーマーによって確実に学習できるタスクの解決策をプログラムするのにどのように使えるかを示す。ヒストグラム、ソート、ダイク言語のためのRASPプログラムを提供する。
論文参考訳（メタデータ） (2021-06-13T13:04:46Z)
Do We Really Need Explicit Position Encodings for Vision Transformers? [29.7662570764424]
入力トークンの局所近傍に条件付き位置符号化方式を提案する。 PEGを用いた新しいモデルは、Visual Transformer (CPVT) と呼ばれ、任意の長さの入力シーケンスを自然に処理できる。我々は, cpvt が視覚的に類似したアテンションマップとなり, 予め定義された位置符号化よりも優れた性能が得られることを示す。
論文参考訳（メタデータ） (2021-02-22T10:29:55Z)
Segatron: Segment-Aware Transformer for Language Modeling and Understanding [79.84562707201323]
本稿では,セグメンテーション対応トランスフォーマー(Segatron)を提案する。本稿ではまず,Transformerベースの言語モデルであるTransformer-XLにセグメント認識機構を導入する。 WikiText-103データセット上で17.1パープレキシティを実現することにより,Transformer-XLベースモデルと大規模モデルをさらに改善できることがわかった。
論文参考訳（メタデータ） (2020-04-30T17:38:27Z)
On Sparsifying Encoder Outputs in Sequence-to-Sequence Models [90.58793284654692]
我々はTransformerをテストベッドとして、エンコーダとデコーダの間にあるゲートの層を導入します。ゲートは、パリシティ誘導L0ペナルティの期待値を用いて正規化される。このスペーサー化が2つの機械翻訳と2つの要約タスクに与える影響について検討する。
論文参考訳（メタデータ） (2020-04-24T16:57:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。