Fugu-MT 論文翻訳(概要): On the Computational Power of Decoder-Only Transformer Language Models

論文の概要: On the Computational Power of Decoder-Only Transformer Language Models

arxiv url: http://arxiv.org/abs/2305.17026v2
Date: Tue, 30 May 2023 21:58:24 GMT
ステータス: 処理完了
システム内更新日: 2023-06-01 23:16:59.947572
Title: On the Computational Power of Decoder-Only Transformer Language Models
Title（参考訳）: Decoder-Only Transformer言語モデルの計算力について
Authors: Jesse Roberts
Abstract要約: デコーダのみの変換器アーキテクチャは、合理的な仮定の下でチューリング完全であることを示す。理論的解析から, チューリング普遍性が保持するために必要な条件として, 単語埋め込みの空間性と圧縮性を示す。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This article presents a theoretical evaluation of the computational universality of decoder-only transformer models. We extend the theoretical literature on transformer models and show that decoder-only transformer architectures (even with only a single layer and single attention head) are Turing complete under reasonable assumptions. From the theoretical analysis, we show sparsity/compressibility of the word embedding to be a necessary condition for Turing completeness to hold.
Abstract（参考訳）: 本稿ではデコーダのみの変圧器モデルの計算普遍性を理論的に評価する。トランスフォーマモデルに関する理論的文献を拡張し、デコーダのみのトランスフォーマアーキテクチャ(単層と単層のみ)が妥当な仮定の下でチューリング完全であることを示す。理論的解析から,単語埋め込みがチューリング完全性を保持するために必要な条件であることを示す。

関連論文リスト

Can Transformers Learn $n$-gram Language Models? [77.35809823602307]
2種類のランダムな$n$-gram LMを学習するトランスフォーマーの能力について検討する。例えば、$n$-gram LMに対する古典的な推定手法として、add-$lambda$ smoothing outperform transformerがある。
論文参考訳（メタデータ） (2024-10-03T21:21:02Z)
Simulating Weighted Automata over Sequences and Trees with Transformers [5.078561931628571]
DFAを仮定するモデルのクラスである重み付き有限オートマトン (WFAs) と重み付き木オートマトン (WTA) をシミュレートできることを示す。我々はこれらの主張を正式に証明し、ターゲットオートマタの状態数の関数として必要とされる変換器モデルのサイズについて上限を与える。
論文参考訳（メタデータ） (2024-03-12T21:54:34Z)
Transformers are Expressive, But Are They Expressive Enough for Regression? [38.369337945109855]
この結果から,トランスフォーマーはスムーズな関数を確実に近似するのに苦労し,分割的に一定間隔の近似に頼っていることがわかった。これらの課題に光を当てることで、トランスフォーマーの能力に関する洗練された理解を提唱する。
論文参考訳（メタデータ） (2024-02-23T18:12:53Z)
Introduction to Transformers: an NLP Perspective [59.0241868728732]
本稿では、トランスフォーマーの基本概念と、これらのモデルの最近の進歩を形作る重要な技術を紹介する。これには、標準のTransformerアーキテクチャ、一連のモデル改良、一般的なアプリケーションの記述が含まれる。
論文参考訳（メタデータ） (2023-11-29T13:51:04Z)
On the Convergence of Encoder-only Shallow Transformers [62.639819460956176]
エンコーダのみの浅部変圧器のグローバル収束理論を現実的な条件下で構築する。我々の結果は、現代のトランスフォーマー、特にトレーニング力学の理解を深める道を開くことができる。
論文参考訳（メタデータ） (2023-11-02T20:03:05Z)
An Introduction to Transformers [23.915718146956355]
Transformerは、有用なシーケンスやデータポイントのセットを学ぶために使用できるニューラルネットワークコンポーネントである。本稿では,トランスアーキテクチャの数学的,正確,直感的,クリーンな記述を目指す。
論文参考訳（メタデータ） (2023-04-20T14:54:19Z)
Your Transformer May Not be as Powerful as You Expect [88.11364619182773]
連続列列列関数を近似できるかどうかに関して, RPE ベースの変換器のパワーを数学的に解析する。 RPEをベースとしたトランスフォーマーでは,ニューラルネットワークの深さや幅がどんなに深くても近似できない連続列列列列関数が存在することを示す。我々は,その条件を満たす,Universal RPE-based (URPE) Attentionと呼ばれる新しいアテンションモジュールを開発する。
論文参考訳（メタデータ） (2022-05-26T14:51:30Z)
On the Power of Saturated Transformers: A View from Circuit Complexity [87.20342701232869]
飽和変圧器はハードアテンション変圧器の限界を超越していることを示す。硬度から飽和度へのジャンプは、変換器の有効回路深さを$O(log n)$の係数で増加させると解釈できる。
論文参考訳（メタデータ） (2021-06-30T17:09:47Z)
Thinking Like Transformers [64.96770952820691]
本稿では,プログラミング言語の形式で変換器エンコーダの計算モデルを提案する。 RASPは、トランスフォーマーによって確実に学習できるタスクの解決策をプログラムするのにどのように使えるかを示す。ヒストグラム、ソート、ダイク言語のためのRASPプログラムを提供する。
論文参考訳（メタデータ） (2021-06-13T13:04:46Z)
On the Computational Power of Transformers and its Implications in Sequence Modeling [10.497742214344855]
特に、位置エンコーディング、アテンションヘッド、残差接続、フィードフォワードネットワークといったトランスフォーマーにおける様々なコンポーネントの役割は明確ではない。バニラ変換器がチューリング完全であることを示すための代替的で単純な証明を提供する。さらに、ネットワークのチューリング完全性に対する各コンポーネントの必要性を分析する。
論文参考訳（メタデータ） (2020-06-16T16:27:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。