Fugu-MT 論文翻訳(概要): How Powerful are Decoder-Only Transformer Neural Models?

論文の概要: How Powerful are Decoder-Only Transformer Neural Models?

arxiv url: http://arxiv.org/abs/2305.17026v4
Date: Thu, 10 Oct 2024 15:51:10 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-11 14:29:25.493902
Title: How Powerful are Decoder-Only Transformer Neural Models?
Title（参考訳）: デコーダのみのトランスフォーマーニューラルモデルはどの程度強力か?
Authors: Jesse Roberts,
Abstract要約: GPT-xで採用されている基礎技術のチューリング完全性に対処する最初の研究である。単語埋め込みの空間性/圧縮性はチューリング完全性を維持する上で重要な考慮事項であることを示す。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: In this article we prove that the general transformer neural model undergirding modern large language models (LLMs) is Turing complete under reasonable assumptions. This is the first work to directly address the Turing completeness of the underlying technology employed in GPT-x as past work has focused on the more expressive, full auto-encoder transformer architecture. From this theoretical analysis, we show that the sparsity/compressibility of the word embedding is an important consideration for Turing completeness to hold. We also show that Transformers are are a variant of B machines studied by Hao Wang.
Abstract（参考訳）: 本稿では,現代大言語モデル (LLM) に基づく一般変圧器ニューラルモデルが,合理的な仮定の下でチューリング完全であることを証明する。 GPT-xで採用されている基盤技術のチューリング完全性に直接対処する最初の研究であり、これまでの研究はより表現力のある完全なオートエンコーダトランスアーキテクチャに重点を置いていた。この理論解析から, 単語埋め込みの空間/圧縮性は, チューリング完全性を維持する上で重要な考慮事項であることを示す。また、Transformer は Hao Wang が研究した B マシンの変種であることを示す。

関連論文リスト

Can Transformers Learn $n$-gram Language Models? [77.35809823602307]
2種類のランダムな$n$-gram LMを学習するトランスフォーマーの能力について検討する。例えば、$n$-gram LMに対する古典的な推定手法として、add-$lambda$ smoothing outperform transformerがある。
論文参考訳（メタデータ） (2024-10-03T21:21:02Z)
Simulating Weighted Automata over Sequences and Trees with Transformers [5.078561931628571]
DFAを仮定するモデルのクラスである重み付き有限オートマトン (WFAs) と重み付き木オートマトン (WTA) をシミュレートできることを示す。我々はこれらの主張を正式に証明し、ターゲットオートマタの状態数の関数として必要とされる変換器モデルのサイズについて上限を与える。
論文参考訳（メタデータ） (2024-03-12T21:54:34Z)
Transformers are Expressive, But Are They Expressive Enough for Regression? [38.369337945109855]
この結果から,トランスフォーマーはスムーズな関数を確実に近似するのに苦労し,分割的に一定間隔の近似に頼っていることがわかった。これらの課題に光を当てることで、トランスフォーマーの能力に関する洗練された理解を提唱する。
論文参考訳（メタデータ） (2024-02-23T18:12:53Z)
Introduction to Transformers: an NLP Perspective [59.0241868728732]
本稿では、トランスフォーマーの基本概念と、これらのモデルの最近の進歩を形作る重要な技術を紹介する。これには、標準のTransformerアーキテクチャ、一連のモデル改良、一般的なアプリケーションの記述が含まれる。
論文参考訳（メタデータ） (2023-11-29T13:51:04Z)
On the Convergence of Encoder-only Shallow Transformers [62.639819460956176]
エンコーダのみの浅部変圧器のグローバル収束理論を現実的な条件下で構築する。我々の結果は、現代のトランスフォーマー、特にトレーニング力学の理解を深める道を開くことができる。
論文参考訳（メタデータ） (2023-11-02T20:03:05Z)
An Introduction to Transformers [23.915718146956355]
Transformerは、有用なシーケンスやデータポイントのセットを学ぶために使用できるニューラルネットワークコンポーネントである。本稿では,トランスアーキテクチャの数学的,正確,直感的,クリーンな記述を目指す。
論文参考訳（メタデータ） (2023-04-20T14:54:19Z)
Your Transformer May Not be as Powerful as You Expect [88.11364619182773]
連続列列列関数を近似できるかどうかに関して, RPE ベースの変換器のパワーを数学的に解析する。 RPEをベースとしたトランスフォーマーでは,ニューラルネットワークの深さや幅がどんなに深くても近似できない連続列列列列関数が存在することを示す。我々は,その条件を満たす,Universal RPE-based (URPE) Attentionと呼ばれる新しいアテンションモジュールを開発する。
論文参考訳（メタデータ） (2022-05-26T14:51:30Z)
On the Power of Saturated Transformers: A View from Circuit Complexity [87.20342701232869]
飽和変圧器はハードアテンション変圧器の限界を超越していることを示す。硬度から飽和度へのジャンプは、変換器の有効回路深さを$O(log n)$の係数で増加させると解釈できる。
論文参考訳（メタデータ） (2021-06-30T17:09:47Z)
Thinking Like Transformers [64.96770952820691]
本稿では,プログラミング言語の形式で変換器エンコーダの計算モデルを提案する。 RASPは、トランスフォーマーによって確実に学習できるタスクの解決策をプログラムするのにどのように使えるかを示す。ヒストグラム、ソート、ダイク言語のためのRASPプログラムを提供する。
論文参考訳（メタデータ） (2021-06-13T13:04:46Z)
On the Computational Power of Transformers and its Implications in Sequence Modeling [10.497742214344855]
特に、位置エンコーディング、アテンションヘッド、残差接続、フィードフォワードネットワークといったトランスフォーマーにおける様々なコンポーネントの役割は明確ではない。バニラ変換器がチューリング完全であることを示すための代替的で単純な証明を提供する。さらに、ネットワークのチューリング完全性に対する各コンポーネントの必要性を分析する。
論文参考訳（メタデータ） (2020-06-16T16:27:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。