論文の概要: On the Expressive Power of Transformers

• arxiv url: http://arxiv.org/abs/2608.12671v1
• Date: Thu, 13 Aug 2026 00:12:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-14 18:29:38.351595
• Title: On the Expressive Power of Transformers
• Title（参考訳）: 変圧器の表現力について
• Abstract要約: 回路複雑性は、変圧器の表現力を分析するために計算複雑性の「正しい」分岐として現れた。 本稿では,回路の複雑度から概念と手法を用いて,変換器の表現力を表す選択結果の概要を示す。
• 参考スコア（独自算出の注目度）: 0.8594140167290097
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-layer transformers form the critical component of essentially all large language models (LLMs) in use today. Because of their ubiquity and computational capability, there is a rapidly growing body of work that aims to precisely calibrate the expressive power of transformers as language recognizers by comparing them against standard models of computation studied for decades by the theoretical computer science community. In this endeavor, circuit complexity has by and large emerged as the "correct" branch of computational complexity to analyze the expressive power of transformers; the reason is that parameterizing transformers by the various resources they use, such as attention and precision, leads to direct comparisons with different classes of circuits parameterized by resources such as type of gates, size, and depth. Here, we present an overview of selected results that delineate the expressive power of transformers using concepts and methods from circuit complexity.
• Abstract（参考訳）: マルチレイヤートランスは、現在使われているすべての大規模言語モデル(LLM)の重要な構成要素である。 ユビキティと計算能力のため、理論計算機科学コミュニティによって何十年も研究されてきた標準的な計算モデルと比較することにより、トランスフォーマーの表現力を言語認識者として正確に校正することを目的とした研究が急速に増えている。 この取り組みにおいて、回路複雑性は変圧器の表現力を分析するための計算複雑性の「正しい」分岐として大きくなり、その理由は、彼らが使用する様々なリソース(注意や精度など)による変圧器のパラメータ化が、ゲートの種類、サイズ、深さなどのリソースによってパラメータ化される回路の異なるクラスと直接比較されるからである。 本稿では,回路の複雑度から概念と手法を用いて,変換器の表現力を表す選択結果の概要を示す。

関連論文リスト

• Fixed Universal Transformers [50.35639171254542]
  本稿では,任意のクラス内の任意の変圧器を適切な入力埋め込みによりシミュレートできる固定変圧器について紹介する。 埋め込み次元が十分に大きい場合に、普遍性を達成する明示的なスパース構成を提供する。 以上の結果から,変圧器の表現力の大部分は,学習した重みよりも入力表現に留まる可能性が示唆された。
  論文  参考訳（メタデータ） (2026-05-29T15:22:06Z)
• Revisiting Padded Transformer Expressivity: Which Architectural Choices Matter and Which Don't [78.36679389968772]
  パッド付き$textL$ constantprecision transformerは、表現性に対して驚くほど堅牢である。 glogd-looped constant-precision transformer reach $textFO-uniform TCd$, growing-precision transformer reach $textFO-uniform TCd$
  論文  参考訳（メタデータ） (2026-05-28T19:58:43Z)
• Approximation of Permutation Invariant Polynomials by Transformers: Efficient Construction in Column-Size [6.9060054915724]
  トランスフォーマー(Transformer)は、様々な領域で顕著なパフォーマンスを示すニューラルネットワークの一種である。 本研究では,変圧器の柱対称近似能力について検討した。
  論文  参考訳（メタデータ） (2025-02-17T05:56:11Z)
• A Comparative Study on Code Generation with Transformers [0.0]
  本稿では「トランスフォーマーを用いたコード生成の比較研究」という概念を紹介する。 Transformerアーキテクチャに基づくモデルと、さまざまな問題に対してC++ソースコードを自動生成するNLP方法論。
  論文  参考訳（メタデータ） (2024-12-07T21:18:23Z)
• Transformers are Efficient Compilers, Provably [11.459397066286822]
  トランスフォーマーベースの大規模言語モデル(LLM)は、幅広い言語関連タスクにおいて驚くほど堅牢なパフォーマンスを示している。 本稿では,表現力の観点から,トランスフォーマーをコンパイラとして用いることの正式な調査に向けて第一歩を踏み出す。 代表言語であるMini-Huskyを導入し、現代のC言語の特徴をカプセル化する。
  論文  参考訳（メタデータ） (2024-10-07T20:31:13Z)
• AlgoFormer: An Efficient Transformer Framework with Algorithmic Structures [80.28359222380733]
  アルゴリズム機能を備えたトランスフォーマーを実現するために,AlgoFormerと呼ばれる新しいトランスフォーマーフレームワークを設計する。 特に、人間の設計した学習アルゴリズムの構造に触発されて、我々のトランスフォーマーフレームワークは、タスク前処理に責任を持つ事前変換器で構成されています。 いくつかの理論的および実証的な結果は、設計されたトランスフォーマーがアルゴリズム表現と学習を行う可能性があることを示すために提示される。
  論文  参考訳（メタデータ） (2024-02-21T07:07:54Z)
• Looped Transformers are Better at Learning Learning Algorithms [16.98720552888865]
  本稿ではループ変換器アーキテクチャとその学習手法について述べる。 実験結果から, ループ変換器は標準変圧器に匹敵する性能を実現することが示唆された。
  論文  参考訳（メタデータ） (2023-11-21T08:32:38Z)
• On the Power of Saturated Transformers: A View from Circuit Complexity [87.20342701232869]
  飽和変圧器はハードアテンション変圧器の限界を超越していることを示す。 硬度から飽和度へのジャンプは、変換器の有効回路深さを$O(log n)$の係数で増加させると解釈できる。
  論文  参考訳（メタデータ） (2021-06-30T17:09:47Z)
• Thinking Like Transformers [64.96770952820691]
  本稿では,プログラミング言語の形式で変換器エンコーダの計算モデルを提案する。 RASPは、トランスフォーマーによって確実に学習できるタスクの解決策をプログラムするのにどのように使えるかを示す。 ヒストグラム、ソート、ダイク言語のためのRASPプログラムを提供する。
  論文  参考訳（メタデータ） (2021-06-13T13:04:46Z)
• Scalable Transformers for Neural Machine Translation [86.4530299266897]
  トランスフォーマーは、そのキャパシティとシーケンス生成の並列トレーニングのため、ニューラルネットワーク翻訳(NMT)で広く採用されている。 本稿では,異なるスケールのサブトランスフォーマーを自然に含み,パラメータを共有できる,スケーラブルなトランスフォーマーを提案する。 スケーラブルトランスフォーマーのトレーニングの難しさに対処する3段階のトレーニングスキームが提案されている。
  論文  参考訳（メタデータ） (2021-06-04T04:04:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。