論文の概要: Transformers are Inherently Succinct

• arxiv url: http://arxiv.org/abs/2510.19315v2
• Date: Thu, 23 Oct 2025 08:09:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:15.240188
• Title: Transformers are Inherently Succinct
• Title（参考訳）: トランスフォーマーは本質的に従属的です
• Authors: Pascal Bergsträßer, Ryan Cotterell, Anthony W. Lin,
• Abstract要約: 変換器は形式言語の標準表現よりもかなり簡潔に形式言語を表現できることを証明している。 この表現性の副産物として, 変圧器のバリデーション特性が確実に抽出可能であることを示す。
• 参考スコア（独自算出の注目度）: 46.836122954309566
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose succinctness as a measure of the expressive power of a transformer in describing a concept. To this end, we prove that transformers are highly expressive in that they can represent formal languages substantially more succinctly than standard representations of formal languages like finite automata and Linear Temporal Logic (LTL) formulas. As a by-product of this expressivity, we show that verifying properties of transformers is provably intractable (i.e. EXPSPACE-complete).
• Abstract（参考訳）: 本稿では,概念記述における変圧器の表現力の尺度として簡潔さを提案する。 この目的のために、変換器は有限オートマトンや線形時間論理(LTL)といった形式言語の標準表現よりもかなり簡潔に形式言語を表現できることを証明している。 この表現性の副産物として、変圧器の検証特性が証明可能(EXPSPACE完全)であることが示される。

関連論文リスト

• Characterizing the Expressivity of Transformer Language Models [56.598551673153366]
  厳密な将来のマスキングとソフトアテンションを備えた固定精度変圧器の正確な特性について述べる。 これらのモデルは、線形時間論理の特定の断片と同じくらい正確に表現可能であることを示す。 さらに、この論理を形式言語理論、オートマトン理論、代数の確立されたクラスに関連付ける。
  論文  参考訳（メタデータ） (2025-05-29T16:30:30Z)
• The Counting Power of Transformers [45.96383652484399]
  我々は変圧器の計数力を調べるための公式な枠組みを提供する。 我々の主な成果は、変換器が非常に非線形なカウント特性を表現できることである。 より正確には、変換器が全ての半代数的カウント特性をキャプチャできることを証明できる。
  論文  参考訳（メタデータ） (2025-05-16T12:56:59Z)
• Approximation and Estimation Ability of Transformers for Sequence-to-Sequence Functions with Infinite Dimensional Input [50.83356836818667]
  無限次元入力を持つシーケンス・ツー・シーケンス関数として変換器の近似と推定能力について検討する。 我々の理論的結果は、高次元データに対する変換器の実用的成功を支持する。
  論文  参考訳（メタデータ） (2023-05-30T02:44:49Z)
• A Logic for Expressing Log-Precision Transformers [33.4994300801846]
  本稿では,任意の対数精度変換器を一階述語論理文として等価に表現できることを示す。 これは、最も厳密な既知の上界であり、対数精度変換器の論理的特徴である。
  論文  参考訳（メタデータ） (2022-10-06T04:18:09Z)
• Scalable Transformers for Neural Machine Translation [86.4530299266897]
  トランスフォーマーは、そのキャパシティとシーケンス生成の並列トレーニングのため、ニューラルネットワーク翻訳(NMT)で広く採用されている。 本稿では,異なるスケールのサブトランスフォーマーを自然に含み,パラメータを共有できる,スケーラブルなトランスフォーマーを提案する。 スケーラブルトランスフォーマーのトレーニングの難しさに対処する3段階のトレーニングスキームが提案されている。
  論文  参考訳（メタデータ） (2021-06-04T04:04:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。