論文の概要: Transformers are Expressive, But Are They Expressive Enough for Regression?

• arxiv url: http://arxiv.org/abs/2402.15478v3
• Date: Fri, 30 Aug 2024 05:02:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-02 20:21:37.003472
• Title: Transformers are Expressive, But Are They Expressive Enough for Regression?
• Title（参考訳）: トランスフォーマーは表現力があるが、その表現力は回帰に十分か?
• Authors: Swaroop Nath, Harshad Khadilkar, Pushpak Bhattacharyya,
• Abstract要約: この結果から,トランスフォーマーはスムーズな関数を確実に近似するのに苦労し,分割的に一定間隔の近似に頼っていることがわかった。 これらの課題に光を当てることで、トランスフォーマーの能力に関する洗練された理解を提唱する。
• 参考スコア（独自算出の注目度）: 38.369337945109855
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformers have become pivotal in Natural Language Processing, demonstrating remarkable success in applications like Machine Translation and Summarization. Given their widespread adoption, several works have attempted to analyze the expressivity of Transformers. Expressivity of a neural network is the class of functions it can approximate. A neural network is fully expressive if it can act as a universal function approximator. We attempt to analyze the same for Transformers. Contrary to existing claims, our findings reveal that Transformers struggle to reliably approximate smooth functions, relying on piecewise constant approximations with sizable intervals. The central question emerges as: ''Are Transformers truly Universal Function Approximators?'' To address this, we conduct a thorough investigation, providing theoretical insights and supporting evidence through experiments. Theoretically, we prove that Transformer Encoders cannot approximate smooth functions. Experimentally, we complement our theory and show that the full Transformer architecture cannot approximate smooth functions. By shedding light on these challenges, we advocate a refined understanding of Transformers' capabilities. Code Link: https://github.com/swaroop-nath/transformer-expressivity.
• Abstract（参考訳）: トランスフォーマーは自然言語処理において重要な役割を担い、機械翻訳や要約といったアプリケーションで顕著な成功を収めている。 広く採用されていることから、トランスフォーマーの表現性を分析しようと試みている作品もいくつかある。 ニューラルネットワークの表現性は、近似可能な関数のクラスである。 ニューラルネットワークは、普遍関数近似器として機能できる場合、完全に表現可能である。 トランスフォーマーでも同様を解析しようと試みる。 既存の主張とは対照的に,我々はトランスフォーマーがスムーズな関数を確実に近似するのに苦労していることを明らかにした。 中心的な疑問は、「変換器は本当に普遍関数近似器か?」である。この問題に対処するため、我々は、理論的な洞察を提供し、実験を通じて証拠を支持する、徹底的な調査を行う。 理論的には、トランスフォーマーエンコーダは滑らかな関数を近似できない。 実験により、我々はこの理論を補完し、フルトランスフォーマーアーキテクチャが滑らかな関数を近似できないことを示す。 これらの課題に光を当てることで、トランスフォーマーの能力に関する洗練された理解を提唱する。 コードリンク:https://github.com/swaroop-nath/transformer- expressivity。

関連論文リスト

• Extracting Finite State Machines from Transformers [0.3069335774032178]
  機械的解釈可能性の観点から正規言語で訓練された変圧器の訓練可能性について検討する。 有限個の記号が状態を決定するとき, 変圧器の訓練性に対して, より強い下界を経験的に見出す。 機械的な洞察により、1層トランスフォーマーが優れた長さの一般化で学習できる正規言語を特徴付けることができる。
  論文  参考訳（メタデータ） (2024-10-08T13:43:50Z)
• On the Expressive Power of a Variant of the Looped Transformer [83.30272757948829]
  我々はアルゴリズム能力でトランスフォーマーを強化するために、AlgoFormerと呼ばれる新しいトランスフォーマーブロックを設計する。 提案したAlgoFormerは、同じ数のパラメータを使用する場合、アルゴリズム表現においてはるかに高い精度を達成することができる。 いくつかの理論的および実証的な結果は、設計されたトランスフォーマーが、人間設計のアルゴリズムよりも賢い可能性があることを示している。
  論文  参考訳（メタデータ） (2024-02-21T07:07:54Z)
• Learning Transformer Programs [78.9509560355733]
  設計によって機械的に解釈可能なトランスフォーマーの訓練手順を導入する。 人書きプログラムをTransformerにコンパイルする代わりに、勾配に基づく最適化を用いてトレーニングできる改良されたTransformerを設計する。 Transformer Programsは適切なソリューションを自動的に見つけ、同等のサイズの標準のTransformerと同等に動作する。
  論文  参考訳（メタデータ） (2023-06-01T20:27:01Z)
• Approximation and Estimation Ability of Transformers for Sequence-to-Sequence Functions with Infinite Dimensional Input [50.83356836818667]
  無限次元入力を持つシーケンス・ツー・シーケンス関数として変換器の近似と推定能力について検討する。 我々の理論的結果は、高次元データに対する変換器の実用的成功を支持する。
  論文  参考訳（メタデータ） (2023-05-30T02:44:49Z)
• An Introduction to Transformers [23.915718146956355]
  Transformerは、有用なシーケンスやデータポイントのセットを学ぶために使用できるニューラルネットワークコンポーネントである。 本稿では,トランスアーキテクチャの数学的,正確,直感的,クリーンな記述を目指す。
  論文  参考訳（メタデータ） (2023-04-20T14:54:19Z)
• Your Transformer May Not be as Powerful as You Expect [88.11364619182773]
  連続列列列関数を近似できるかどうかに関して, RPE ベースの変換器のパワーを数学的に解析する。 RPEをベースとしたトランスフォーマーでは,ニューラルネットワークの深さや幅がどんなに深くても近似できない連続列列列列関数が存在することを示す。 我々は,その条件を満たす,Universal RPE-based (URPE) Attentionと呼ばれる新しいアテンションモジュールを開発する。
  論文  参考訳（メタデータ） (2022-05-26T14:51:30Z)
• On the Power of Saturated Transformers: A View from Circuit Complexity [87.20342701232869]
  飽和変圧器はハードアテンション変圧器の限界を超越していることを示す。 硬度から飽和度へのジャンプは、変換器の有効回路深さを$O(log n)$の係数で増加させると解釈できる。
  論文  参考訳（メタデータ） (2021-06-30T17:09:47Z)
• On the Computational Power of Transformers and its Implications in Sequence Modeling [10.497742214344855]
  特に、位置エンコーディング、アテンションヘッド、残差接続、フィードフォワードネットワークといったトランスフォーマーにおける様々なコンポーネントの役割は明確ではない。 バニラ変換器がチューリング完全であることを示すための代替的で単純な証明を提供する。 さらに、ネットワークのチューリング完全性に対する各コンポーネントの必要性を分析する。
  論文  参考訳（メタデータ） (2020-06-16T16:27:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。