論文の概要: Approximation of Permutation Invariant Polynomials by Transformers: Efficient Construction in Column-Size

• arxiv url: http://arxiv.org/abs/2502.11467v1
• Date: Mon, 17 Feb 2025 05:56:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:08:35.737090
• Title: Approximation of Permutation Invariant Polynomials by Transformers: Efficient Construction in Column-Size
• Title（参考訳）: 変圧器による置換不変多項式の近似:カラムサイズの効率的な構成
• Authors: Naoki Takeshita, Masaaki Imaizumi,
• Abstract要約: トランスフォーマー(Transformer)は、様々な領域で顕著なパフォーマンスを示すニューラルネットワークの一種である。 本研究では,変圧器の柱対称近似能力について検討した。
• 参考スコア（独自算出の注目度）: 6.9060054915724
• License:
• Abstract: Transformers are a type of neural network that have demonstrated remarkable performance across various domains, particularly in natural language processing tasks. Motivated by this success, research on the theoretical understanding of transformers has garnered significant attention. A notable example is the mathematical analysis of their approximation power, which validates the empirical expressive capability of transformers. In this study, we investigate the ability of transformers to approximate column-symmetric polynomials, an extension of symmetric polynomials that take matrices as input. Consequently, we establish an explicit relationship between the size of the transformer network and its approximation capability, leveraging the parameter efficiency of transformers and their compatibility with symmetry by focusing on the algebraic properties of symmetric polynomials.
• Abstract（参考訳）: トランスフォーマーは、特に自然言語処理タスクにおいて、様々な領域で顕著なパフォーマンスを示すニューラルネットワークの一種である。 この成功によって、変圧器の理論的理解の研究は大きな注目を集めた。 注目すべき例として、変圧器の経験的表現能力を検証する近似力の数学的解析がある。 本研究では,行列を入力とする対称多項式の拡張である列対称多項式を近似する変換器の能力について検討する。 その結果, 変圧器のパラメータ効率と対称性との整合性を利用して, 対称多項式の代数的性質に着目し, 変圧器ネットワークの大きさと近似能力との明確な関係を確立することができた。

関連論文リスト

• Beyond the Permutation Symmetry of Transformers: The Role of Rotation for Model Fusion [43.299430093251736]
  変圧器のパラメータ空間対称性の新たな形式である回転対称性を導入する。 置換対称性とは異なり、回転対称性は連続領域で作用し、変圧器の同値集合を著しく拡大する。 モデル融合を強化するためのプラグアンドプレイモジュールとして理論的に最適なマッチングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-02-01T01:44:55Z)
• Equivariant Graph Network Approximations of High-Degree Polynomials for Force Field Prediction [62.05532524197309]
  同変深部モデルでは、分子動力学シミュレーションにおいて原子ポテンシャルと力場を正確に予測できることが示されている。 本研究では、同変アーキテクチャの同変関数を解析し、PACEと呼ばれる新しい同変ネットワークを導入する。 一般的なベンチマークで実験されたように、PACEは原子エネルギーと力場の予測における最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-11-06T19:34:40Z)
• EulerFormer: Sequential User Behavior Modeling with Complex Vector Attention [88.45459681677369]
  複素ベクトル注意を持つ新しい変圧器変圧器(EulerFormer)を提案する。 意味的差と位置的差の両方を定式化するための統一的な理論的枠組みを提供する。 意味的変動に対してより堅牢であり、原理上はより上述の理論的性質を持つ。
  論文  参考訳（メタデータ） (2024-03-26T14:18:43Z)
• AlgoFormer: An Efficient Transformer Framework with Algorithmic Structures [80.28359222380733]
  アルゴリズム機能を備えたトランスフォーマーを実現するために,AlgoFormerと呼ばれる新しいトランスフォーマーフレームワークを設計する。 特に、人間の設計した学習アルゴリズムの構造に触発されて、我々のトランスフォーマーフレームワークは、タスク前処理に責任を持つ事前変換器で構成されています。 いくつかの理論的および実証的な結果は、設計されたトランスフォーマーがアルゴリズム表現と学習を行う可能性があることを示すために提示される。
  論文  参考訳（メタデータ） (2024-02-21T07:07:54Z)
• Transformers, parallel computation, and logarithmic depth [33.659870765923884]
  我々は,一定数の自己注意層が,大規模並列計算の通信ラウンドを効率よくシミュレートし,シミュレートできることを示す。
  論文  参考訳（メタデータ） (2024-02-14T15:54:55Z)
• Towards Understanding Inductive Bias in Transformers: A View From Infinity [9.00214539845063]
  変換器は、列空間のより置換対称関数に偏りがちである。 対称群の表現論は定量的な解析的予測に利用できることを示す。 我々は、WikiTextデータセットは、実際に置換対称性の程度を持っていると主張している。
  論文  参考訳（メタデータ） (2024-02-07T19:00:01Z)
• Understanding the Expressive Power and Mechanisms of Transformer for Sequence Modeling [10.246977481606427]
  ドット積自己注意などのトランスフォーマーの異なる成分が表現力に影響を及ぼすメカニズムについて検討する。 本研究では,トランスフォーマーにおける臨界パラメータの役割を明らかにする。
  論文  参考訳（メタデータ） (2024-02-01T11:43:13Z)
• Approximation and Estimation Ability of Transformers for Sequence-to-Sequence Functions with Infinite Dimensional Input [50.83356836818667]
  無限次元入力を持つシーケンス・ツー・シーケンス関数として変換器の近似と推定能力について検討する。 我々の理論的結果は、高次元データに対する変換器の実用的成功を支持する。
  論文  参考訳（メタデータ） (2023-05-30T02:44:49Z)
• Your Transformer May Not be as Powerful as You Expect [88.11364619182773]
  連続列列列関数を近似できるかどうかに関して, RPE ベースの変換器のパワーを数学的に解析する。 RPEをベースとしたトランスフォーマーでは,ニューラルネットワークの深さや幅がどんなに深くても近似できない連続列列列列関数が存在することを示す。 我々は,その条件を満たす,Universal RPE-based (URPE) Attentionと呼ばれる新しいアテンションモジュールを開発する。
  論文  参考訳（メタデータ） (2022-05-26T14:51:30Z)
• Towards Lightweight Transformer via Group-wise Transformation for Vision-and-Language Tasks [126.33843752332139]
  本稿では,LW-Transformerと呼ばれる視覚・言語タスクのための,普遍的で軽量なトランスフォーマーに対するグループワイズ変換を提案する。 LW-Transformerを一組のTransformerベースのネットワークに適用し、3つの視覚・言語タスクと6つのベンチマークデータセットで定量的に測定する。 実験の結果,LW-Transformerは多数のパラメータや計算を節約しながら,視覚・言語タスクのためのトランスフォーマーネットワークと非常に競合する性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2022-04-16T11:30:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。