論文の概要: Permutation Equivariance of Transformers and Its Applications

• arxiv url: http://arxiv.org/abs/2304.07735v3
• Date: Sun, 31 Mar 2024 11:35:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-02 16:04:03.520581
• Title: Permutation Equivariance of Transformers and Its Applications
• Title（参考訳）: 変圧器の変圧器の変圧等価性とその応用
• Authors: Hengyuan Xu, Liyao Xiang, Hangyu Ye, Dixi Yao, Pengzhi Chu, Baochun Li,
• Abstract要約: トランスフォーマーベースのモデルはシャッフルに頑丈であるが、前方伝播におけるトークン間の置換に限られる。 ニューラルネットワークの前方及び後方伝播におけるトークン間置換とトークン内置換の両方を包含するより広範な概念である置換同値を提案する。 概念実証として、プライバシ強化分割学習やモデル認可を含む現実世界のアプリケーションが、置換同値性をどのように活用できるかを考察する。
• 参考スコア（独自算出の注目度）: 25.666783258054465
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Revolutionizing the field of deep learning, Transformer-based models have achieved remarkable performance in many tasks. Recent research has recognized these models are robust to shuffling but are limited to inter-token permutation in the forward propagation. In this work, we propose our definition of permutation equivariance, a broader concept covering both inter- and intra- token permutation in the forward and backward propagation of neural networks. We rigorously proved that such permutation equivariance property can be satisfied on most vanilla Transformer-based models with almost no adaptation. We examine the property over a range of state-of-the-art models including ViT, Bert, GPT, and others, with experimental validations. Further, as a proof-of-concept, we explore how real-world applications including privacy-enhancing split learning, and model authorization, could exploit the permutation equivariance property, which implicates wider, intriguing application scenarios.
• Abstract（参考訳）: ディープラーニングの分野に革命をもたらしたTransformerベースのモデルは、多くのタスクにおいて顕著なパフォーマンスを達成した。 近年の研究では、これらのモデルはシャッフルに頑健であるが、前方伝播におけるトークン間の置換に制限されていることが確認されている。 本研究では,ニューラルネットワークの前方及び後方伝播におけるトークン間置換とトークン内置換の両方を包含するより広範な概念である置換同値の定義を提案する。 我々は、ほとんど適応しないほとんどのバニラトランスフォーマーモデルにおいて、そのような置換同値性が満足できることを厳密に証明した。 本研究では,ViT,Bert,GPTなどの最先端モデルに対する特性を実験的に検証した。 さらに、概念実証として、プライバシ強化分割学習やモデル認可を含む現実世界のアプリケーションが、より広範で興味深いアプリケーションシナリオを暗示する置換同値性を活用する方法について検討する。

関連論文リスト

• Probabilistic Topic Modelling with Transformer Representations [0.9999629695552195]
  トランスフォーマー表現型ニューラルトピックモデル(TNTM)を提案する。 このアプローチは、完全に確率論的モデリングを伴うトランスフォーマー埋め込みに基づくトピックの強力で汎用的な概念を統一する。 実験の結果,提案手法は組込みコヒーレンスの観点から,様々な最先端手法に匹敵する結果が得られることがわかった。
  論文  参考訳（メタデータ） (2024-03-06T14:27:29Z)
• All Roads Lead to Rome? Exploring the Invariance of Transformers' Representations [69.3461199976959]
  本稿では, ビジェクション仮説を学習するために, 非可逆ニューラルネットワーク BERT-INN に基づくモデルを提案する。 BERT-INNの利点は理論上も広範な実験を通じても明らかである。
  論文  参考訳（メタデータ） (2023-05-23T22:30:43Z)
• Self-Supervised Learning for Group Equivariant Neural Networks [75.62232699377877]
  群同変ニューラルネットワーク(英: Group equivariant Neural Network)は、入力の変換で通勤する構造に制限されたモデルである。 自己教師型タスクには、同変プリテキストラベルと異変コントラスト損失という2つの概念を提案する。 標準画像認識ベンチマークの実験では、同変ニューラルネットワークが提案された自己教師型タスクを利用することを示した。
  論文  参考訳（メタデータ） (2023-03-08T08:11:26Z)
• Deep Neural Networks with Efficient Guaranteed Invariances [77.99182201815763]
  我々は、性能改善の問題、特にディープニューラルネットワークのサンプル複雑性に対処する。 群同変畳み込みは同変表現を得るための一般的なアプローチである。 本稿では,各ストリームが異なる変換に不変なマルチストリームアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-03-02T20:44:45Z)
• GAMMT: Generative Ambiguity Modeling Using Multiple Transformers [0.0]
  本稿では,GAMMT (Generative Ambiguity Models using Multiple Transformer) と呼ばれる新しいモデルを提案する。 我々のアプローチは、シーケンスのデータ生成プロセスが決定論的ではなく、むしろ曖昧で確率の集合の影響を受けていることを認めている。
  論文  参考訳（メタデータ） (2022-11-16T06:24:26Z)
• Improving the Sample-Complexity of Deep Classification Networks with Invariant Integration [77.99182201815763]
  変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。 そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。 本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
  論文  参考訳（メタデータ） (2022-02-08T16:16:11Z)
• Topographic VAEs learn Equivariant Capsules [84.33745072274942]
  本稿では, 地理的に整理された潜伏変数を用いた深部生成モデルを効率的に学習するための新しい手法であるTopographic VAEを紹介する。 このようなモデルでは,MNIST上での桁数クラス,幅,スタイルなどの健全な特徴に応じて,その活性化を組織化することが実際に学べることが示される。 我々は、既存の群同変ニューラルネットワークの能力を拡張して、複素変換に近似した同値性を示す。
  論文  参考訳（メタデータ） (2021-09-03T09:25:57Z)
• Variational Transformers for Diverse Response Generation [71.53159402053392]
  変分変換器(VT)は、変分自己注意フィードフォワードシーケンスモデルである。 VTはトランスフォーマーの並列化性と大域的受容場計算とCVAEの変動特性を組み合わせる。 本稿では,1)大域潜伏変数を用いた談話レベルの多様性のモデル化,2)細粒潜伏変数の列によるトランスフォーマーデコーダの拡張,の2種類のVTについて検討する。
  論文  参考訳（メタデータ） (2020-03-28T07:48:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。