論文の概要: A Variational AutoEncoder for Transformers with Nonparametric Variational Information Bottleneck

• arxiv url: http://arxiv.org/abs/2207.13529v1
• Date: Wed, 27 Jul 2022 13:59:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-28 12:58:09.514887
• Title: A Variational AutoEncoder for Transformers with Nonparametric Variational Information Bottleneck
• Title（参考訳）: 非パラメトリック変動情報ボトルネックを有する変圧器の変分オートエンコーダ
• Authors: James Henderson and Fabio Fehr
• Abstract要約: 変換器エンコーダの埋め込み空間を混合確率分布として定式化する。 このような注意に基づく埋め込みのための非パラメトリック変動情報ボトルネック(NVIB)を導出する。 NVIBを用いてトランスフォーマーエンコーダデコーダのクロスアテンションを正規化することにより、非パラメトリック変分オートエンコーダ(NVAE)を提案する。
• 参考スコア（独自算出の注目度）: 17.572024590374305
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a VAE for Transformers by developing a variational information bottleneck regulariser for Transformer embeddings. We formalise the embedding space of Transformer encoders as mixture probability distributions, and use Bayesian nonparametrics to derive a nonparametric variational information bottleneck (NVIB) for such attention-based embeddings. The variable number of mixture components supported by nonparametric methods captures the variable number of vectors supported by attention, and the exchangeability of our nonparametric distributions captures the permutation invariance of attention. This allows NVIB to regularise the number of vectors accessible with attention, as well as the amount of information in individual vectors. By regularising the cross-attention of a Transformer encoder-decoder with NVIB, we propose a nonparametric variational autoencoder (NVAE). Initial experiments on training a NVAE on natural language text show that the induced embedding space has the desired properties of a VAE for Transformers.
• Abstract（参考訳）: 本稿ではトランスフォーマー埋め込みのための変分情報ボトルネック正規化器を開発することでトランスフォーマー用VAEを提案する。 本研究では,トランスフォーマーエンコーダの埋め込み空間を混合確率分布として定式化し,ベイズ非パラメトリックを用いて非パラメトリック変動情報ボトルネック(NVIB)を導出する。 非パラメトリック法で支持される混合成分の可変数は注意によって支持されるベクトルの可変数をキャプチャし、非パラメトリック分布の交換性は注意の置換不変性をキャプチャする。 これにより、NVIBは、注意によってアクセス可能なベクトルの数と、個々のベクトルの情報量を調整することができる。 NVIBを用いてトランスフォーマーエンコーダデコーダのクロスアテンションを正規化することにより、非パラメトリック変分オートエンコーダ(NVAE)を提案する。 自然言語テキスト上でNVAEをトレーニングする最初の実験は、誘導埋め込み空間が変換器のためのVAEの望ましい性質を持っていることを示している。

関連論文リスト

• Application of Transformers for Nonlinear Channel Compensation in Optical Systems [0.23499129784547654]
  変換器をベースとした非線形光チャネル等化器を提案する。 並列計算の活用とシンボル列間の直接メモリへの接続により,変換器を非線形補償に有効に利用できることを示す。
  論文  参考訳（メタデータ） (2023-04-25T19:48:54Z)
• Recurrence Boosts Diversity! Revisiting Recurrent Latent Variable in Transformer-Based Variational AutoEncoder for Diverse Text Generation [85.5379146125199]
  変分自動エンコーダ(VAE)はテキスト生成において広く採用されている。 本稿ではトランスフォーマーをベースとしたリカレントVAE構造であるTRACEを提案する。
  論文  参考訳（メタデータ） (2022-10-22T10:25:35Z)
• Addressing Token Uniformity in Transformers via Singular Value Transformation [24.039280291845706]
  トークンの均一性は、変圧器ベースのモデルでよく見られる。 より歪んだ特異値分布はトークンの均一性の問題を軽減することができることを示す。
  論文  参考訳（メタデータ） (2022-08-24T22:44:09Z)
• Scalable Transformers for Neural Machine Translation [86.4530299266897]
  トランスフォーマーは、そのキャパシティとシーケンス生成の並列トレーニングのため、ニューラルネットワーク翻訳(NMT)で広く採用されている。 本稿では,異なるスケールのサブトランスフォーマーを自然に含み,パラメータを共有できる,スケーラブルなトランスフォーマーを提案する。 スケーラブルトランスフォーマーのトレーニングの難しさに対処する3段階のトレーニングスキームが提案されている。
  論文  参考訳（メタデータ） (2021-06-04T04:04:10Z)
• Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
  トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。 本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-09T10:55:27Z)
• Learnable Gabor modulated complex-valued networks for orientation robustness [4.024850952459758]
  学習可能な Gabor Convolutional Networks (LGCNs) はパラメータ効率が良く、モデルの複雑さが増す。 複雑な値を持つ畳み込み重みの束縛性について,学習したガボルフィルタを用いて検討し,配向変換を実現する。
  論文  参考訳（メタデータ） (2020-11-23T21:22:27Z)
• N-ODE Transformer: A Depth-Adaptive Variant of the Transformer Using Neural Ordinary Differential Equations [1.2183405753834562]
  ニューラル常微分方程式を用いて、入力依存の時間ステップ数が通常の微分方程式ソルバによって取られるという意味で、深さ適応的なトランスフォーマーの変種を定式化する。 本稿では、標準トランスフォーマーが既知の制限を持つバイナリシーケンスのパリティを決定するという単純な問題について考察する。 しかし、N-ODE変換器の深さ適応性は、パリティ問題の本質的に非局所的な性質に対する対策を提供していない。
  論文  参考訳（メタデータ） (2020-10-22T00:48:24Z)
• DA-Transformer: Distance-aware Transformer [87.20061062572391]
  DA-Transformerは、実際の距離を利用することができる距離対応トランスである。 本稿では,実距離を利用した距離認識変換器であるDA-Transformerを提案する。
  論文  参考訳（メタデータ） (2020-10-14T10:09:01Z)
• Quantitative Understanding of VAE as a Non-linearly Scaled Isometric Embedding [52.48298164494608]
  変分オートエンコーダ(VAE)は、各入力データに対応する潜伏変数の後方パラメータを推定する。 本稿では,VAEの微分幾何学的および情報理論的解釈を通じて,VAEの特性を定量的に理解する。
  論文  参考訳（メタデータ） (2020-07-30T02:37:46Z)
• Variational Transformers for Diverse Response Generation [71.53159402053392]
  変分変換器(VT)は、変分自己注意フィードフォワードシーケンスモデルである。 VTはトランスフォーマーの並列化性と大域的受容場計算とCVAEの変動特性を組み合わせる。 本稿では,1)大域潜伏変数を用いた談話レベルの多様性のモデル化,2)細粒潜伏変数の列によるトランスフォーマーデコーダの拡張,の2種類のVTについて検討する。
  論文  参考訳（メタデータ） (2020-03-28T07:48:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。