論文の概要: Transformer Neural Autoregressive Flows

• arxiv url: http://arxiv.org/abs/2401.01855v1
• Date: Wed, 3 Jan 2024 17:51:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-04 13:21:43.510780
• Title: Transformer Neural Autoregressive Flows
• Title（参考訳）: 変圧器ニューラル自己回帰流
• Authors: Massimiliano Patacchiola, Aliaksandra Shysheya, Katja Hofmann, Richard E. Turner
• Abstract要約: 正規化フロー(NF)を用いて密度推定を行う。 我々はトランスフォーマーニューラルオートレグレッシブフロー(T-NAF)と呼ばれる新しいタイプのニューラルフローを定義するためにトランスフォーマーを利用する新しい解を提案する。
• 参考スコア（独自算出の注目度）: 48.68932811531102
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Density estimation, a central problem in machine learning, can be performed using Normalizing Flows (NFs). NFs comprise a sequence of invertible transformations, that turn a complex target distribution into a simple one, by exploiting the change of variables theorem. Neural Autoregressive Flows (NAFs) and Block Neural Autoregressive Flows (B-NAFs) are arguably the most perfomant members of the NF family. However, they suffer scalability issues and training instability due to the constraints imposed on the network structure. In this paper, we propose a novel solution to these challenges by exploiting transformers to define a new class of neural flows called Transformer Neural Autoregressive Flows (T-NAFs). T-NAFs treat each dimension of a random variable as a separate input token, using attention masking to enforce an autoregressive constraint. We take an amortization-inspired approach where the transformer outputs the parameters of an invertible transformation. The experimental results demonstrate that T-NAFs consistently match or outperform NAFs and B-NAFs across multiple datasets from the UCI benchmark. Remarkably, T-NAFs achieve these results using an order of magnitude fewer parameters than previous approaches, without composing multiple flows.
• Abstract（参考訳）: 機械学習における中心的な問題である密度推定は正規化フロー(NF)を用いて行うことができる。 NF は可逆変換の列を構成するので、複素対象の分布は変数の定理の変化を利用して単純なものへと変換される。 神経自己回帰流 (NAFs) とブロック神経自己回帰流 (B-NAFs) は間違いなくNFファミリーの最も永続的な流れである。 しかし、ネットワーク構造に課される制約のため、スケーラビリティの問題やトレーニングの不安定さに苦しむ。 本稿では,トランスフォーマーニューラルオートレグレッシブフロー (T-NAF) と呼ばれる新しいタイプのニューラルフローを定義するためにトランスフォーマーを活用することで,これらの課題に対する新しい解決策を提案する。 T-NAFは、ランダム変数の各次元を個別の入力トークンとして扱い、アテンションマスキングを使用して自己回帰的制約を強制する。 我々は、トランスフォーマーが可逆変換のパラメータを出力する、償却に触発されたアプローチを取る。 実験の結果、UCIベンチマークから得られた複数のデータセットで、T-NAFはNAFとB-NAFを一貫して比較または比較した。 注目すべきは、T-NAFは、複数のフローを構成することなく、従来のアプローチよりも桁違いに少ないパラメータでこれらの結果を達成することである。

関連論文リスト

• Equivariant Neural Functional Networks for Transformers [2.3963215252605172]
  本稿では,トランスアーキテクチャのためのニューラルネットワーク(NFN)を体系的に検討する。 NFNは、ディープニューラルネットワーク(DNN)の重み、勾配、またはスパーシティパターンを入力データとして扱う特殊なニューラルネットワークである。
  論文  参考訳（メタデータ） (2024-10-05T15:56:57Z)
• Entropy-Informed Weighting Channel Normalizing Flow [7.751853409569806]
  正規化および機能依存の$mathttShuffle$演算を提案し,それをバニラマルチスケールアーキテクチャに統合する。 このような操作はエントロピー増加方向の変数を誘導するので、$mathttShuffle$演算をemphEntropy-Informed Weighting Channel Normalizing Flow (EIW-Flow)と呼ぶNFを参照する。
  論文  参考訳（メタデータ） (2024-07-06T04:46:41Z)
• Transformers Provably Learn Sparse Token Selection While Fully-Connected Nets Cannot [50.16171384920963]
  トランスフォーマーアーキテクチャは 様々なディープラーニング環境で普及しています 勾配降下で訓練された一層変圧器はスパーストークン選択タスクを確実に学習する。
  論文  参考訳（メタデータ） (2024-06-11T02:15:53Z)
• Trained Transformers Learn Linear Models In-Context [39.56636898650966]
  トランスフォーマーとしての注意に基づくニューラルネットワークは、意図的学習(ICL)を示す顕著な能力を示した 線形回帰問題のランダムな例に対する変圧器の訓練において、これらのモデルの予測は通常の正方形の非線形性を模倣することを示した。
  論文  参考訳（メタデータ） (2023-06-16T15:50:03Z)
• Optimizing Non-Autoregressive Transformers with Contrastive Learning [74.46714706658517]
  非自己回帰変換器(NAT)は、逐次順序ではなく全ての単語を同時に予測することにより、自動回帰変換器(AT)の推論遅延を低減する。 本稿では,データ分布ではなく,モデル分布からのサンプリングによるモダリティ学習の容易化を提案する。
  論文  参考訳（メタデータ） (2023-05-23T04:20:13Z)
• Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
  本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。 この研究は、単一変換による周波数領域学習のための青写真を導入している。
  論文  参考訳（メタデータ） (2022-11-26T01:56:05Z)
• Factorized Fourier Neural Operators [77.47313102926017]
  Factorized Fourier Neural Operator (F-FNO) は偏微分方程式をシミュレートする学習法である。 我々は,数値解法よりも桁違いに高速に動作しながら,誤差率2%を維持していることを示す。
  論文  参考訳（メタデータ） (2021-11-27T03:34:13Z)
• Learning Likelihoods with Conditional Normalizing Flows [54.60456010771409]
  条件正規化フロー(CNF)はサンプリングと推論において効率的である。 出力空間写像に対する基底密度が入力 x 上で条件づけられた CNF について、条件密度 p(y|x) をモデル化する。
  論文  参考訳（メタデータ） (2019-11-29T19:17:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。