論文の概要: Transformer Neural Autoregressive Flows
- arxiv url: http://arxiv.org/abs/2401.01855v1
- Date: Wed, 3 Jan 2024 17:51:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-04 13:21:43.510780
- Title: Transformer Neural Autoregressive Flows
- Title(参考訳): 変圧器ニューラル自己回帰流
- Authors: Massimiliano Patacchiola, Aliaksandra Shysheya, Katja Hofmann, Richard
E. Turner
- Abstract要約: 正規化フロー(NF)を用いて密度推定を行う。
我々はトランスフォーマーニューラルオートレグレッシブフロー(T-NAF)と呼ばれる新しいタイプのニューラルフローを定義するためにトランスフォーマーを利用する新しい解を提案する。
- 参考スコア(独自算出の注目度): 48.68932811531102
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Density estimation, a central problem in machine learning, can be performed
using Normalizing Flows (NFs). NFs comprise a sequence of invertible
transformations, that turn a complex target distribution into a simple one, by
exploiting the change of variables theorem. Neural Autoregressive Flows (NAFs)
and Block Neural Autoregressive Flows (B-NAFs) are arguably the most perfomant
members of the NF family. However, they suffer scalability issues and training
instability due to the constraints imposed on the network structure. In this
paper, we propose a novel solution to these challenges by exploiting
transformers to define a new class of neural flows called Transformer Neural
Autoregressive Flows (T-NAFs). T-NAFs treat each dimension of a random variable
as a separate input token, using attention masking to enforce an autoregressive
constraint. We take an amortization-inspired approach where the transformer
outputs the parameters of an invertible transformation. The experimental
results demonstrate that T-NAFs consistently match or outperform NAFs and
B-NAFs across multiple datasets from the UCI benchmark. Remarkably, T-NAFs
achieve these results using an order of magnitude fewer parameters than
previous approaches, without composing multiple flows.
- Abstract(参考訳): 機械学習における中心的な問題である密度推定は正規化フロー(NF)を用いて行うことができる。
NF は可逆変換の列を構成するので、複素対象の分布は変数の定理の変化を利用して単純なものへと変換される。
神経自己回帰流 (NAFs) とブロック神経自己回帰流 (B-NAFs) は間違いなくNFファミリーの最も永続的な流れである。
しかし、ネットワーク構造に課される制約のため、スケーラビリティの問題やトレーニングの不安定さに苦しむ。
本稿では,トランスフォーマーニューラルオートレグレッシブフロー (T-NAF) と呼ばれる新しいタイプのニューラルフローを定義するためにトランスフォーマーを活用することで,これらの課題に対する新しい解決策を提案する。
T-NAFは、ランダム変数の各次元を個別の入力トークンとして扱い、アテンションマスキングを使用して自己回帰的制約を強制する。
我々は、トランスフォーマーが可逆変換のパラメータを出力する、償却に触発されたアプローチを取る。
実験の結果、UCIベンチマークから得られた複数のデータセットで、T-NAFはNAFとB-NAFを一貫して比較または比較した。
注目すべきは、T-NAFは、複数のフローを構成することなく、従来のアプローチよりも桁違いに少ないパラメータでこれらの結果を達成することである。
関連論文リスト
- Free-form Flows: Make Any Architecture a Normalizing Flow [2.2136561577994853]
本研究では,変数の変動の勾配を効率的に推定する訓練手法を開発した。
これにより、任意の次元保存ニューラルネットワークが、最大限のトレーニングを通じて生成モデルとして機能することが可能になる。
我々は$E(n)$-equivariantネットワークを用いた分子生成ベンチマークにおいて優れた結果を得た。
論文 参考訳(メタデータ) (2023-10-25T13:23:08Z) - FRS-Nets: Fourier Parameterized Rotation and Scale Equivariant Networks
for Retinal Vessel Segmentation [55.4653338610275]
フーリエのパラメータ化と回転とスケーリングに等価な新しい畳み込み演算子 (FRS-Conv) を構築する。
対応するベースラインの13.9%のパラメータで、FRS-Netは最先端のパフォーマンスを達成した。
FRS-Netsの顕著な精度、一般化、臨床応用の可能性を示す。
論文 参考訳(メタデータ) (2023-09-27T13:14:57Z) - Trained Transformers Learn Linear Models In-Context [39.56636898650966]
トランスフォーマーとしての注意に基づくニューラルネットワークは、意図的学習(ICL)を示す顕著な能力を示した
線形回帰問題のランダムな例に対する変圧器の訓練において、これらのモデルの予測は通常の正方形の非線形性を模倣することを示した。
論文 参考訳(メタデータ) (2023-06-16T15:50:03Z) - Optimizing Non-Autoregressive Transformers with Contrastive Learning [74.46714706658517]
非自己回帰変換器(NAT)は、逐次順序ではなく全ての単語を同時に予測することにより、自動回帰変換器(AT)の推論遅延を低減する。
本稿では,データ分布ではなく,モデル分布からのサンプリングによるモダリティ学習の容易化を提案する。
論文 参考訳(メタデータ) (2023-05-23T04:20:13Z) - FlowTransformer: A Transformer Framework for Flow-based Network
Intrusion Detection Systems [0.0]
FlowTransformerは、トランスフォーマーベースのNIDSを実装するための新しいアプローチである。
入力エンコーディング、トランスフォーマー、分類ヘッド、フローベースのネットワークデータセット間での評価など、トランスフォーマーコンポーネントの直接的な置換を可能にする。
論文 参考訳(メタデータ) (2023-04-28T10:40:34Z) - Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。
この研究は、単一変換による周波数領域学習のための青写真を導入している。
論文 参考訳(メタデータ) (2022-11-26T01:56:05Z) - Factorized Fourier Neural Operators [77.47313102926017]
Factorized Fourier Neural Operator (F-FNO) は偏微分方程式をシミュレートする学習法である。
我々は,数値解法よりも桁違いに高速に動作しながら,誤差率2%を維持していることを示す。
論文 参考訳(メタデータ) (2021-11-27T03:34:13Z) - Learning Likelihoods with Conditional Normalizing Flows [54.60456010771409]
条件正規化フロー(CNF)はサンプリングと推論において効率的である。
出力空間写像に対する基底密度が入力 x 上で条件づけられた CNF について、条件密度 p(y|x) をモデル化する。
論文 参考訳(メタデータ) (2019-11-29T19:17:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。