論文の概要: ButterflyFlow: Building Invertible Layers with Butterfly Matrices
- arxiv url: http://arxiv.org/abs/2209.13774v1
- Date: Wed, 28 Sep 2022 01:58:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-29 15:53:49.377524
- Title: ButterflyFlow: Building Invertible Layers with Butterfly Matrices
- Title(参考訳): ButterflyFlow: バタフライマトリクスで非可逆層を構築する
- Authors: Chenlin Meng, Linqi Zhou, Kristy Choi, Tri Dao, and Stefano Ermon
- Abstract要約: そこで本研究では,蝶の層に基づく可逆線形層を新たに提案する。
可逆なバタフライ層をベースとして,バタフライフローと呼ばれる新しい正規化フローモデルを構築した。
- 参考スコア(独自算出の注目度): 80.83142511616262
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Normalizing flows model complex probability distributions using maps obtained
by composing invertible layers. Special linear layers such as masked and 1x1
convolutions play a key role in existing architectures because they increase
expressive power while having tractable Jacobians and inverses. We propose a
new family of invertible linear layers based on butterfly layers, which are
known to theoretically capture complex linear structures including permutations
and periodicity, yet can be inverted efficiently. This representational power
is a key advantage of our approach, as such structures are common in many
real-world datasets. Based on our invertible butterfly layers, we construct a
new class of normalizing flow models called ButterflyFlow. Empirically, we
demonstrate that ButterflyFlows not only achieve strong density estimation
results on natural images such as MNIST, CIFAR-10, and ImageNet 32x32, but also
obtain significantly better log-likelihoods on structured datasets such as
galaxy images and MIMIC-III patient cohorts -- all while being more efficient
in terms of memory and computation than relevant baselines.
- Abstract(参考訳): 可逆層を合成した写像を用いた流れモデル複素確率分布の正規化
マスクや1x1畳み込みのような特別な線形層は、ヤコビアンや逆数を持ちながら表現力を高めるため、既存のアーキテクチャにおいて重要な役割を果たす。
本研究では, 摂動や周期性などの複雑な線形構造を理論的に捉えることで知られているバタフライ層に基づく新しい可逆的線形層群を提案する。
この表現力は、多くの実世界のデータセットに共通する構造であるため、我々のアプローチの重要な利点である。
可逆なバタフライ層に基づいて,バタフライフローと呼ばれる新しい正規化フローモデルを構築した。
実験により,ButterflyFlowsはMNIST,CIFAR-10,ImageNet 32x32などの自然画像に対して強い密度推定結果を得るだけでなく,銀河画像やMIMIC-III患者コホートなどの構造化データセット上でのログ類似度も有意に向上し,メモリや計算の面では関連するベースラインよりも優れていた。
関連論文リスト
- Dimension Mixer: A Generalized Method for Structured Sparsity in Deep
Neural Networks [13.080844124094696]
CNN、Transformers、Fourier-Mixersは、類似点と相違点を探す動機になりました。
結合流とバタフライ変換の研究は、部分的および階層的な信号混合スキームが効率的な近似に十分であることを示している。
グループワイズ,非線形,多線形,学習可能な混合方式について検討し,それらが多くの標準的なニューラルネットワークアーキテクチャに相補的であることを発見した。
論文 参考訳(メタデータ) (2023-11-30T17:30:45Z) - Lite it fly: An All-Deformable-Butterfly Network [7.8460795568982435]
ほとんどのディープニューラルネットワーク(DNN)は、基本的に畳み込み層と/または完全に接続された層で構成されている。
最近提案された変形可能な蝶(DeBut)は、フィルター行列を一般化された蝶様因子に分解する。
この研究は、DeButと奥行きと点方向の畳み込みの体系的な階層との親密な関係を明らかにしている。
論文 参考訳(メタデータ) (2023-11-14T12:41:22Z) - Equivariant Architectures for Learning in Deep Weight Spaces [54.61765488960555]
重み空間の学習のための新しいネットワークアーキテクチャを提案する。
入力として、事前訓練された不変量の重みとバイアスの連結をとる。
これらのレイヤを3つの基本的な操作で実装する方法を示す。
論文 参考訳(メタデータ) (2023-01-30T10:50:33Z) - Deformable Butterfly: A Highly Structured and Sparse Linear Transform [5.695853802236908]
本稿では,従来のバタフライ行列を一般化したデフォルマブル・バタフライ(Deformable Butterfly, DeBut)という線形変換を導入する。
従来の蝶のきめ細かい粒度の学習可能な階層を継承し、ニューラルネットワークにデプロイすると、DeBut層における顕著な構造と空間性が、ネットワーク圧縮の新しい方法を構成する。
論文 参考訳(メタデータ) (2022-03-25T10:20:50Z) - SPINE: Soft Piecewise Interpretable Neural Equations [0.0]
完全に接続されたネットワークはユビキタスだが解釈不能である。
本論文は,個々の部品に設定操作を施すことにより,ピースワイズに新しいアプローチを採っている(一部)。
完全に接続されたレイヤを解釈可能なレイヤに置き換えなければならない、さまざまなアプリケーションを見つけることができる。
論文 参考訳(メタデータ) (2021-11-20T16:18:00Z) - Self Normalizing Flows [65.73510214694987]
本稿では,各層における学習された近似逆数により,勾配の高価な項を置き換えることで,フローの正規化を訓練するための柔軟なフレームワークを提案する。
これにより、各レイヤの正確な更新の計算複雑性が$mathcalO(D3)$から$mathcalO(D2)$に削減される。
実験により,これらのモデルは非常に安定であり,正確な勾配値と類似したデータ可能性値に最適化可能であることが示された。
論文 参考訳(メタデータ) (2020-11-14T09:51:51Z) - Dual-constrained Deep Semi-Supervised Coupled Factorization Network with
Enriched Prior [80.5637175255349]
本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。
隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。
我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
論文 参考訳(メタデータ) (2020-09-08T13:10:21Z) - Sparse Linear Networks with a Fixed Butterfly Structure: Theory and
Practice [4.3400407844814985]
本稿では,バタフライネットワークに基づくアーキテクチャにより,ニューラルネットワーク内の密度線形層を置き換えることを提案する。
NLPデータと視覚データの両方の教師付き予測を含む実験のコレクションでは、これは単に既存のよく知られたアーキテクチャにマッチする結果をもたらすだけでなく、時には優れた結果をもたらすことを示す。
論文 参考訳(メタデータ) (2020-07-17T09:45:03Z) - Evolving Normalization-Activation Layers [100.82879448303805]
我々は、うまく機能しない候補層を迅速にフィルタリングする効率的な拒絶プロトコルを開発した。
EvoNormsは、新しい正規化活性化層であり、新しい構造を持ち、時には驚くべき構造を持つ。
我々の実験は、EvoNormsがResNets、MobileNets、EfficientNetsなどの画像分類モデルでうまく機能していることを示している。
論文 参考訳(メタデータ) (2020-04-06T19:52:48Z) - Multi-Objective Matrix Normalization for Fine-grained Visual Recognition [153.49014114484424]
双線形プールは細粒度視覚認識(FGVC)において大きな成功を収める
近年,行列パワー正規化は双線形特徴量において2次情報を安定化させることができることが示されている。
両線形表現を同時に正規化できる効率的な多目的行列正規化法(MOMN)を提案する。
論文 参考訳(メタデータ) (2020-03-30T08:40:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。