論文の概要: ButterflyFlow: Building Invertible Layers with Butterfly Matrices

• arxiv url: http://arxiv.org/abs/2209.13774v1
• Date: Wed, 28 Sep 2022 01:58:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-29 15:53:49.377524
• Title: ButterflyFlow: Building Invertible Layers with Butterfly Matrices
• Title（参考訳）: ButterflyFlow: バタフライマトリクスで非可逆層を構築する
• Authors: Chenlin Meng, Linqi Zhou, Kristy Choi, Tri Dao, and Stefano Ermon
• Abstract要約: そこで本研究では,蝶の層に基づく可逆線形層を新たに提案する。 可逆なバタフライ層をベースとして,バタフライフローと呼ばれる新しい正規化フローモデルを構築した。
• 参考スコア（独自算出の注目度）: 80.83142511616262
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Normalizing flows model complex probability distributions using maps obtained by composing invertible layers. Special linear layers such as masked and 1x1 convolutions play a key role in existing architectures because they increase expressive power while having tractable Jacobians and inverses. We propose a new family of invertible linear layers based on butterfly layers, which are known to theoretically capture complex linear structures including permutations and periodicity, yet can be inverted efficiently. This representational power is a key advantage of our approach, as such structures are common in many real-world datasets. Based on our invertible butterfly layers, we construct a new class of normalizing flow models called ButterflyFlow. Empirically, we demonstrate that ButterflyFlows not only achieve strong density estimation results on natural images such as MNIST, CIFAR-10, and ImageNet 32x32, but also obtain significantly better log-likelihoods on structured datasets such as galaxy images and MIMIC-III patient cohorts -- all while being more efficient in terms of memory and computation than relevant baselines.
• Abstract（参考訳）: 可逆層を合成した写像を用いた流れモデル複素確率分布の正規化 マスクや1x1畳み込みのような特別な線形層は、ヤコビアンや逆数を持ちながら表現力を高めるため、既存のアーキテクチャにおいて重要な役割を果たす。 本研究では, 摂動や周期性などの複雑な線形構造を理論的に捉えることで知られているバタフライ層に基づく新しい可逆的線形層群を提案する。 この表現力は、多くの実世界のデータセットに共通する構造であるため、我々のアプローチの重要な利点である。 可逆なバタフライ層に基づいて,バタフライフローと呼ばれる新しい正規化フローモデルを構築した。 実験により,ButterflyFlowsはMNIST,CIFAR-10,ImageNet 32x32などの自然画像に対して強い密度推定結果を得るだけでなく,銀河画像やMIMIC-III患者コホートなどの構造化データセット上でのログ類似度も有意に向上し,メモリや計算の面では関連するベースラインよりも優れていた。

関連論文リスト

• Searching for Efficient Linear Layers over a Continuous Space of Structured Matrices [88.33936714942996]
  アインシュタイン和を通じて表現可能なすべての線形作用素の探索を可能にする統一フレームワークを提案する。 計算-最適スケーリング法則の違いは主に少数の変数によって支配されていることを示す。 そこで,Mixture-of-Experts (MoE) は,注目ブロックの投影を含む,モデルのすべての線形層におけるMoEを学習する。
  論文  参考訳（メタデータ） (2024-10-03T00:44:50Z)
• Compute Better Spent: Replacing Dense Layers with Structured Matrices [77.61728033234233]
  画像領域における畳み込みネットワークの成功が示すように、高密度行列に対するより効率的な代替手段を同定する。 異なる構造は、しばしばパフォーマンスに不可欠な、非常に異なる初期化尺度と学習率を必要とする。 本稿では,モナール行列を含む新しい行列族Block-Trainを提案する。
  論文  参考訳（メタデータ） (2024-06-10T13:25:43Z)
• Dimension Mixer: Group Mixing of Input Dimensions for Efficient Function Approximation [11.072628804821083]
  CNN、Transformers、Fourier-Mixersは、類似点と相違点を探す動機になりました。 これらのアーキテクチャは、一般的な次元混合の概念のレンズを通して解釈できることがわかった。 本研究では,グループワイズ,非線形,多層,学習可能な入力混合方式について検討し,それらが多くの標準的なニューラルネットワークアーキテクチャに相補的であることを明らかにする。
  論文  参考訳（メタデータ） (2023-11-30T17:30:45Z)
• Lite it fly: An All-Deformable-Butterfly Network [7.8460795568982435]
  ほとんどのディープニューラルネットワーク(DNN)は、基本的に畳み込み層と/または完全に接続された層で構成されている。 最近提案された変形可能な蝶(DeBut)は、フィルター行列を一般化された蝶様因子に分解する。 この研究は、DeButと奥行きと点方向の畳み込みの体系的な階層との親密な関係を明らかにしている。
  論文  参考訳（メタデータ） (2023-11-14T12:41:22Z)
• Equivariant Architectures for Learning in Deep Weight Spaces [54.61765488960555]
  重み空間の学習のための新しいネットワークアーキテクチャを提案する。 入力として、事前訓練された不変量の重みとバイアスの連結をとる。 これらのレイヤを3つの基本的な操作で実装する方法を示す。
  論文  参考訳（メタデータ） (2023-01-30T10:50:33Z)
• Deformable Butterfly: A Highly Structured and Sparse Linear Transform [5.695853802236908]
  本稿では,従来のバタフライ行列を一般化したデフォルマブル・バタフライ(Deformable Butterfly, DeBut)という線形変換を導入する。 従来の蝶のきめ細かい粒度の学習可能な階層を継承し、ニューラルネットワークにデプロイすると、DeBut層における顕著な構造と空間性が、ネットワーク圧縮の新しい方法を構成する。
  論文  参考訳（メタデータ） (2022-03-25T10:20:50Z)
• SPINE: Soft Piecewise Interpretable Neural Equations [0.0]
  完全に接続されたネットワークはユビキタスだが解釈不能である。 本論文は,個々の部品に設定操作を施すことにより,ピースワイズに新しいアプローチを採っている(一部)。 完全に接続されたレイヤを解釈可能なレイヤに置き換えなければならない、さまざまなアプリケーションを見つけることができる。
  論文  参考訳（メタデータ） (2021-11-20T16:18:00Z)
• Self Normalizing Flows [65.73510214694987]
  本稿では,各層における学習された近似逆数により,勾配の高価な項を置き換えることで,フローの正規化を訓練するための柔軟なフレームワークを提案する。 これにより、各レイヤの正確な更新の計算複雑性が$mathcalO(D3)$から$mathcalO(D2)$に削減される。 実験により,これらのモデルは非常に安定であり,正確な勾配値と類似したデータ可能性値に最適化可能であることが示された。
  論文  参考訳（メタデータ） (2020-11-14T09:51:51Z)
• Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
  本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。 隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。 我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
  論文  参考訳（メタデータ） (2020-09-08T13:10:21Z)
• Sparse Linear Networks with a Fixed Butterfly Structure: Theory and Practice [4.3400407844814985]
  本稿では,バタフライネットワークに基づくアーキテクチャにより,ニューラルネットワーク内の密度線形層を置き換えることを提案する。 NLPデータと視覚データの両方の教師付き予測を含む実験のコレクションでは、これは単に既存のよく知られたアーキテクチャにマッチする結果をもたらすだけでなく、時には優れた結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2020-07-17T09:45:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。