論文の概要: Woodbury Transformations for Deep Generative Flows
- arxiv url: http://arxiv.org/abs/2002.12229v3
- Date: Fri, 8 Jan 2021 15:22:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-28 07:48:09.123869
- Title: Woodbury Transformations for Deep Generative Flows
- Title(参考訳): 深部生成流れのウッドベリー変換
- Authors: You Lu, Bert Huang
- Abstract要約: ウッドベリー行列の恒等式を用いて効率的な可逆性を実現するウッドベリー変換を導入する。
ウッドベリー変換は、(1)高次元相互作用、(2)効率的なサンプリング、(3)効率的な確率評価を可能にする。
- 参考スコア(独自算出の注目度): 17.062207075794205
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Normalizing flows are deep generative models that allow efficient likelihood
calculation and sampling. The core requirement for this advantage is that they
are constructed using functions that can be efficiently inverted and for which
the determinant of the function's Jacobian can be efficiently computed.
Researchers have introduced various such flow operations, but few of these
allow rich interactions among variables without incurring significant
computational costs. In this paper, we introduce Woodbury transformations,
which achieve efficient invertibility via the Woodbury matrix identity and
efficient determinant calculation via Sylvester's determinant identity. In
contrast with other operations used in state-of-the-art normalizing flows,
Woodbury transformations enable (1) high-dimensional interactions, (2)
efficient sampling, and (3) efficient likelihood evaluation. Other similar
operations, such as 1x1 convolutions, emerging convolutions, or periodic
convolutions allow at most two of these three advantages. In our experiments on
multiple image datasets, we find that Woodbury transformations allow learning
of higher-likelihood models than other flow architectures while still enjoying
their efficiency advantages.
- Abstract(参考訳): 正規化フローは効率的な確率計算とサンプリングを可能にする深層生成モデルである。
この利点の核となる要件は、それらは効率的に反転でき、関数のジャコビアン行列式を効率的に計算できる関数を使って構築されるということである。
研究者はこのようなフロー操作を導入したが、計算コストを伴わずに変数間のリッチな相互作用を許すものはほとんどない。
本稿では,Woodbury行列の同定と,Sylvesterの行列式による効率的な行列式計算により,効率的な可逆性を実現するWoodbury変換を提案する。
最先端の正規化フローで使われる他の操作とは対照的に、ウッドベリー変換は(1)高次元相互作用、(2)効率的なサンプリング、(3)効率的な確率評価を可能にする。
1x1畳み込み、新興畳み込み、周期畳み込みといった他の類似の操作は、これら3つの利点のうち少なくとも2つを許容する。
複数の画像データセットに関する実験では、Woodbury変換により、他のフローアーキテクチャよりも高次モデルの学習が可能であり、その効率性も享受できることがわかった。
関連論文リスト
- Safe Use of Neural Networks [0.0]
ネットワークの処理ステップで算術誤差を検出できる数値ベースのコードを使用する。
1つのパリティのセットはセクションの出力から取得され、もう1つの同等のセットは元の入力から直接開発される。
我々は,データセットの規模が大きいため,長い数値ベースの畳み込み符号の使用に重点を置いている。
論文 参考訳(メタデータ) (2023-06-13T19:07:14Z) - ButterflyFlow: Building Invertible Layers with Butterfly Matrices [80.83142511616262]
そこで本研究では,蝶の層に基づく可逆線形層を新たに提案する。
可逆なバタフライ層をベースとして,バタフライフローと呼ばれる新しい正規化フローモデルを構築した。
論文 参考訳(メタデータ) (2022-09-28T01:58:18Z) - ECO-TR: Efficient Correspondences Finding Via Coarse-to-Fine Refinement [80.94378602238432]
粗大な処理で対応性を見出すことにより、ECO-TR(Correspondence Efficient Transformer)と呼ばれる効率的な構造を提案する。
これを実現するために、複数の変圧器ブロックは段階的に連結され、予測された座標を徐々に洗練する。
種々のスパースタスクと密マッチングタスクの実験は、既存の最先端技術に対する効率性と有効性の両方において、我々の手法の優位性を実証している。
論文 参考訳(メタデータ) (2022-09-25T13:05:33Z) - Building an Efficiency Pipeline: Commutativity and Cumulativeness of
Efficiency Operators for Transformers [68.55472265775514]
モデルに適用した演算子として効率性を考える。
本稿では,このアイデアの妥当性と,効率作用素の可換性と累積性について検討する。
論文 参考訳(メタデータ) (2022-07-31T18:01:06Z) - The Self-Optimal-Transport Feature Transform [2.804721532913997]
ダウンストリームマッチングや関連するタスクのグループ化を容易にするために、データインスタンスの機能セットをアップグレードする方法を示します。
エントロピー正規化バージョンを最適輸送 (OT) 最適化により近似できる, 特定の min-コスト-max-flow 分数マッチング問題により, トランスダクティブ・トランスフォーメーションが生じる。
経験的に、この変換は、その使用において非常に効果的で柔軟性があり、挿入されるネットワークを一貫して改善している。
論文 参考訳(メタデータ) (2022-04-06T20:00:39Z) - Exploiting Problem Structure in Deep Declarative Networks: Two Case
Studies [34.49107529694559]
より深い宣言的ネットワーク - 頑健なベクトルプールと最適な輸送 - の2つの応用について検討する。
我々のアイデアは、他の新しいDeep Declarative nodeの計算性能を向上させるためのガイドとして利用できる。
論文 参考訳(メタデータ) (2022-02-24T22:53:03Z) - Hybrid Trilinear and Bilinear Programming for Aligning Partially
Overlapping Point Sets [85.71360365315128]
多くの応用において、部分重なり合う点集合が対応するRPMアルゴリズムに不変であるようなアルゴリズムが必要である。
まず、目的が立方体有界関数であることを示し、次に、三線型および双線型単相変換の凸エンベロープを用いて、その下界を導出する。
次に、変換変数上の分岐のみを効率よく実行するブランチ・アンド・バウンド(BnB)アルゴリズムを開発する。
論文 参考訳(メタデータ) (2021-01-19T04:24:23Z) - Self Normalizing Flows [65.73510214694987]
本稿では,各層における学習された近似逆数により,勾配の高価な項を置き換えることで,フローの正規化を訓練するための柔軟なフレームワークを提案する。
これにより、各レイヤの正確な更新の計算複雑性が$mathcalO(D3)$から$mathcalO(D2)$に削減される。
実験により,これらのモデルは非常に安定であり,正確な勾配値と類似したデータ可能性値に最適化可能であることが示された。
論文 参考訳(メタデータ) (2020-11-14T09:51:51Z) - Operation-Aware Soft Channel Pruning using Differentiable Masks [51.04085547997066]
本稿では,データ駆動型アルゴリズムを提案する。このアルゴリズムは,操作特性を利用して,ディープニューラルネットワークを異なる方法で圧縮する。
我々は大規模な実験を行い、出力ネットワークの精度で優れた性能を達成する。
論文 参考訳(メタデータ) (2020-07-08T07:44:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。