論文の概要: Woodbury Transformations for Deep Generative Flows

• arxiv url: http://arxiv.org/abs/2002.12229v3
• Date: Fri, 8 Jan 2021 15:22:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 07:48:09.123869
• Title: Woodbury Transformations for Deep Generative Flows
• Title（参考訳）: 深部生成流れのウッドベリー変換
• Authors: You Lu, Bert Huang
• Abstract要約: ウッドベリー行列の恒等式を用いて効率的な可逆性を実現するウッドベリー変換を導入する。 ウッドベリー変換は、(1)高次元相互作用、(2)効率的なサンプリング、(3)効率的な確率評価を可能にする。
• 参考スコア（独自算出の注目度）: 17.062207075794205
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Normalizing flows are deep generative models that allow efficient likelihood calculation and sampling. The core requirement for this advantage is that they are constructed using functions that can be efficiently inverted and for which the determinant of the function's Jacobian can be efficiently computed. Researchers have introduced various such flow operations, but few of these allow rich interactions among variables without incurring significant computational costs. In this paper, we introduce Woodbury transformations, which achieve efficient invertibility via the Woodbury matrix identity and efficient determinant calculation via Sylvester's determinant identity. In contrast with other operations used in state-of-the-art normalizing flows, Woodbury transformations enable (1) high-dimensional interactions, (2) efficient sampling, and (3) efficient likelihood evaluation. Other similar operations, such as 1x1 convolutions, emerging convolutions, or periodic convolutions allow at most two of these three advantages. In our experiments on multiple image datasets, we find that Woodbury transformations allow learning of higher-likelihood models than other flow architectures while still enjoying their efficiency advantages.
• Abstract（参考訳）: 正規化フローは効率的な確率計算とサンプリングを可能にする深層生成モデルである。 この利点の核となる要件は、それらは効率的に反転でき、関数のジャコビアン行列式を効率的に計算できる関数を使って構築されるということである。 研究者はこのようなフロー操作を導入したが、計算コストを伴わずに変数間のリッチな相互作用を許すものはほとんどない。 本稿では,Woodbury行列の同定と,Sylvesterの行列式による効率的な行列式計算により,効率的な可逆性を実現するWoodbury変換を提案する。 最先端の正規化フローで使われる他の操作とは対照的に、ウッドベリー変換は(1)高次元相互作用、(2)効率的なサンプリング、(3)効率的な確率評価を可能にする。 1x1畳み込み、新興畳み込み、周期畳み込みといった他の類似の操作は、これら3つの利点のうち少なくとも2つを許容する。 複数の画像データセットに関する実験では、Woodbury変換により、他のフローアーキテクチャよりも高次モデルの学習が可能であり、その効率性も享受できることがわかった。

関連論文リスト

• MemoryFormer: Minimize Transformer Computation by Removing Fully-Connected Layers [43.39466934693055]
  本稿では,新しい視点から計算複雑性(FLOP)を大幅に低減する,新しいトランスフォーマーアーキテクチャであるMemoryFormerを提案する。 これは、完全連結層の線形射影を置き換えるために、特徴変換の代替手法を利用することで実現される。 提案手法の有効性を示すため,様々なベンチマーク実験を行った。
  論文  参考訳（メタデータ） (2024-11-20T02:41:53Z)
• SIMformer: Single-Layer Vanilla Transformer Can Learn Free-Space Trajectory Similarity [11.354974227479355]
  本稿では,単一層ベニラ変換器エンコーダのみを特徴抽出器として使用する,シンプルで正確かつ高速でスケーラブルなモデルを提案する。 我々のモデルは、次元問題の呪いを著しく軽減し、有効性、効率性、スケーラビリティにおいて最先端の技術を上回ります。
  論文  参考訳（メタデータ） (2024-10-18T17:30:17Z)
• Knowledge Composition using Task Vectors with Learned Anisotropic Scaling [51.4661186662329]
  本稿では,パラメータブロックと異なる学習係数を線形に組み合わせ,タスクベクトルレベルでの異方性スケーリングを実現するアルゴリズムであるaTLASを紹介する。 このような線形結合は事前学習されたモデルの低内在性を明示的に利用しており、学習可能なパラメータは数係数のみであることを示す。 本稿では,タスク算術,少数ショット認識,テスト時間適応において,教師なしあるいは教師なしの目的を用いた手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-07-03T07:54:08Z)
• Safe Use of Neural Networks [0.0]
  ネットワークの処理ステップで算術誤差を検出できる数値ベースのコードを使用する。 1つのパリティのセットはセクションの出力から取得され、もう1つの同等のセットは元の入力から直接開発される。 我々は,データセットの規模が大きいため,長い数値ベースの畳み込み符号の使用に重点を置いている。
  論文  参考訳（メタデータ） (2023-06-13T19:07:14Z)
• ButterflyFlow: Building Invertible Layers with Butterfly Matrices [80.83142511616262]
  そこで本研究では,蝶の層に基づく可逆線形層を新たに提案する。 可逆なバタフライ層をベースとして,バタフライフローと呼ばれる新しい正規化フローモデルを構築した。
  論文  参考訳（メタデータ） (2022-09-28T01:58:18Z)
• ECO-TR: Efficient Correspondences Finding Via Coarse-to-Fine Refinement [80.94378602238432]
  粗大な処理で対応性を見出すことにより、ECO-TR(Correspondence Efficient Transformer)と呼ばれる効率的な構造を提案する。 これを実現するために、複数の変圧器ブロックは段階的に連結され、予測された座標を徐々に洗練する。 種々のスパースタスクと密マッチングタスクの実験は、既存の最先端技術に対する効率性と有効性の両方において、我々の手法の優位性を実証している。
  論文  参考訳（メタデータ） (2022-09-25T13:05:33Z)
• Building an Efficiency Pipeline: Commutativity and Cumulativeness of Efficiency Operators for Transformers [68.55472265775514]
  モデルに適用した演算子として効率性を考える。 本稿では,このアイデアの妥当性と,効率作用素の可換性と累積性について検討する。
  論文  参考訳（メタデータ） (2022-07-31T18:01:06Z)
• Hybrid Trilinear and Bilinear Programming for Aligning Partially Overlapping Point Sets [85.71360365315128]
  多くの応用において、部分重なり合う点集合が対応するRPMアルゴリズムに不変であるようなアルゴリズムが必要である。 まず、目的が立方体有界関数であることを示し、次に、三線型および双線型単相変換の凸エンベロープを用いて、その下界を導出する。 次に、変換変数上の分岐のみを効率よく実行するブランチ・アンド・バウンド(BnB)アルゴリズムを開発する。
  論文  参考訳（メタデータ） (2021-01-19T04:24:23Z)
• Self Normalizing Flows [65.73510214694987]
  本稿では,各層における学習された近似逆数により,勾配の高価な項を置き換えることで,フローの正規化を訓練するための柔軟なフレームワークを提案する。 これにより、各レイヤの正確な更新の計算複雑性が$mathcalO(D3)$から$mathcalO(D2)$に削減される。 実験により,これらのモデルは非常に安定であり,正確な勾配値と類似したデータ可能性値に最適化可能であることが示された。
  論文  参考訳（メタデータ） (2020-11-14T09:51:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。