論文の概要: Free-form Flows: Make Any Architecture a Normalizing Flow

• arxiv url: http://arxiv.org/abs/2310.16624v2
• Date: Wed, 24 Apr 2024 10:05:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-26 23:37:50.395316
• Title: Free-form Flows: Make Any Architecture a Normalizing Flow
• Title（参考訳）: フリーフォームフロー:任意のアーキテクチャを正規化フローにする
• Authors: Felix Draxler, Peter Sorrenson, Lea Zimmermann, Armand Rousselot, Ullrich Köthe,
• Abstract要約: 本研究では,変数の変動の勾配を効率的に推定する訓練手法を開発した。 これにより、任意の次元保存ニューラルネットワークが、最大限のトレーニングを通じて生成モデルとして機能することが可能になる。 我々は$E(n)$-equivariantネットワークを用いた分子生成ベンチマークにおいて優れた結果を得た。
• 参考スコア（独自算出の注目度）: 8.163244519983298
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Normalizing Flows are generative models that directly maximize the likelihood. Previously, the design of normalizing flows was largely constrained by the need for analytical invertibility. We overcome this constraint by a training procedure that uses an efficient estimator for the gradient of the change of variables formula. This enables any dimension-preserving neural network to serve as a generative model through maximum likelihood training. Our approach allows placing the emphasis on tailoring inductive biases precisely to the task at hand. Specifically, we achieve excellent results in molecule generation benchmarks utilizing $E(n)$-equivariant networks. Moreover, our method is competitive in an inverse problem benchmark, while employing off-the-shelf ResNet architectures.
• Abstract（参考訳）: 正規化フローは、可能性を直接最大化する生成モデルである。 従来, 正規化フローの設計は解析的可逆性の必要性に大きく制約されていた。 この制約を,変数式の変化の勾配を効率的に推定する訓練手法によって克服する。 これにより、任意の次元保存ニューラルネットワークが、最大限のトレーニングを通じて生成モデルとして機能することが可能になる。 当社のアプローチでは,手元にあるタスクに対して,帰納的バイアスを正確に調整することに重点を置くことが可能です。 具体的には、$E(n)$-equivariantネットワークを用いた分子生成ベンチマークにおいて優れた結果を得る。 さらに,本手法は,市販のResNetアーキテクチャを採用しながら,逆問題ベンチマークにおいて競合する。

関連論文リスト

• Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
  オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。 総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-03-21T02:33:37Z)
• Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
  その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。 特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
  論文  参考訳（メタデータ） (2023-11-22T15:07:59Z)
• Kernelised Normalising Flows [10.31916245015817]
  正規化フローは、密度推定と生成の二重能力によって特徴づけられる非パラメトリック統計モデルである。 本稿では,カーネルをフレームワークに統合する新しいカーネル正規化フローパラダイムであるFerumal Flowを紹介する。
  論文  参考訳（メタデータ） (2023-07-27T13:18:52Z)
• Training Energy-Based Normalizing Flow with Score-Matching Objectives [36.0810550035231]
  エネルギーベース正規化フロー(EBFlow)と呼ばれる新しいフローベースモデリング手法を提案する。 本研究では,EBFlowをスコアマッチング目的に最適化することにより,線形変換に対するヤコビ行列式の計算を完全に回避できることを実証する。
  論文  参考訳（メタデータ） (2023-05-24T15:54:29Z)
• Normalizing flow neural networks by JKO scheme [22.320632565424745]
  我々はJKO-iFlowと呼ばれるニューラルネットワークを開発し、Jordan-Kinderleherer-Ottoスキームに触発された。 提案手法は,残余ブロックを次々と積み重ねることにより,残余ブロックの効率的なブロックワイズ訓練を可能にする。 合成および実データを用いた実験により,提案したJKO-iFlowネットワークが競合性能を発揮することが示された。
  論文  参考訳（メタデータ） (2022-12-29T18:55:00Z)
• Invertible Monotone Operators for Normalizing Flows [7.971699294672282]
  正規化フローモデル確率は、単純な分布を複素分布に変換する可逆変換を学習することによって得られる。 単調作用素を用いたリプシッツ定数の問題を克服するための単調定式化を提案する。 結果として得られるモデルであるMonotone Flowsは、複数の密度推定ベンチマークで優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2022-10-15T03:40:46Z)
• Deep Equilibrium Optical Flow Estimation [80.80992684796566]
  最近のSOTA(State-of-the-art)光フローモデルでは、従来のアルゴリズムをエミュレートするために有限ステップの更新操作を使用する。 これらのRNNは大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するために直接訓練されていない。 暗黙的層の無限レベル固定点として直接流れを解く手法として,Deep equilibrium Flow estimatorを提案する。
  論文  参考訳（メタデータ） (2022-04-18T17:53:44Z)
• Offline Model-Based Optimization via Normalized Maximum Likelihood Estimation [101.22379613810881]
  データ駆動最適化の問題を検討し、一定の点セットでクエリのみを与えられた関数を最大化する必要がある。 この問題は、関数評価が複雑で高価なプロセスである多くの領域に現れる。 我々は,提案手法を高容量ニューラルネットワークモデルに拡張可能なトラクタブル近似を提案する。
  論文  参考訳（メタデータ） (2021-02-16T06:04:27Z)
• Self Normalizing Flows [65.73510214694987]
  本稿では,各層における学習された近似逆数により,勾配の高価な項を置き換えることで,フローの正規化を訓練するための柔軟なフレームワークを提案する。 これにより、各レイヤの正確な更新の計算複雑性が$mathcalO(D3)$から$mathcalO(D2)$に削減される。 実験により,これらのモデルは非常に安定であり,正確な勾配値と類似したデータ可能性値に最適化可能であることが示された。
  論文  参考訳（メタデータ） (2020-11-14T09:51:51Z)
• Learning Likelihoods with Conditional Normalizing Flows [54.60456010771409]
  条件正規化フロー(CNF)はサンプリングと推論において効率的である。 出力空間写像に対する基底密度が入力 x 上で条件づけられた CNF について、条件密度 p(y|x) をモデル化する。
  論文  参考訳（メタデータ） (2019-11-29T19:17:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。