Fugu-MT 論文翻訳(概要): Learning normalizing flows from Entropy-Kantorovich potentials

論文の概要: Learning normalizing flows from Entropy-Kantorovich potentials

arxiv url: http://arxiv.org/abs/2006.06033v1
Date: Wed, 10 Jun 2020 18:58:26 GMT
ステータス: 処理完了
システム内更新日: 2022-11-23 04:48:13.385625
Title: Learning normalizing flows from Entropy-Kantorovich potentials
Title（参考訳）: エントロピー・カントロビッチポテンシャルからの正規化フローの学習
Authors: Chris Finlay, Augusto Gerolin, Adam M Oberman, Aram-Alexandre Pooladian
Abstract要約: 我々は、スカラーポテンシャル関数のみからなる二重目的物を訓練し、トレーニング中の正規化フローを明示的に計算する負担を取り除く。トレーニング後、正規化フローはポテンシャル関数から容易に回収される。
参考スコア（独自算出の注目度）: 8.200196331837578
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We approach the problem of learning continuous normalizing flows from a dual perspective motivated by entropy-regularized optimal transport, in which continuous normalizing flows are cast as gradients of scalar potential functions. This formulation allows us to train a dual objective comprised only of the scalar potential functions, and removes the burden of explicitly computing normalizing flows during training. After training, the normalizing flow is easily recovered from the potential functions.
Abstract（参考訳）: 本研究では,連続正規化フローをスカラーポテンシャル関数の勾配としてキャストする,エントロピー正規化最適輸送を動機とする2つの視点から連続正規化フローを学ぶ問題にアプローチする。この定式化により、スカラーポテンシャル関数のみからなる双対対象を訓練することができ、トレーニング中の正規化フローを明示的に計算する負担を取り除くことができる。トレーニング後、正規化フローはポテンシャル関数から容易に回収される。

関連論文リスト

Designing a Linearized Potential Function in Neural Network Optimization Using Csiszár Type of Tsallis Entropy [0.0]
本稿では,Csisz'ar型Tsallisエントロピーを用いた線形化ポテンシャル関数を利用する枠組みを確立する。新しい枠組みによって指数収束結果が導出できることが示される。
論文参考訳（メタデータ） (2024-11-06T02:12:41Z)
Implicit Bias of Mirror Descent for Shallow Neural Networks in Univariate Regression [24.3887959016133]
ネットワーク幅が無限大になる傾向にある場合、ミラーフローは遅延トレーニングを示し、通常の勾配流と同じ暗黙バイアスを有することを示す。絶対値アクティベーションを持つネットワークの場合、スケールされたポテンシャルを持つミラーフローは、RKHSノルムによって捕捉できない豊富なバイアスのクラスを誘導することを示す。
論文参考訳（メタデータ） (2024-10-05T00:43:09Z)
Training Dynamics of Multi-Head Softmax Attention for In-Context Learning: Emergence, Convergence, and Optimality [54.20763128054692]
マルチタスク線形回帰の文脈内学習のためのマルチヘッドソフトマックスアテンションモデルを訓練するための勾配流のダイナミクスについて検討する。我々は,勾配流のダイナミックス中に,興味深い「タスク割り当て」現象が現れることを証明した。
論文参考訳（メタデータ） (2024-02-29T18:43:52Z)
PINF: Continuous Normalizing Flows for Physics-Constrained Deep Learning [8.000355537589224]
本稿では,連続正規化フローの新たな拡張である物理インフォームド正規化フロー(PINF)を紹介する。メッシュフリーかつ因果フリーな本手法は,高次元時間依存性と定常状態Fokker-Planck方程式を効率的に解ける。
論文参考訳（メタデータ） (2023-09-26T15:38:57Z)
Criticality versus uniformity in deep neural networks [52.77024349608834]
カオスの端に沿った深いフィードフォワードネットワークは、最大トレーニング可能な深さで定量化されるように、指数関数的に優れたトレーニング能力を示す。特に、活性化後の分布が最大エントロピーを持つ位相空間における均一性の線を決定する。
論文参考訳（メタデータ） (2023-04-10T18:00:00Z)
Flowformer: Linearizing Transformers with Conservation Flows [77.25101425464773]
本研究では,フローネットワーク理論に基づくインダクティブバイアスのないトランスフォーマーを線形化する。ソースコンペティション用シンクの流入流と、シンクアロケーション用ソースの流出流をそれぞれ保存することにより、フローアテンションは本質的に情報的注意を発生させる。
論文参考訳（メタデータ） (2022-02-13T08:44:10Z)
Sinusoidal Flow: A Fast Invertible Autoregressive Flow [0.0]
完全自己回帰フローから表現力と三角ヤコビアンを継承する新しいタイプの正規化フローを提案する。実験の結果、我々の正弦波流は複雑な分布をモデル化できるだけでなく、現実的なサンプルを生成するために確実に逆転できることがわかった。
論文参考訳（メタデータ） (2021-10-26T01:20:29Z)
Integrable Nonparametric Flows [5.9774834479750805]
本稿では,無限小変化のみを仮定した無限小正規化フローを確率分布に再構成する手法を提案する。これは、フローの正規化という従来のタスクを逆転させる。量子モンテカルロ問題と機械学習の潜在的な応用について論じる。
論文参考訳（メタデータ） (2020-12-03T16:19:52Z)
SurVAE Flows: Surjections to Bridge the Gap between VAEs and Flows [78.77808270452974]
SurVAE Flowsは、VAEと正規化フローを含む構成可能な変換のためのモジュラーフレームワークである。提案手法は,SurVAE フローとして表現できることが示唆された。
論文参考訳（メタデータ） (2020-07-06T13:13:22Z)
The Convolution Exponential and Generalized Sylvester Flows [82.18442368078804]
本稿では,線形変換の指数関数を取り入れ,線形フローを構築する新しい手法を提案する。重要な洞察として、指数関数は暗黙的に計算できるため、畳み込み層を使用することができる。畳み込み指数はCIFAR10上の生成フローにおいて他の線形変換よりも優れていることを示す。
論文参考訳（メタデータ） (2020-06-02T19:43:36Z)
A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
論文参考訳（メタデータ） (2019-10-31T02:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。