論文の概要: Principled Interpolation in Normalizing Flows

• arxiv url: http://arxiv.org/abs/2010.12059v1
• Date: Thu, 22 Oct 2020 21:02:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 05:37:39.680761
• Title: Principled Interpolation in Normalizing Flows
• Title（参考訳）: 正規化流れにおける原理補間
• Authors: Samuel G. Fadel and Sebastian Mair and Ricardo da S. Torres and Ulf Brefeld
• Abstract要約: 正規化フローに基づく生成モデルは、複雑なデータ分布をモデル化するのに非常に成功している。 直交線は予期せぬ副作用を示します サンプルが観察される領域の外側に経路があります この観察は、ノルムの修正が一般的に良い結果をもたらすべきであることを示唆するが、曖昧な方法でノルムの修正方法が明確でない。
• 参考スコア（独自算出の注目度）: 5.582101184758527
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative models based on normalizing flows are very successful in modeling complex data distributions using simpler ones. However, straightforward linear interpolations show unexpected side effects, as interpolation paths lie outside the area where samples are observed. This is caused by the standard choice of Gaussian base distributions and can be seen in the norms of the interpolated samples. This observation suggests that correcting the norm should generally result in better interpolations, but it is not clear how to correct the norm in an unambiguous way. In this paper, we solve this issue by enforcing a fixed norm and, hence, change the base distribution, to allow for a principled way of interpolation. Specifically, we use the Dirichlet and von Mises-Fisher base distributions. Our experimental results show superior performance in terms of bits per dimension, Fr\'echet Inception Distance (FID), and Kernel Inception Distance (KID) scores for interpolation, while maintaining the same generative performance.
• Abstract（参考訳）: 正規化フローに基づく生成モデルは、より単純な方法で複雑なデータ分散をモデル化するのに非常に成功している。 しかし、単純な線形補間は、サンプルが観測される領域の外側に補間経路があるため、予期せぬ副作用を示す。 これはガウス基底分布の標準選択によって引き起こされ、補間標本のノルムに見ることができる。 この観察は、ノルムの修正が一般により良い補間をもたらすべきであることを示唆するが、曖昧な方法でノルムの修正方法が明確ではない。 本稿では, 固定ノルムを強制し, 基本分布を変化させ, 原理的な補間方法を可能にすることにより, この問題を解決した。 具体的には、ディリクレとフォン・ミセス=フィッシャー基底分布を用いる。 実験の結果, 1次元当たりのビット数, fr\'echetインセプション距離 (fid) およびカーネルインセプションスコア (kid) において,同じ生成性能を維持しながら優れた性能を示した。

関連論文リスト

• Generalization error of min-norm interpolators in transfer learning [2.7309692684728617]
  最小ノルム補間器は、現代の機械学習アルゴリズムの暗黙の正規化限界として自然に現れる。 多くのアプリケーションでは、トレーニング中に限られた量のテストデータが利用できるが、この設定におけるmin-normの特性は十分に理解されていない。 我々はこれらの特徴を達成するために、新しい異方性局所法を確立した。
  論文  参考訳（メタデータ） (2024-06-20T02:23:28Z)
• Gradient-Based Feature Learning under Structured Data [57.76552698981579]
  異方性設定では、一般的に使用される球面勾配力学は真の方向を回復できないことがある。 バッチ正規化を連想させる適切な重み正規化は、この問題を軽減することができることを示す。 特に、スパイクモデルの下では、勾配に基づくトレーニングのサンプルの複雑さは情報指数とは独立にできる。
  論文  参考訳（メタデータ） (2023-09-07T16:55:50Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• The Implicit Bias of Batch Normalization in Linear Models and Two-layer Linear Convolutional Neural Networks [117.93273337740442]
  勾配勾配勾配は、exp(-Omega(log2 t))$収束率でトレーニングデータ上の一様マージン分類器に収束することを示す。 また、バッチ正規化はパッチワイドの均一なマージンに対して暗黙の偏りを持つことを示す。
  論文  参考訳（メタデータ） (2023-06-20T16:58:00Z)
• Piecewise Normalizing Flows [0.0]
  ターゲットのトポロジとベースとのミスマッチは、粗悪なパフォーマンスをもたらす。 多くの異なる研究が、目標に合うように、ベース分布のトポロジーを変更しようと試みている。 対象の分布をクラスタに分割する分別正規化フローを導入し,標準正規化ベース分布によく適合するトポロジを提案する。
  論文  参考訳（メタデータ） (2023-05-04T15:30:10Z)
• Matching Normalizing Flows and Probability Paths on Manifolds [57.95251557443005]
  連続正規化フロー (Continuous Normalizing Flows, CNFs) は、常微分方程式(ODE)を解くことによって、先行分布をモデル分布に変換する生成モデルである。 我々は,CNFが生成する確率密度パスと目標確率密度パスとの間に生じる新たな分岐系であるPPDを最小化して,CNFを訓練することを提案する。 PPDの最小化によって得られたCNFは、既存の低次元多様体のベンチマークにおいて、その可能性とサンプル品質が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-11T08:50:19Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• Resampling Base Distributions of Normalizing Flows [0.0]
  学習された拒絶サンプリングに基づいて,フローを正規化するためのベース分布を導入する。 ログライクリフの最大化と逆Kulback-Leibler分散の最適化の両方を用いて、適切な学習アルゴリズムを開発する。
  論文  参考訳（メタデータ） (2021-10-29T14:44:44Z)
• Particle Filter Bridge Interpolation [0.0]
  以前に導入した次元独立生成法に基づいて構築する。 高い表現密度の領域を正確に識別する識別ネットワークを紹介します。 得られたサンプリング手順により、パスのばらつきが大きくなり、データ密度の高い領域へのより強いドリフトが可能になる。
  論文  参考訳（メタデータ） (2021-03-27T18:33:00Z)
• New Bounds For Distributed Mean Estimation and Variance Reduction [25.815612182815702]
  本稿では,ローカルな$d$-dimensional vector $x_v を mathbbRd$ で与えられた$n$マシンが分散平均推定(DME)問題を考える。 提案手法は, 従来の手法と比較して, 応用の実践的改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2020-02-21T13:27:13Z)
• Learning Likelihoods with Conditional Normalizing Flows [54.60456010771409]
  条件正規化フロー(CNF)はサンプリングと推論において効率的である。 出力空間写像に対する基底密度が入力 x 上で条件づけられた CNF について、条件密度 p(y|x) をモデル化する。
  論文  参考訳（メタデータ） (2019-11-29T19:17:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。