論文の概要: Principled Interpolation in Normalizing Flows

• arxiv url: http://arxiv.org/abs/2010.12059v2
• Date: Tue, 08 Apr 2025 14:02:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-09 13:27:22.725502
• Title: Principled Interpolation in Normalizing Flows
• Title（参考訳）: 正規化流れにおける原理補間
• Authors: Samuel G. Fadel, Sebastian Mair, Ricardo da S. Torres, Ulf Brefeld,
• Abstract要約: 補間方法の変更は一般的に改善をもたらすべきであるが、明確な方法でそれを行う方法が明確ではない。 具体的には、確率単純度と超球面上のディリクレとフォン・ミセス=フィッシャー基底分布を用いる。
• 参考スコア（独自算出の注目度）: 3.9123551183847964
• License:
• Abstract: Generative models based on normalizing flows are very successful in modeling complex data distributions using simpler ones. However, straightforward linear interpolations show unexpected side effects, as interpolation paths lie outside the area where samples are observed. This is caused by the standard choice of Gaussian base distributions and can be seen in the norms of the interpolated samples as they are outside the data manifold. This observation suggests that changing the way of interpolating should generally result in better interpolations, but it is not clear how to do that in an unambiguous way. In this paper, we solve this issue by enforcing a specific manifold and, hence, change the base distribution, to allow for a principled way of interpolation. Specifically, we use the Dirichlet and von Mises-Fisher base distributions on the probability simplex and the hypersphere, respectively. Our experimental results show superior performance in terms of bits per dimension, Fr\'echet Inception Distance (FID), and Kernel Inception Distance (KID) scores for interpolation, while maintaining the generative performance.
• Abstract（参考訳）: 正規化フローに基づく生成モデルは、より単純な方法で複雑なデータ分散をモデル化するのに非常に成功している。 しかし、単純な線形補間は、サンプルが観測される領域の外側に補間経路があるため、予期せぬ副作用を示す。 これはガウス基底分布の標準的な選択によって引き起こされ、データ多様体の外側にある補間標本のノルムで見ることができる。 この観察は、補間方法の変更が一般的にはより良い補間をもたらすべきであることを示唆するが、不明瞭な方法でどのように行うかは明らかではない。 本稿では、特定の多様体を強制することによってこの問題を解決し、従って基底分布を変化させ、原理的な補間を可能にする。 具体的には、確率単純度と超球面上のディリクレとフォン・ミセス=フィッシャー基底分布を用いる。 実験の結果,Fr'echet Inception Distance (FID) と Kernel Inception Distance (KID) の相互補間性能は,生成性能を維持しながら優れた性能を示した。

関連論文リスト

• Generalization error of min-norm interpolators in transfer learning [2.7309692684728617]
  最小ノルム補間器は、現代の機械学習アルゴリズムの暗黙の正規化限界として自然に現れる。 多くのアプリケーションでは、トレーニング中に限られた量のテストデータが利用できるが、この設定におけるmin-normの特性は十分に理解されていない。 我々はこれらの特徴を達成するために、新しい異方性局所法を確立した。
  論文  参考訳（メタデータ） (2024-06-20T02:23:28Z)
• Gradient-Based Feature Learning under Structured Data [57.76552698981579]
  異方性設定では、一般的に使用される球面勾配力学は真の方向を回復できないことがある。 バッチ正規化を連想させる適切な重み正規化は、この問題を軽減することができることを示す。 特に、スパイクモデルの下では、勾配に基づくトレーニングのサンプルの複雑さは情報指数とは独立にできる。
  論文  参考訳（メタデータ） (2023-09-07T16:55:50Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• The Implicit Bias of Batch Normalization in Linear Models and Two-layer Linear Convolutional Neural Networks [117.93273337740442]
  勾配勾配勾配は、exp(-Omega(log2 t))$収束率でトレーニングデータ上の一様マージン分類器に収束することを示す。 また、バッチ正規化はパッチワイドの均一なマージンに対して暗黙の偏りを持つことを示す。
  論文  参考訳（メタデータ） (2023-06-20T16:58:00Z)
• Piecewise Normalizing Flows [0.0]
  ターゲットのトポロジとベースとのミスマッチは、粗悪なパフォーマンスをもたらす。 多くの異なる研究が、目標に合うように、ベース分布のトポロジーを変更しようと試みている。 対象の分布をクラスタに分割する分別正規化フローを導入し,標準正規化ベース分布によく適合するトポロジを提案する。
  論文  参考訳（メタデータ） (2023-05-04T15:30:10Z)
• Matching Normalizing Flows and Probability Paths on Manifolds [57.95251557443005]
  連続正規化フロー (Continuous Normalizing Flows, CNFs) は、常微分方程式(ODE)を解くことによって、先行分布をモデル分布に変換する生成モデルである。 我々は,CNFが生成する確率密度パスと目標確率密度パスとの間に生じる新たな分岐系であるPPDを最小化して,CNFを訓練することを提案する。 PPDの最小化によって得られたCNFは、既存の低次元多様体のベンチマークにおいて、その可能性とサンプル品質が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-11T08:50:19Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• Resampling Base Distributions of Normalizing Flows [0.0]
  学習された拒絶サンプリングに基づいて,フローを正規化するためのベース分布を導入する。 ログライクリフの最大化と逆Kulback-Leibler分散の最適化の両方を用いて、適切な学習アルゴリズムを開発する。
  論文  参考訳（メタデータ） (2021-10-29T14:44:44Z)
• Particle Filter Bridge Interpolation [0.0]
  以前に導入した次元独立生成法に基づいて構築する。 高い表現密度の領域を正確に識別する識別ネットワークを紹介します。 得られたサンプリング手順により、パスのばらつきが大きくなり、データ密度の高い領域へのより強いドリフトが可能になる。
  論文  参考訳（メタデータ） (2021-03-27T18:33:00Z)
• New Bounds For Distributed Mean Estimation and Variance Reduction [25.815612182815702]
  本稿では,ローカルな$d$-dimensional vector $x_v を mathbbRd$ で与えられた$n$マシンが分散平均推定(DME)問題を考える。 提案手法は, 従来の手法と比較して, 応用の実践的改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2020-02-21T13:27:13Z)
• Learning Likelihoods with Conditional Normalizing Flows [54.60456010771409]
  条件正規化フロー(CNF)はサンプリングと推論において効率的である。 出力空間写像に対する基底密度が入力 x 上で条件づけられた CNF について、条件密度 p(y|x) をモデル化する。
  論文  参考訳（メタデータ） (2019-11-29T19:17:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。