論文の概要: Flexible Tails for Normalizing Flows

• arxiv url: http://arxiv.org/abs/2406.16971v1
• Date: Sat, 22 Jun 2024 13:44:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 19:10:10.482592
• Title: Flexible Tails for Normalizing Flows
• Title（参考訳）: 流れの正規化のためのフレキシブルテール
• Authors: Tennessee Hickling, Dennis Prangle,
• Abstract要約: この問題に対する一般的な解決策は、重い尾のベース分布を使用することである。 これは、重み付き入力下でのフローの正規化などのニューラルネットワークの最適化が困難であるため、パフォーマンスが低下する可能性がある、と我々は主張する。 ガウス基底分布と重みを生成可能な最終変換層を用いる方法を提案する。
• 参考スコア（独自算出の注目度）: 0.658372523529902
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Normalizing flows are a flexible class of probability distributions, expressed as transformations of a simple base distribution. A limitation of standard normalizing flows is representing distributions with heavy tails, which arise in applications to both density estimation and variational inference. A popular current solution to this problem is to use a heavy tailed base distribution. Examples include the tail adaptive flow (TAF) methods of Laszkiewicz et al (2022). We argue this can lead to poor performance due to the difficulty of optimising neural networks, such as normalizing flows, under heavy tailed input. This problem is demonstrated in our paper. We propose an alternative: use a Gaussian base distribution and a final transformation layer which can produce heavy tails. We call this approach tail transform flow (TTF). Experimental results show this approach outperforms current methods, especially when the target distribution has large dimension or tail weight.
• Abstract（参考訳）: 正規化フローは、単純な基底分布の変換として表される確率分布の柔軟なクラスである。 標準正規化フローの制限は、密度推定と変分推論の両方に適用される重い尾を持つ分布を表す。 この問題に対する一般的な解決策は、重い尾のベース分布を使用することである。 例えば、Laszkiewicz et al (2022)のTAF法がある。 これは、重み付き入力下でのフローの正規化などのニューラルネットワークの最適化が困難であるため、パフォーマンスが低下する可能性がある、と我々は主張する。 この問題は我々の論文で実証されている。 ガウス基底分布と重みを生成可能な最終変換層を用いる方法を提案する。 我々はこのアプローチをテールトランスフォーメーションフロー (TTF) と呼ぶ。 実験により,本手法は,特にターゲット分布が大きな寸法あるいはテールウェイトである場合,現在の手法よりも優れることが示された。

関連論文リスト

• Tensorizing flows: a tool for variational inference [0.0]
  本稿では,ガウス参照をテンソルネットワークを介して構築した参照分布に置き換える正規化フローの拡張を提案する。 本研究では, 複雑な変分推論タスクにおいて, フローとテンソルネットワークを組み合わせることで, どちらか一方のツールを使わずに得られる結果を改善することができることを示す。
  論文  参考訳（メタデータ） (2023-05-03T23:42:22Z)
• GFlowOut: Dropout with Generative Flow Networks [76.59535235717631]
  モンテカルロ・ドロップアウトは近似推論の比較的安価な方法として広く利用されている。 最近の研究は、ドロップアウトマスクを潜伏変数と見なすことができ、変動推論で推測できることを示している。 GFlowOutleveragesは、最近提案されたジェネレーティブフローネットワーク(GFlowNets)の確率的フレームワークを使用して、ドロップアウトマスク上の後部分布を学習する。
  論文  参考訳（メタデータ） (2022-10-24T03:00:01Z)
• Marginal Tail-Adaptive Normalizing Flows [15.732950126814089]
  本稿では,尾の挙動を正確に捉えるための流れの正規化能力の向上に焦点をあてる。 自己回帰流の限界尾化性は,その基底分布の限界尾化性によって制御可能であることを証明した。 実験分析により,提案手法は,特に分布の尾部における精度を向上し,重み付きデータを生成可能であることが示された。
  論文  参考訳（メタデータ） (2022-06-21T12:34:36Z)
• Fat-Tailed Variational Inference with Anisotropic Tail Adaptive Flows [53.32246823168763]
  脂肪尾密度は、一般に、ロバストモデルとスケール混合における後縁および辺縁分布として生じる。 我々はまず、尾が尾崩壊の速度にどのように影響するかを定量化することで、リプシッツフローの尾に関する以前の理論を改善した。 次に、テール異方性に敏感なテールパラメータの代替理論を開発する。
  論文  参考訳（メタデータ） (2022-05-16T18:03:41Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• Resampling Base Distributions of Normalizing Flows [0.0]
  学習された拒絶サンプリングに基づいて,フローを正規化するためのベース分布を導入する。 ログライクリフの最大化と逆Kulback-Leibler分散の最適化の両方を用いて、適切な学習アルゴリズムを開発する。
  論文  参考訳（メタデータ） (2021-10-29T14:44:44Z)
• Distribution Mismatch Correction for Improved Robustness in Deep Neural Networks [86.42889611784855]
  正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる 本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。 実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
  論文  参考訳（メタデータ） (2021-10-05T11:36:25Z)
• Copula-Based Normalizing Flows [8.894004971395546]
  ベース分布をより精巧なコプラ分布に一般化し、ターゲット分布の特性をより正確に捉える。 以上の結果から,学習フローの局所的なリプシッツ安定性の向上が示唆された。
  論文  参考訳（メタデータ） (2021-07-15T14:22:28Z)
• Gaussianization Flows [113.79542218282282]
  そこで本研究では,サンプル生成における効率のよい繰り返しと効率のよい逆変換を両立できる新しい型正規化フローモデルを提案する。 この保証された表現性のため、サンプル生成の効率を損なうことなく、マルチモーダルなターゲット分布をキャプチャできる。
  論文  参考訳（メタデータ） (2020-03-04T08:15:06Z)
• Semi-Supervised Learning with Normalizing Flows [54.376602201489995]
  FlowGMMは、フローの正規化を伴う生成半教師付き学習におけるエンドツーエンドのアプローチである。 我々は AG-News や Yahoo Answers のテキストデータなど,幅広いアプリケーションに対して有望な結果を示す。
  論文  参考訳（メタデータ） (2019-12-30T17:36:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。