論文の概要: Fat-Tailed Variational Inference with Anisotropic Tail Adaptive Flows

• arxiv url: http://arxiv.org/abs/2205.07918v1
• Date: Mon, 16 May 2022 18:03:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-18 13:02:04.002184
• Title: Fat-Tailed Variational Inference with Anisotropic Tail Adaptive Flows
• Title（参考訳）: 異方性土壌適応流を伴う脂肪管変分推論
• Authors: Feynman Liang, Liam Hodgkinson, Michael W. Mahoney
• Abstract要約: 脂肪尾密度は、一般に、ロバストモデルとスケール混合における後縁および辺縁分布として生じる。 我々はまず、尾が尾崩壊の速度にどのように影響するかを定量化することで、リプシッツフローの尾に関する以前の理論を改善した。 次に、テール異方性に敏感なテールパラメータの代替理論を開発する。
• 参考スコア（独自算出の注目度）: 53.32246823168763
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While fat-tailed densities commonly arise as posterior and marginal distributions in robust models and scale mixtures, they present challenges when Gaussian-based variational inference fails to capture tail decay accurately. We first improve previous theory on tails of Lipschitz flows by quantifying how the tails affect the rate of tail decay and by expanding the theory to non-Lipschitz polynomial flows. Then, we develop an alternative theory for multivariate tail parameters which is sensitive to tail-anisotropy. In doing so, we unveil a fundamental problem which plagues many existing flow-based methods: they can only model tail-isotropic distributions (i.e., distributions having the same tail parameter in every direction). To mitigate this and enable modeling of tail-anisotropic targets, we propose anisotropic tail-adaptive flows (ATAF). Experimental results on both synthetic and real-world targets confirm that ATAF is competitive with prior work while also exhibiting appropriate tail-anisotropy.
• Abstract（参考訳）: 脂肪尾密度は、ロバストモデルやスケール混合物における後縁分布や辺縁分布として一般的に発生するが、ガウス型変分推論がテール減衰を正確に捉えることができない場合の課題を呈する。 まず, 尾部が尾部崩壊率にどのように影響するかを定量化し, 理論を非リプシッツ多項式流に拡張することにより, リプシッツ流の尾部に関する先行理論を改善する。 そこで我々は,尾異方性に敏感な多変量尾パラメータの代替理論を開発した。 そこで我々は, テール等方性分布のみをモデル化できる(すなわち, 各方向において同じテールパラメータを持つ分布)という, 既存のフローベース手法を悩ませる基本的な問題を明らかにする。 これを緩和し、テールアニソトロピックターゲットのモデリングを可能にするために、異方性テールアダプティブフロー(ATAF)を提案する。 人工目標と現実目標の両方の実験結果から、ATAFは先行研究と競合し、適切な尾異方性を示す。

関連論文リスト

• Flexible Tails for Normalizing Flows [0.658372523529902]
  この問題に対する一般的な解決策は、重い尾のベース分布を使用することである。 これは、重み付き入力下でのフローの正規化などのニューラルネットワークの最適化が困難であるため、パフォーマンスが低下する可能性がある、と我々は主張する。 ガウス基底分布と重みを生成可能な最終変換層を用いる方法を提案する。
  論文  参考訳（メタデータ） (2024-06-22T13:44:01Z)
• Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian Mixture Models [59.331993845831946]
  拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。 本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
  論文  参考訳（メタデータ） (2024-03-03T23:15:48Z)
• Geometric Prior Guided Feature Representation Learning for Long-Tailed Classification [47.09355487357069]
  そこで,本論文では,よく表現されたヘッドクラスの特徴分布の幾何学的情報を活用し,モデルにテールクラスの基盤となる分布を学習させる手法を提案する。 パータード機能は、可能な限りテールクラスの基盤となる分布をカバーし、テスト領域におけるモデルの一般化性能を向上させることを目的としている。
  論文  参考訳（メタデータ） (2024-01-21T09:16:29Z)
• A Heavy-Tailed Algebra for Probabilistic Programming [53.32246823168763]
  本稿では,確率変数の尾を解析するための体系的アプローチを提案する。 本稿では,確率型プログラミング言語コンパイラの静的解析(サンプル作成前)において,この手法をどのように利用できるかを示す。 実験結果から,重み付き代数を利用する推論アルゴリズムは,多数の密度モデリングおよび変分推論タスクにおいて優れた性能が得られることを確認した。
  論文  参考訳（メタデータ） (2023-06-15T16:37:36Z)
• Reliable amortized variational inference with physics-based latent distribution correction [0.4588028371034407]
  ニューラルネットワークは、既存のモデルとデータのペアの後方分布を近似するように訓練される。 このアプローチの精度は、高忠実度トレーニングデータの可用性に依存する。 補正ステップは, ソース実験数の変化, ノイズ分散, 先行分布の変化に対して, 償却された変分推論の頑健さを向上することを示す。
  論文  参考訳（メタデータ） (2022-07-24T02:38:54Z)
• Marginal Tail-Adaptive Normalizing Flows [15.732950126814089]
  本稿では,尾の挙動を正確に捉えるための流れの正規化能力の向上に焦点をあてる。 自己回帰流の限界尾化性は,その基底分布の限界尾化性によって制御可能であることを証明した。 実験分析により,提案手法は,特に分布の尾部における精度を向上し,重み付きデータを生成可能であることが示された。
  論文  参考訳（メタデータ） (2022-06-21T12:34:36Z)
• Algorithmic Stability of Heavy-Tailed Stochastic Gradient Descent on Least Squares [12.2950446921662]
  近年の研究では、重い尾が最適化において出現し、尾の重みが一般化誤差と関連していることが示されている。 アルゴリズム安定性のレンズによる勾配降下(SGD)のテール挙動と一般化特性の新たなリンクを確立する。 我々は、合成および実際のニューラルネットワーク実験で理論を支持する。
  論文  参考訳（メタデータ） (2022-06-02T19:59:48Z)
• Cross-Domain Empirical Risk Minimization for Unbiased Long-tailed Classification [90.17537630880305]
  従来の長い尾の分類法では見過ごされがちな不偏見に対処する。 バイアスのないモデルをトレーニングするためのクロスドメイン経験的リスク最小化(xERM)を提案する。
  論文  参考訳（メタデータ） (2021-12-29T03:18:47Z)
• Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
  ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。 また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
  論文  参考訳（メタデータ） (2020-02-20T15:13:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。