論文の概要: Latent Variable Modelling with Hyperbolic Normalizing Flows

• arxiv url: http://arxiv.org/abs/2002.06336v4
• Date: Thu, 13 Aug 2020 05:04:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-31 22:52:47.142047
• Title: Latent Variable Modelling with Hyperbolic Normalizing Flows
• Title（参考訳）: 双曲正規化流を用いた潜在変数モデリング
• Authors: Avishek Joey Bose, Ariella Smofsky, Renjie Liao, Prakash Panangaden, and William L. Hamilton
• Abstract要約: 双曲型VAEとユークリッド正規化流に新しい正規化フローを導入する。 提案手法は,実世界のグラフデータの再構成とともに,密度推定の性能向上を実現する。
• 参考スコア（独自算出の注目度）: 35.1659722563025
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The choice of approximate posterior distributions plays a central role in stochastic variational inference (SVI). One effective solution is the use of normalizing flows \cut{defined on Euclidean spaces} to construct flexible posterior distributions. However, one key limitation of existing normalizing flows is that they are restricted to the Euclidean space and are ill-equipped to model data with an underlying hierarchical structure. To address this fundamental limitation, we present the first extension of normalizing flows to hyperbolic spaces. We first elevate normalizing flows to hyperbolic spaces using coupling transforms defined on the tangent bundle, termed Tangent Coupling ($\mathcal{TC}$). We further introduce Wrapped Hyperboloid Coupling ($\mathcal{W}\mathbb{H}C$), a fully invertible and learnable transformation that explicitly utilizes the geometric structure of hyperbolic spaces, allowing for expressive posteriors while being efficient to sample from. We demonstrate the efficacy of our novel normalizing flow over hyperbolic VAEs and Euclidean normalizing flows. Our approach achieves improved performance on density estimation, as well as reconstruction of real-world graph data, which exhibit a hierarchical structure. Finally, we show that our approach can be used to power a generative model over hierarchical data using hyperbolic latent variables.
• Abstract（参考訳）: 近似後続分布の選択は確率的変分推論(svi)において中心的な役割を果たす。 効果的な解の1つは、フレキシブルな後方分布を構築するためにユークリッド空間上で定義されたフローを正規化することである。 しかし、既存の正規化フローの1つの重要な制限は、それらがユークリッド空間に制限され、基礎となる階層構造を持つモデルデータに不備であることである。 この基本的な制限に対処するために、双曲空間への正規化フローの最初の拡張を示す。 まず、接バンドル上で定義された結合変換を用いて双曲空間への正規化フローを高め、Tangent Coupling(\mathcal{TC}$)と呼ぶ。 さらに,双曲空間の幾何学的構造を明示的に活用した完全可逆的かつ学習可能な変換である包含双曲型結合 (\mathcal{w}\mathbb{h}c$) も導入し,サンプルから効率的に抽出することができる。 双曲型VAEとユークリッド正規化流を用いた新しい正規化流の有効性を示す。 提案手法は,階層構造を示す実世界のグラフデータの再構成とともに,密度推定の性能向上を実現する。 最後に,本手法は,双曲型潜在変数を用いた階層データ上の生成モデルに有効であることを示す。

関連論文リスト

• From Semantics to Hierarchy: A Hybrid Euclidean-Tangent-Hyperbolic Space Model for Temporal Knowledge Graph Reasoning [1.1372536310854844]
  時間的知識グラフ(TKG)推論は、過去のデータに基づいて将来の出来事を予測する。 既存のユークリッドモデルはセマンティクスを捉えるのに優れているが、階層構造に苦しむ。 ユークリッドモデルと双曲モデルの両方の強みを利用する新しいハイブリッド幾何空間アプローチを提案する。
  論文  参考訳（メタデータ） (2024-08-30T10:33:08Z)
• Amortizing intractable inference in diffusion models for vision, language, and control [89.65631572949702]
  本稿では,p(mathbfx)$以前の拡散生成モデルとブラックボックス制約,あるいは関数$r(mathbfx)$からなるモデルにおいて,データ上の後部サンプルである $mathbfxsim prm post(mathbfx)propto p(mathbfx)r(mathbfx)$について検討する。 我々は,データフリー学習目標である相対軌道バランスの正しさを,サンプルから抽出した拡散モデルの訓練のために証明する。
  論文  参考訳（メタデータ） (2024-05-31T16:18:46Z)
• Scaling Riemannian Diffusion Models [68.52820280448991]
  非自明な多様体上の高次元タスクにスケールできることを示す。 我々は、$SU(n)$格子上のQCD密度と高次元超球面上の対照的に学習された埋め込みをモデル化する。
  論文  参考訳（メタデータ） (2023-10-30T21:27:53Z)
• Curve Your Attention: Mixed-Curvature Transformers for Graph Representation Learning [77.1421343649344]
  本稿では,一定曲率空間の積を完全に操作するトランスフォーマーの一般化を提案する。 また、非ユークリッド注意に対するカーネル化されたアプローチを提供し、ノード数とエッジ数に線形に時間とメモリコストでモデルを実行できるようにします。
  論文  参考訳（メタデータ） (2023-09-08T02:44:37Z)
• A Unification Framework for Euclidean and Hyperbolic Graph Neural Networks [8.080621697426997]
  ハイパーボリックニューラルネットワークは、グラフデータセット固有の階層を効果的にキャプチャする。 層内の複数の非連続(ジャイロ-)ベクトル空間を絡み合わせることで、一般化と拡張性の観点から制限される。 検索空間としてPoincareディスクモデルを提案し,ディスク上にすべての近似を適用する。 我々のモデルは、解釈可能性や様々なモデルコンポーネントの効率的な実行といったユークリッドネットワークのパワーを利用するだけでなく、様々なベンチマークにおいてユークリッドと双曲の双方よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-09T05:33:02Z)
• High-dimensional limit theorems for SGD: Effective dynamics and critical scaling [6.950316788263433]
  我々は、勾配降下(SGD)の要約統計の軌跡に対する極限定理を証明する。 下記の有効弾道力学が人口減少の勾配流と一致するステップサイズにおける重要なスケーリング体制を示す。 この実効力学の固定点について、対応する拡散極限は極めて複雑であり、さらに退化することもある。
  論文  参考訳（メタデータ） (2022-06-08T17:42:18Z)
• A Rotated Hyperbolic Wrapped Normal Distribution for Hierarchical Representation Learning [9.980145127016172]
  回転型双曲型包括正規分布 (RoWN) は, 単純かつ効果的な双曲型包括正規分布 (HWN) の変化である。 本研究では,確率モデルにおける分布の標準選択である対角HWNの幾何学的性質を解析する。 新たに提案されたディストリビューションであるRoWNは,ノイズの多い合成二分木,WordNet,Atari 2600 Breakoutなど,さまざまな階層的データセットの制限を緩和できることを示す。
  論文  参考訳（メタデータ） (2022-05-25T07:21:45Z)
• HRCF: Enhancing Collaborative Filtering via Hyperbolic Geometric Regularization [52.369435664689995]
  HRCF (textitHyperbolic Regularization powered Collaborative Filtering) を導入し,幾何認識型双曲正規化器を設計する。 具体的には、ルートアライメントとオリジン認識ペナルティによる最適化手順を強化する。 提案手法は,双曲的凝集による過度な平滑化問題に対処でき,モデルの識別能力も向上する。
  論文  参考訳（メタデータ） (2022-04-18T06:11:44Z)
• Nested Hyperbolic Spaces for Dimensionality Reduction and Hyperbolic NN Design [8.250374560598493]
  ハイパーボリックニューラルネットワークは、階層的なデータセットを効率的かつ効率的に表現できることから、近年人気がある。 これらのネットワークを開発する際の課題は、埋め込み空間、すなわち双曲空間の非線形性にある。 本稿では, 射影(埋め込み)の概念と, 内在的な凝集, 双曲空間内の非線形性を併用した, 完全双曲型ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-12-03T03:20:27Z)
• Hyperbolic Variational Graph Neural Network for Modeling Dynamic Graphs [77.33781731432163]
  我々は,ノード表現の推論を目的とした双曲空間における動的グラフ表現を初めて学習する。 本稿では,HVGNNと呼ばれる新しいハイパーボリック変動グラフネットワークを提案する。 特に,動力学をモデル化するために,理論的に接地した時間符号化手法に基づく時間gnn(tgnn)を導入する。
  論文  参考訳（メタデータ） (2021-04-06T01:44:15Z)
• Differentiating through the Fr\'echet Mean [51.32291896926807]
  フレット平均(Fr'echet mean)はユークリッド平均の一般化である。 任意のリーマン多様体に対して Fr'echet 平均を微分する方法を示す。 これにより、Fr'echet平均を双曲型ニューラルネットワークパイプラインに完全に統合する。
  論文  参考訳（メタデータ） (2020-02-29T19:49:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。