論文の概要: Categorical Flow Matching on Statistical Manifolds

• arxiv url: http://arxiv.org/abs/2405.16441v2
• Date: Thu, 31 Oct 2024 18:04:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-04 14:33:20.773939
• Title: Categorical Flow Matching on Statistical Manifolds
• Title（参考訳）: 統計多様体上のカテゴリーフローマッチング
• Authors: Chaoran Cheng, Jiahan Li, Jian Peng, Ge Liu,
• Abstract要約: 本稿では,情報幾何学に着想を得たパラメータ化確率尺度の多様体上でのフローマッチングフレームワークを提案する。 我々は,多様体間の微分同相法により数値安定性を克服する効率的なトレーニングとサンプリングアルゴリズムを開発した。 我々は、SFMが、既存のモデルがしばしば失敗するような統計多様体上でより複雑なパターンを学習できることを示した。
• 参考スコア（独自算出の注目度）: 12.646272756981672
• License:
• Abstract: We introduce Statistical Flow Matching (SFM), a novel and mathematically rigorous flow-matching framework on the manifold of parameterized probability measures inspired by the results from information geometry. We demonstrate the effectiveness of our method on the discrete generation problem by instantiating SFM on the manifold of categorical distributions whose geometric properties remain unexplored in previous discrete generative models. Utilizing the Fisher information metric, we equip the manifold with a Riemannian structure whose intrinsic geometries are effectively leveraged by following the shortest paths of geodesics. We develop an efficient training and sampling algorithm that overcomes numerical stability issues with a diffeomorphism between manifolds. Our distinctive geometric perspective of statistical manifolds allows us to apply optimal transport during training and interpret SFM as following the steepest direction of the natural gradient. Unlike previous models that rely on variational bounds for likelihood estimation, SFM enjoys the exact likelihood calculation for arbitrary probability measures. We manifest that SFM can learn more complex patterns on the statistical manifold where existing models often fail due to strong prior assumptions. Comprehensive experiments on real-world generative tasks ranging from image, text to biological domains further demonstrate that SFM achieves higher sampling quality and likelihood than other discrete diffusion or flow-based models.
• Abstract（参考訳）: 本稿では,情報幾何学の結果に触発されたパラメータ化確率測定の多様体上に,新しい,数学的に厳密なフローマッチングフレームワークである統計フローマッチング(SFM)を紹介する。 本研究では,従来の離散生成モデルでは探索されていない幾何学的性質を持つ分類分布の多様体上でSFMをインスタンス化することにより,離散生成問題に対する本手法の有効性を示す。 フィッシャー情報計量を利用すると、内在的な測地が測地学の最も短い経路に従うことによって効果的に活用されるリーマン構造を多様体に装備する。 我々は,多様体間の微分同相法を用いて,数値安定性問題を克服する効率的なトレーニングとサンプリングアルゴリズムを開発した。 統計多様体の特異な幾何学的視点は、訓練中に最適な輸送を適用し、SFMを自然勾配の最も急な方向に従って解釈することができる。 確率推定のために変分境界に依存する従来のモデルとは異なり、SFMは任意の確率測度に対する正確な確率計算を楽しんでいる。 我々は、SFMが、既存のモデルがしばしば失敗するような統計多様体上でより複雑なパターンを学習できることを示した。 画像,テキスト,生物学的領域などの実世界の生成タスクに関する総合的な実験は,SFMが他の離散拡散モデルやフローベースモデルよりも高いサンプリング品質と可能性を達成することをさらに証明している。

関連論文リスト

• Metric Flow Matching for Smooth Interpolations on the Data Manifold [40.24392451848883]
  Metric Flow Matching (MFM) は条件付きフローマッチングのための新しいシミュレーションフリーフレームワークである。 我々は,MFMを条件付き経路のフレームワークとして提案し,ソース分布をターゲット分布に変換する。 我々は、LiDARナビゲーション、未ペア画像翻訳、セルラーダイナミクスのモデリングなど、一連の課題でFMをテストする。
  論文  参考訳（メタデータ） (2024-05-23T16:48:06Z)
• Fisher Flow Matching for Generative Modeling over Discrete Data [12.69975914345141]
  離散データのための新しいフローマッチングモデルであるFisher-Flowを紹介する。 Fisher-Flowは、離散データ上のカテゴリー分布を考慮し、明らかに幾何学的な視点を採っている。 Fisher-Flowにより誘導される勾配流は, 前方KLの発散を低減するのに最適であることを示す。
  論文  参考訳（メタデータ） (2024-05-23T15:02:11Z)
• Efficient modeling of sub-kilometer surface wind with Gaussian processes and neural networks [0.0]
  風は、その空間的および時間的変動が高いため、モデルにとって特に困難な変数である。 本稿では,ガウス過程とニューラルネットワークを統合した表面風洞をサブキロメートル分解能でモデル化する手法を提案する。
  論文  参考訳（メタデータ） (2024-05-21T09:07:47Z)
• Diffusion posterior sampling for simulation-based inference in tall data settings [53.17563688225137]
  シミュレーションベース推論(SBI)は、入力パラメータを所定の観測に関連付ける後部分布を近似することができる。 本研究では、モデルのパラメータをより正確に推測するために、複数の観測値が利用できる、背の高いデータ拡張について考察する。 提案手法を,最近提案した各種数値実験の競合手法と比較し,数値安定性と計算コストの観点から,その優位性を実証した。
  論文  参考訳（メタデータ） (2024-04-11T09:23:36Z)
• Geometric Neural Diffusion Processes [55.891428654434634]
  拡散モデルの枠組みを拡張して、無限次元モデリングに一連の幾何学的先行を組み込む。 これらの条件で、生成関数モデルが同じ対称性を持つことを示す。
  論文  参考訳（メタデータ） (2023-07-11T16:51:38Z)
• A Geometric Perspective on Diffusion Models [57.27857591493788]
  本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。 我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
  論文  参考訳（メタデータ） (2023-05-31T15:33:16Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• Moser Flow: Divergence-based Generative Modeling on Manifolds [49.04974733536027]
  Moser Flow (MF) は連続正規化フロー(CNF)ファミリーにおける新しい生成モデルのクラスである MFは、訓練中にODEソルバを介して呼び出しやバックプロパゲートを必要としない。 一般曲面からのサンプリングにおけるフローモデルの利用を初めて実演する。
  論文  参考訳（メタデータ） (2021-08-18T09:00:24Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)
• Flows for simultaneous manifold learning and density estimation [12.451050883955071]
  多様体学習フロー(M-flow)は、多様体構造を持つデータセットをより忠実に表現する。 M-フローはデータ多様体を学習し、周囲のデータ空間の標準フローよりも優れた推論を可能にする。
  論文  参考訳（メタデータ） (2020-03-31T02:07:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。