論文の概要: DDEQs: Distributional Deep Equilibrium Models through Wasserstein Gradient Flows

• arxiv url: http://arxiv.org/abs/2503.01140v1
• Date: Mon, 03 Mar 2025 03:48:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:24:45.039035
• Title: DDEQs: Distributional Deep Equilibrium Models through Wasserstein Gradient Flows
• Title（参考訳）: DDEQ:ワッサーシュタイン勾配流による分布深度平衡モデル
• Authors: Jonathan Geuter, Clément Bonet, Anna Korba, David Alvarez-Melis,
• Abstract要約: ディープ平衡モデル(Deep Equilibrium Models、DEQ)は、ニューラルネットワークの前方通過における固定点を解決する暗黙のニューラルネットワークのクラスである。 本稿では,DDEQを集合や点雲などの離散的な測度入力に拡張する分散Deep Equilibrium Models(DDEQ)を提案する。 実験では、ポイントクラウド分類やポイントクラウド補完といったタスクにおいて、最先端のモデルと競合できることを示す。
• 参考スコア（独自算出の注目度）: 13.420336353905675
• License:
• Abstract: Deep Equilibrium Models (DEQs) are a class of implicit neural networks that solve for a fixed point of a neural network in their forward pass. Traditionally, DEQs take sequences as inputs, but have since been applied to a variety of data. In this work, we present Distributional Deep Equilibrium Models (DDEQs), extending DEQs to discrete measure inputs, such as sets or point clouds. We provide a theoretically grounded framework for DDEQs. Leveraging Wasserstein gradient flows, we show how the forward pass of the DEQ can be adapted to find fixed points of discrete measures under permutation-invariance, and derive adequate network architectures for DDEQs. In experiments, we show that they can compete with state-of-the-art models in tasks such as point cloud classification and point cloud completion, while being significantly more parameter-efficient.
• Abstract（参考訳）: ディープ平衡モデル(Deep Equilibrium Models、DEQ)は、ニューラルネットワークの前方通過における固定点を解決する暗黙のニューラルネットワークのクラスである。 伝統的に、DECはシーケンスを入力として扱うが、その後様々なデータに適用された。 本研究では,DDEQを集合や点雲などの離散的な測度入力に拡張する分散Deep Equilibrium Models(DDEQ)を提案する。 DDEQの理論的基盤となるフレームワークを提供する。 Weeraging Wasserstein gradient flow, we showed how the forward pass of the DEQ can be adapt to find fixed point of discrete measures under permutation-invariance, and derive appropriate network architectures for DDEQs。 実験では,ポイントクラウド分類やポイントクラウド補完といったタスクにおいて,よりパラメータ効率が良く,最先端のモデルと競合することを示す。

関連論文リスト

• Partial-differential-algebraic equations of nonlinear dynamics by Physics-Informed Neural-Network: (I) Operator splitting and framework assessment [51.3422222472898]
  偏微分代数方程式の解法として, 新規な物理情報ネットワーク(PINN)の構築法が提案されている。 これらの新しい手法には PDE 形式があり、これは未知の従属変数が少ない低レベル形式からより従属変数を持つ高レベル形式へと進化している。
  論文  参考訳（メタデータ） (2024-07-13T22:48:17Z)
• A Priori Uncertainty Quantification of Reacting Turbulence Closure Models using Bayesian Neural Networks [0.0]
  反応流モデルにおける不確実性を捉えるためにベイズニューラルネットワークを用いる。 我々は、BNNモデルが、データ駆動クロージャモデルの不確実性の構造に関するユニークな洞察を提供することができることを示した。 このモデルの有効性は,様々な火炎条件と燃料からなるデータセットに対する事前評価によって実証される。
  論文  参考訳（メタデータ） (2024-02-28T22:19:55Z)
• Positive concave deep equilibrium models [7.148312060227714]
  ディープ平衡モデル(Deep equilibrium Model, DEQ)は、標準的なニューラルネットワークに代わるメモリ効率のモデルである。 正凹深部平衡モデル(pcDEQ)と呼ばれる新しいDECモデルを導入する。 非線形ペロン・フロベニウス理論に基づく我々のアプローチは、正のオーサント上に凹む非負の重みと活性化関数を強制する。
  論文  参考訳（メタデータ） (2024-02-06T14:24:29Z)
• Deep Equilibrium Based Neural Operators for Steady-State PDEs [100.88355782126098]
  定常PDEに対する重み付けニューラルネットワークアーキテクチャの利点について検討する。 定常PDEの解を直接解くFNOアーキテクチャの深い平衡変種であるFNO-DEQを提案する。
  論文  参考訳（メタデータ） (2023-11-30T22:34:57Z)
• Nonlinear dimensionality reduction then and now: AIMs for dissipative PDEs in the ML era [0.0]
  本研究では、分散力学系のための低次モデル(ROM)を構築するために、純粋にデータ駆動型のコレクションを提案する。 特にモチベーションは、ガルシア・アルキラ、ノヴォ、ティティのいわゆる後処理のガレルキン法である。 提案手法は, (a) 理論(フーリエ係数), (b) 線形データ駆動(PODモード), (c) 非線形データ駆動(拡散マップ)座標を用いてROMを表現できる。
  論文  参考訳（メタデータ） (2023-10-24T13:10:43Z)
• LatentPINNs: Generative physics-informed neural networks via a latent representation learning [0.0]
  本稿では,PDEパラメータの潜在表現をPINNに追加(座標に)入力として利用するフレームワークであるLatentPINNを紹介する。 まず,PDEパラメータの分布の潜在表現を学習する。 第2段階では、解領域内の座標空間からランダムに描画されたサンプルから得られる入力に対して、物理インフォームドニューラルネットワークを訓練する。
  論文  参考訳（メタデータ） (2023-05-11T16:54:17Z)
• Score-based Generative Modeling Through Backward Stochastic Differential Equations: Inversion and Generation [6.2255027793924285]
  提案したBSDEベースの拡散モデルは、機械学習における微分方程式(SDE)の適用を拡大する拡散モデリングの新しいアプローチを示す。 モデルの理論的保証、スコアマッチングにリプシッツネットワークを用いることの利点、および拡散反転、条件拡散、不確実性定量化など様々な分野への応用の可能性を示す。
  論文  参考訳（メタデータ） (2023-04-26T01:15:35Z)
• Global Convergence of Over-parameterized Deep Equilibrium Models [52.65330015267245]
  ディープ均衡モデル(Deep equilibrium model, DEQ)は、入射を伴う無限深度重み付きモデルの平衡点を通して暗黙的に定義される。 無限の計算の代わりに、ルートフィンディングで直接平衡点を解き、暗黙の微分で勾配を計算する。 本稿では,無限深度重み付きモデルの非漸近解析における技術的困難を克服する新しい確率的枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-27T08:00:13Z)
• Deep Equilibrium Optical Flow Estimation [80.80992684796566]
  最近のSOTA(State-of-the-art)光フローモデルでは、従来のアルゴリズムをエミュレートするために有限ステップの更新操作を使用する。 これらのRNNは大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するために直接訓練されていない。 暗黙的層の無限レベル固定点として直接流れを解く手法として,Deep equilibrium Flow estimatorを提案する。
  論文  参考訳（メタデータ） (2022-04-18T17:53:44Z)
• Discrete Denoising Flows [87.44537620217673]
  分類的確率変数に対する離散的フローベースモデル(DDF)を提案する。 他の離散フローベースモデルとは対照的に、我々のモデルは勾配バイアスを導入することなく局所的に訓練することができる。 そこで本研究では, DDFs が離散フローより優れていることを示し, 対数類似度で測定した2値MNIST と Cityscapes のセグメンテーションマップをモデル化した。
  論文  参考訳（メタデータ） (2021-07-24T14:47:22Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。