論文の概要: Lifting Architectural Constraints of Injective Flows

• arxiv url: http://arxiv.org/abs/2306.01843v5
• Date: Thu, 27 Jun 2024 06:51:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-28 20:35:54.680920
• Title: Lifting Architectural Constraints of Injective Flows
• Title（参考訳）: インジェクティブフローのリフティング構造制約
• Authors: Peter Sorrenson, Felix Draxler, Armand Rousselot, Sander Hummerich, Lea Zimmermann, Ullrich Köthe,
• Abstract要約: 正規化フローはトレーニングデータに対して全次元の確率を明示的に最大化する。 単射フローは、多様体とその上の分布を共同で学習することによってこれを解決する。 データ多様体とそれ上の分布の両方を鼻で学習すると、分岐解がもたらされることが示される。
• 参考スコア（独自算出の注目度）: 7.452460759055847
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Normalizing Flows explicitly maximize a full-dimensional likelihood on the training data. However, real data is typically only supported on a lower-dimensional manifold leading the model to expend significant compute on modeling noise. Injective Flows fix this by jointly learning a manifold and the distribution on it. So far, they have been limited by restrictive architectures and/or high computational cost. We lift both constraints by a new efficient estimator for the maximum likelihood loss, compatible with free-form bottleneck architectures. We further show that naively learning both the data manifold and the distribution on it can lead to divergent solutions, and use this insight to motivate a stable maximum likelihood training objective. We perform extensive experiments on toy, tabular and image data, demonstrating the competitive performance of the resulting model.
• Abstract（参考訳）: 正規化フローはトレーニングデータに対して全次元の確率を明示的に最大化する。 しかし、実際のデータは一般に低次元多様体上でのみサポートされ、モデルがモデリングノイズに大きな計算を出力する。 単射フローは、多様体とその上の分布を共同で学習することでこれを解決する。 これまでのところ、制限的なアーキテクチャや高い計算コストによって制限されている。 我々は、自由形式のボトルネックアーキテクチャと互換性のある最大可能性損失を推定する新しい効率的な推定器により、両方の制約を引き上げる。 さらに、データ多様体とそれ上の分布の両方を鼻で学習することで、分岐解がもたらされることを示し、この知見を用いて、安定した最大可能性トレーニング目標を動機付ける。 我々は,玩具,表,画像データについて広範な実験を行い,その結果の競争性能を実証した。

関連論文リスト

• Expanding Expressiveness of Diffusion Models with Limited Data via Self-Distillation based Fine-Tuning [24.791783885165923]
  限られたデータセット上での拡散モデルの訓練は、限られた生成能力と表現性の観点から問題を引き起こす。 これらの課題に対処するために、SDFT(Self-Distillation for Fine-Tuning diffusion model)を提案する。
  論文  参考訳（メタデータ） (2023-11-02T06:24:06Z)
• Balancing Act: Constraining Disparate Impact in Sparse Models [20.058720715290434]
  本研究では,プルーニングの異なる影響に直接対処する制約付き最適化手法を提案する。 我々の定式化は、各部分群に対する密度モデルとスパースモデルの間の精度変化を束縛する。 実験により,本手法は大規模モデルや数百の保護されたサブグループに関わる問題に対して確実にスケール可能であることが示された。
  論文  参考訳（メタデータ） (2023-10-31T17:37:35Z)
• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• ChiroDiff: Modelling chirographic data with Diffusion Models [132.5223191478268]
  チャーログラフィーデータのための強力なモデルクラスである「拡散確率モデル(Denoising Diffusion Probabilistic Models)」やDDPMを導入している。 我々のモデルは「ChiroDiff」と呼ばれ、非自己回帰的であり、全体論的概念を捉えることを学び、したがって高い時間的サンプリングレートに回復する。
  論文  参考訳（メタデータ） (2023-04-07T15:17:48Z)
• Towards Efficient Task-Driven Model Reprogramming with Foundation Models [52.411508216448716]
  ビジョンファウンデーションモデルは、非常に大きなモデルキャパシティと幅広いトレーニングデータから恩恵を受け、印象的なパワーを示す。 しかし、実際には、下流のシナリオは限られた計算資源や効率上の考慮のため、小さなモデルしかサポートできない。 これは、ファンデーションモデルの現実的な応用に重要な課題をもたらします。
  論文  参考訳（メタデータ） (2023-04-05T07:28:33Z)
• Wasserstein Distributional Learning [5.830831796910439]
  Wasserstein Distributional Learning (WDL)はフレキシブルな密度オンスカラー回帰モデリングフレームワークである。 WDLは, 条件密度の非線形依存性をよりよく特徴付け, 明らかにする。 シミュレーションと実世界の応用を通してWDLフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2022-09-12T02:32:17Z)
• Multi-Scale Architectures Matter: On the Adversarial Robustness of Flow-based Lossless Compression [16.109578069331135]
  フローベースモデルは, 優れた確率密度推定と良好な推論速度により, 性能が向上する。 マルチスケールアーキテクチャは、浅い層から出力層へのショートカットを提供する。 マルチスケールアーキテクチャのフローは、コーディングの複雑さと圧縮効率の最良のトレードオフを実現する。
  論文  参考訳（メタデータ） (2022-08-26T15:17:43Z)
• ManiFlow: Implicitly Representing Manifolds with Normalizing Flows [145.9820993054072]
  正規化フロー(NF)は、複雑な実世界のデータ分布を正確にモデル化することが示されているフレキシブルな明示的な生成モデルである。 摂動分布から標本を与えられた多様体上の最も可能性の高い点を復元する最適化目的を提案する。 最後に、NFsの明示的な性質、すなわち、ログのような勾配とログのような勾配から抽出された表面正規化を利用する3次元点雲に焦点を当てる。
  論文  参考訳（メタデータ） (2022-08-18T16:07:59Z)
• Closed-form Continuous-Depth Models [99.40335716948101]
  連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
  論文  参考訳（メタデータ） (2021-06-25T22:08:51Z)
• Self Normalizing Flows [65.73510214694987]
  本稿では,各層における学習された近似逆数により,勾配の高価な項を置き換えることで,フローの正規化を訓練するための柔軟なフレームワークを提案する。 これにより、各レイヤの正確な更新の計算複雑性が$mathcalO(D3)$から$mathcalO(D2)$に削減される。 実験により,これらのモデルは非常に安定であり,正確な勾配値と類似したデータ可能性値に最適化可能であることが示された。
  論文  参考訳（メタデータ） (2020-11-14T09:51:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。