論文の概要: Latent Traversals in Generative Models as Potential Flows
- arxiv url: http://arxiv.org/abs/2304.12944v2
- Date: Sat, 1 Jul 2023 11:21:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-04 13:31:14.039083
- Title: Latent Traversals in Generative Models as Potential Flows
- Title（参考訳）: ポテンシャル流としての生成モデルにおける潜在トラバース
- Authors: Yue Song, T. Anderson Keller, Nicu Sebe, Max Welling
- Abstract要約: 我々は,学習された動的ポテンシャルランドスケープを持つ潜在構造をモデル化することを提案する。
物理、最適輸送、神経科学にインスパイアされたこれらの潜在的景観は、物理的に現実的な偏微分方程式として学習される。
本手法は,最先端のベースラインよりも定性的かつ定量的に歪んだ軌跡を実現する。
- 参考スコア（独自算出の注目度）: 113.4232528843775
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Despite the significant recent progress in deep generative models, the
underlying structure of their latent spaces is still poorly understood, thereby
making the task of performing semantically meaningful latent traversals an open
research challenge. Most prior work has aimed to solve this challenge by
modeling latent structures linearly, and finding corresponding linear
directions which result in `disentangled' generations. In this work, we instead
propose to model latent structures with a learned dynamic potential landscape,
thereby performing latent traversals as the flow of samples down the
landscape's gradient. Inspired by physics, optimal transport, and neuroscience,
these potential landscapes are learned as physically realistic partial
differential equations, thereby allowing them to flexibly vary over both space
and time. To achieve disentanglement, multiple potentials are learned
simultaneously, and are constrained by a classifier to be distinct and
semantically self-consistent. Experimentally, we demonstrate that our method
achieves both more qualitatively and quantitatively disentangled trajectories
than state-of-the-art baselines. Further, we demonstrate that our method can be
integrated as a regularization term during training, thereby acting as an
inductive bias towards the learning of structured representations, ultimately
improving model likelihood on similarly structured data.
- Abstract（参考訳）: 深層生成モデルにおける最近の顕著な進歩にもかかわらず、それらの潜在空間の構造はいまだに理解されていないため、意味論的に意味のある潜在トラバーサルの実行はオープンな研究課題である。
ほとんどの先行研究はこの課題を、潜在構造を線形にモデル化し、対応する線形方向を見出すことで解決することを目的としている。
そこで本研究では,学習された動的ポテンシャルランドスケープを持つ潜在構造物をモデル化し,ランドスケープの勾配を下るサンプルの流れとして潜在トラバースを行う。
物理、最適輸送、神経科学にインスパイアされたこれらの潜在的景観は、物理的に現実的な偏微分方程式として学習され、空間と時間の両方で柔軟に変化する。
絡み合いを実現するために、複数の電位を同時に学習し、分類器によって区別され、意味的に自己整合する。
実験により,本手法は最先端のベースラインよりも定性的かつ定量的に歪んだ軌跡を達成できることが実証された。
さらに,本手法をトレーニング中に正規化項として統合することにより,構造化表現の学習に対する帰納的バイアスとして作用し,最終的に類似した構造化データに対するモデル可能性を向上させることを実証する。
関連論文リスト
- Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。
3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
論文 参考訳（メタデータ） (2024-10-31T22:54:34Z) - State-space models can learn in-context by gradient descent [1.3087858009942543]
本研究では、状態空間モデルアーキテクチャが勾配に基づく学習を実行し、文脈内学習に使用できることを実証する。
局所自己アテンションを付加した単一構造状態空間モデル層が暗黙線形モデルの出力を再現できることを実証する。
理論的構成は、基礎モデルの典型的な表現力を実現するための鍵となる要素として、繰り返しアーキテクチャにおける局所的な自己注意と乗法的相互作用の役割を解明する。
論文 参考訳（メタデータ） (2024-10-15T15:22:38Z) - Flow Factorized Representation Learning [109.51947536586677]
本稿では、異なる入力変換を定義する潜在確率パスの別個のセットを規定する生成モデルを提案する。
本モデルは,ほぼ同変モデルに近づきながら,標準表現学習ベンチマークにおいて高い確率を達成することを示す。
論文 参考訳（メタデータ） (2023-09-22T20:15:37Z) - Exploring Model Transferability through the Lens of Potential Energy [78.60851825944212]
トランスファーラーニングは、事前訓練されたディープラーニングモデルが広く利用可能であることから、コンピュータビジョンタスクにおいて重要になっている。
既存のトレーニング済みモデルの転送可能性の測定方法は、符号化された静的特徴とタスクラベルの間の統計的相関に依存する。
我々はこれらの課題に対処するために,PEDという物理に着想を得たアプローチを提案する。
論文 参考訳（メタデータ） (2023-08-29T07:15:57Z) - Exploring Compositional Visual Generation with Latent Classifier
Guidance [19.48538300223431]
我々は、潜在表現生成の非線形ナビゲーションを容易にするために、潜時拡散モデルと補助潜時分類器を訓練する。
潜在分類器ガイダンスにより達成された条件付き生成は、トレーニング中の条件付きログ確率の低い境界を確実に最大化することを示す。
遅延分類器誘導に基づくこのパラダイムは、事前学習された生成モデルに非依存であり、実画像と合成画像の逐次的操作と画像生成の両面での競合結果を示す。
論文 参考訳（メタデータ） (2023-04-25T03:02:58Z) - Latent Variable Representation for Reinforcement Learning [131.03944557979725]
モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。
状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。
特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-12-17T00:26:31Z) - Amortised Inference in Structured Generative Models with Explaining Away [16.92791301062903]
我々は、複数の変数に対して構造化因子を組み込むために、償却変分推論の出力を拡張した。
パラメータ化された因子は、複雑な図形構造における変分メッセージパッシングと効率的に結合可能であることを示す。
次に、構造化されたモデルと、自由に動くげっ歯類の海馬からの高次元神経スパイク時系列を適合させる。
論文 参考訳（メタデータ） (2022-09-12T12:52:15Z) - Planning with Diffusion for Flexible Behavior Synthesis [125.24438991142573]
我々は、できるだけ多くの軌道最適化パイプラインをモデリング問題に折り畳むことがどう見えるか検討する。
我々の技術的アプローチの核心は、軌道を反復的にデノベーションすることで計画する拡散確率モデルにある。
論文 参考訳（メタデータ） (2022-05-20T07:02:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。