論文の概要: On Linear Interpolation in the Latent Space of Deep Generative Models

• arxiv url: http://arxiv.org/abs/2105.03663v1
• Date: Sat, 8 May 2021 10:27:07 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-11 14:48:21.799970
• Title: On Linear Interpolation in the Latent Space of Deep Generative Models
• Title（参考訳）: 深部生成モデルの潜在空間における線形補間について
• Authors: Mike Yan Michelis and Quentin Becker
• Abstract要約: 潜在空間における線形の滑らかさと可視性は、基礎となる生成モデルの品質と関連している。 測地線が与える最短曲線から任意に逸脱できるので、そのような曲線がすべて同値であるとは限らない。 この偏差は、生成モデルのプルバックメトリックによる曲線長の計算によって明らかにされる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The underlying geometrical structure of the latent space in deep generative models is in most cases not Euclidean, which may lead to biases when comparing interpolation capabilities of two models. Smoothness and plausibility of linear interpolations in latent space are associated with the quality of the underlying generative model. In this paper, we show that not all such interpolations are comparable as they can deviate arbitrarily from the shortest interpolation curve given by the geodesic. This deviation is revealed by computing curve lengths with the pull-back metric of the generative model, finding shorter curves than the straight line between endpoints, and measuring a non-zero relative length improvement on this straight line. This leads to a strategy to compare linear interpolations across two generative models. We also show the effect and importance of choosing an appropriate output space for computing shorter curves. For this computation we derive an extension of the pull-back metric.
• Abstract（参考訳）: 深部生成モデルにおける潜伏空間の基本的な幾何学的構造はユークリッドではない場合が多く、2つのモデルの補間能力を比較する際にバイアスが発生する。 潜在空間における線形補間の滑らかさと妥当性は、基礎となる生成モデルの品質と関連している。 本稿では,測地線が与える最も短い補間曲線から任意に逸脱できるような補間がすべて同等であるわけではないことを示す。 この偏差は、生成モデルのプルバックメトリックで曲線長を計算し、エンドポイント間の直線よりも短い曲線を見つけ、この直線上で非ゼロな相対距離改善を測定することによって明らかにされる。 これにより、2つの生成モデル間の線形補間を比較する戦略が導かれる。 また、短い曲線を計算するのに適切な出力空間を選択する効果と重要性を示す。 この計算のために、プルバック計量の拡張を導出する。

関連論文リスト

• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Manifold-augmented Eikonal Equations: Geodesic Distances and Flows on Differentiable Manifolds [5.0401589279256065]
  多様体の幾何学が距離場にどのように影響するかを示し、測地線流を利用して、グローバルな長さ最小曲線を直接得る。 この研究は、微分可能多様体上の統計学と減階モデリングの機会を開放する。
  論文  参考訳（メタデータ） (2023-10-09T21:11:13Z)
• Curve Your Attention: Mixed-Curvature Transformers for Graph Representation Learning [77.1421343649344]
  本稿では,一定曲率空間の積を完全に操作するトランスフォーマーの一般化を提案する。 また、非ユークリッド注意に対するカーネル化されたアプローチを提供し、ノード数とエッジ数に線形に時間とメモリコストでモデルを実行できるようにします。
  論文  参考訳（メタデータ） (2023-09-08T02:44:37Z)
• Short and Straight: Geodesics on Differentiable Manifolds [6.85316573653194]
  本研究では,測地線長を最小化するための既存の手法をまず解析する。 次に,連続多様体上の距離場と測地流のモデルに基づくパラメータ化を提案する。 第3に,Ricciスカラーのより大きい値を示す多様体の領域において,曲率に基づくトレーニング機構,サンプリングおよびスケーリングポイントを開発する。
  論文  参考訳（メタデータ） (2023-05-24T15:09:41Z)
• VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
  深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。 ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。 本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-04-03T13:13:19Z)
• Linear Interpolation In Parameter Space is Good Enough for Fine-Tuned Language Models [0.21485350418225244]
  微調整後の事前学習モデルのパラメータ間の線形接続について検討する。 驚くことに、微調整モデルに対する中間点のパフォーマンス低下を伴わずに線形推論を行うことができた。 制御可能なテキスト生成では、そのような推論は、モデルを所望のテキストに対して移動させるものとみなすことができる。
  論文  参考訳（メタデータ） (2022-11-22T08:49:22Z)
• Geodesic Models with Convexity Shape Prior [8.932981695464761]
  本稿では, より複雑な問題として, 凸形状を持つ曲率ペナル化された測地線経路の発見について考察する。 配向リフトの戦略に依存する新しい測地モデルを構築した。 凸形状は、曲率の制約を符号化した局所測地線メトリクスの構築のための制約として機能する。
  論文  参考訳（メタデータ） (2021-11-01T09:41:54Z)
• GELATO: Geometrically Enriched Latent Model for Offline Reinforcement Learning [54.291331971813364]
  オフライン強化学習アプローチは、近近法と不確実性認識法に分けられる。 本研究では,この2つを潜在変動モデルに組み合わせることのメリットを実証する。 提案したメトリクスは、分布サンプルのアウトの品質と、データ内のサンプルの不一致の両方を測定します。
  論文  参考訳（メタデータ） (2021-02-22T19:42:40Z)
• A Differential Geometry Perspective on Orthogonal Recurrent Models [56.09491978954866]
  我々は微分幾何学からのツールと洞察を用いて、直交rnnの新しい視点を提供する。 直交RNNは、発散自由ベクトル場の空間における最適化と見なすことができる。 この観測に動機づけられて、ベクトル場全体の空間にまたがる新しいリカレントモデルの研究を行う。
  論文  参考訳（メタデータ） (2021-02-18T19:39:22Z)
• Feature-Based Interpolation and Geodesics in the Latent Spaces of Generative Models [10.212371817325065]
  点間の補間は測地学の発見と生成モデルの研究と同時に関係する問題である。 任意の密度の場合の潜在空間における測地線と補間曲線を同時に探索できる例を提供する。
  論文  参考訳（メタデータ） (2019-04-06T13:47:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。