論文の概要: Gradient flow encoding with distance optimization adaptive step size
- arxiv url: http://arxiv.org/abs/2105.05031v1
- Date: Tue, 11 May 2021 13:38:23 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-12 18:34:11.717047
- Title: Gradient flow encoding with distance optimization adaptive step size
- Title（参考訳）: 距離最適化適応ステップサイズによる勾配流れエンコーディング
- Authors: Kyriakos Flouris, Anna Volokitin, Gustav Bredell, Ender Konukoglu
- Abstract要約: グラデーションフローを用いて潜在空間内のデータサンプルをエンコードするデコーダのみの手法を検討する。
私たちの実験では、GFEは自動符号化モデルよりもはるかに高いデータ効率を示しました。
- 参考スコア（独自算出の注目度）: 10.973034520723957
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The autoencoder model uses an encoder to map data samples to a lower
dimensional latent space and then a decoder to map the latent space
representations back to the data space. Implicitly, it relies on the encoder to
approximate the inverse of the decoder network, so that samples can be mapped
to and back from the latent space faithfully. This approximation may lead to
sub-optimal latent space representations. In this work, we investigate a
decoder-only method that uses gradient flow to encode data samples in the
latent space. The gradient flow is defined based on a given decoder and aims to
find the optimal latent space representation for any given sample through
optimisation, eliminating the need of an approximate inversion through an
encoder. Implementing gradient flow through ordinary differential equations
(ODE), we leverage the adjoint method to train a given decoder. We further show
empirically that the costly integrals in the adjoint method may not be entirely
necessary. Additionally, we propose a $2^{nd}$ order ODE variant to the method,
which approximates Nesterov's accelerated gradient descent, with faster
convergence per iteration. Commonly used ODE solvers can be quite sensitive to
the integration step-size depending on the stiffness of the ODE. To overcome
the sensitivity for gradient flow encoding, we use an adaptive solver that
prioritises minimising loss at each integration step. We assess the proposed
method in comparison to the autoencoding model. In our experiments, GFE showed
a much higher data-efficiency than the autoencoding model, which can be crucial
for data scarce applications.
- Abstract（参考訳）: オートエンコーダモデルは、データサンプルを低次元の潜在空間にマッピングするためにエンコーダを使用し、デコーダを使用して潜在空間表現をデータ空間にマッピングする。
暗黙的には、デコーダネットワークの逆を近似するためにエンコーダに依存しており、サンプルを潜在空間から忠実にマッピングすることができる。
この近似は準最適潜在空間表現に繋がるかもしれない。
本研究では,遅延空間におけるデータサンプルのエンコードに勾配流を用いるデコーダのみの手法について検討する。
勾配フローは、与えられたデコーダに基づいて定義され、最適化を通じて任意のサンプルの最適な潜在空間表現を見つけることを目的としており、エンコーダを通した近似反転の必要性がなくなる。
通常の微分方程式 (ode) による勾配流を実装し, 随伴法を用いてデコーダを訓練する。
さらに,随伴法におけるコストのかかる積分は必ずしも必要ではないことを実証的に示す。
さらに,この手法の2,^{nd}$ ode変種を提案する。これはnesterovの加速度勾配降下を近似し,反復毎に収束が速くなる。
一般的に使用されるODEソルバは、ODEの硬さに応じて、統合ステップサイズに非常に敏感である。
勾配流れエンコーディングの感度を克服するために,各積分ステップにおける損失の最小化を優先する適応解法を用いる。
提案手法を自動符号化モデルと比較して評価する。
我々の実験では、GFEは自動符号化モデルよりもはるかに高いデータ効率を示した。
関連論文リスト
- Gradient-free Decoder Inversion in Latent Diffusion Models [18.493960162113712]
潜時拡散モデル(LDMs)では、遅延拡散過程は、ピクセル空間よりも次元が低い潜時空間で効率的に発生する。
本稿では,多種多様な潜在モデルに適用可能なLDMの高効率勾配自由デコーダインバージョンを提案する。
論文 参考訳（メタデータ） (2024-09-27T04:38:14Z) - Compression of Structured Data with Autoencoders: Provable Benefit of
Nonlinearities and Depth [83.15263499262824]
勾配勾配勾配は入力のスパース構造を完全に無視する解に収束することを示す。
浅層構造にデノナイジング関数を付加することにより,スパースデータの圧縮におけるガウス性能の改善方法を示す。
CIFAR-10 や MNIST などの画像データセットに対して,本研究の成果を検証した。
論文 参考訳（メタデータ） (2024-02-07T16:32:29Z) - Faster Diffusion: Rethinking the Role of the Encoder for Diffusion Model Inference [95.42299246592756]
本稿では,UNetエンコーダについて検討し,エンコーダの特徴を実証的に分析する。
エンコーダの特徴は最小限に変化するが,デコーダの特徴は時間段階によって大きく異なる。
我々は、テキスト・ツー・ビデオ、パーソナライズド・ジェネレーション、参照誘導ジェネレーションといった他のタスクに対するアプローチを検証する。
論文 参考訳（メタデータ） (2023-12-15T08:46:43Z) - Complexity Matters: Rethinking the Latent Space for Generative Modeling [65.64763873078114]
生成的モデリングにおいて、多くの成功したアプローチは、例えば安定拡散のような低次元の潜在空間を利用する。
本研究では, モデル複雑性の観点から潜在空間を再考することにより, 未探索の話題に光を当てることを目的としている。
論文 参考訳（メタデータ） (2023-07-17T07:12:29Z) - Decomposed Diffusion Sampler for Accelerating Large-Scale Inverse
Problems [64.29491112653905]
本稿では, 拡散サンプリング法とクリロフ部分空間法を相乗的に組み合わせた, 新規で効率的な拡散サンプリング手法を提案する。
具体的には、ツイーディの公式による分母化標本における接空間がクリロフ部分空間を成すならば、その分母化データによるCGは、接空間におけるデータの整合性更新を確実に維持する。
提案手法は,従来の最先端手法よりも80倍以上高速な推論時間を実現する。
論文 参考訳（メタデータ） (2023-03-10T07:42:49Z) - Convergent autoencoder approximation of low bending and low distortion
manifold embeddings [5.5711773076846365]
オートエンコーダのエンコーダコンポーネントを学習するための新しい正規化を提案し,解析する。
損失関数は、入力多様体上の点対に対する異なるサンプリング戦略とモンテカルロ積分を通じて計算される。
我々の主定理は、埋め込み写像の損失汎函数をサンプリング依存損失汎函数の$Gamma$-極限として定義する。
論文 参考訳（メタデータ） (2022-08-22T10:31:31Z) - Dynamic Neural Representational Decoders for High-Resolution Semantic
Segmentation [98.05643473345474]
動的ニューラル表現デコーダ(NRD)と呼ばれる新しいデコーダを提案する。
エンコーダの出力上の各位置がセマンティックラベルの局所的なパッチに対応するので、この研究では、これらの局所的なパッチをコンパクトなニューラルネットワークで表現する。
このニューラル表現により、意味ラベル空間に先行する滑らかさを活用することができ、デコーダをより効率的にすることができる。
論文 参考訳（メタデータ） (2021-07-30T04:50:56Z) - Gradient Origin Networks [8.952627620898074]
本稿では,エンコーダを使わずに潜在表現を素早く学習できる新しい生成モデルを提案する。
実験により,提案手法は自己エンコーダよりも高速に収束し,パラメータの半分を必要としながら再構成誤差が著しく低いことがわかった。
論文 参考訳（メタデータ） (2020-07-06T15:00:11Z) - MetaSDF: Meta-learning Signed Distance Functions [85.81290552559817]
ニューラルな暗示表現で形状を一般化することは、各関数空間上の学習先行値に比例する。
形状空間の学習をメタラーニング問題として定式化し、勾配に基づくメタラーニングアルゴリズムを利用してこの課題を解決する。
論文 参考訳（メタデータ） (2020-06-17T05:14:53Z) - Approximate Gradient Coding with Optimal Decoding [22.069731881164895]
分散最適化問題では、グラデーションコーディングと呼ばれる手法が、ストラグリングマシンの効果を軽減するために用いられている。
近年の研究では、データの複製係数が低すぎる符号化スキームに関する近似勾配符号化について研究している。
拡張器グラフに基づく新しい近似勾配符号を導入し、各マシンが正確に2ブロックのデータポイントを受信する。
論文 参考訳（メタデータ） (2020-06-17T03:46:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。