論文の概要: Balancing reconstruction error and Kullback-Leibler divergence in
Variational Autoencoders
- arxiv url: http://arxiv.org/abs/2002.07514v1
- Date: Tue, 18 Feb 2020 12:22:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-30 19:05:34.909920
- Title: Balancing reconstruction error and Kullback-Leibler divergence in
Variational Autoencoders
- Title(参考訳): 変分オートエンコーダにおけるバランシング再構成誤差とKulback-Leibler分散
- Authors: Andrea Asperti, Matteo Trentin
- Abstract要約: 学習は単純な決定論的計算に置き換えられ、基礎となるメカニズムを理解するのに役立ちます。
CifarやCelebaのような典型的なデータセットでは、我々の手法は以前のVAEアーキテクチャよりも優れている。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the loss function of Variational Autoencoders there is a well known
tension between two components: the reconstruction loss, improving the quality
of the resulting images, and the Kullback-Leibler divergence, acting as a
regularizer of the latent space. Correctly balancing these two components is a
delicate issue, easily resulting in poor generative behaviours. In a recent
work, Dai and Wipf obtained a sensible improvement by allowing the network to
learn the balancing factor during training, according to a suitable loss
function. In this article, we show that learning can be replaced by a simple
deterministic computation, helping to understand the underlying mechanism, and
resulting in a faster and more accurate behaviour. On typical datasets such as
Cifar and Celeba, our technique sensibly outperforms all previous VAE
architectures.
- Abstract(参考訳): 変分オートエンコーダの損失関数には、再構成損失、結果の画質の向上、および潜在空間の正則化として機能するクルバック・リーブラー分岐という2つのコンポーネントの間によく知られた緊張関係がある。
これら2つのコンポーネントを正しくバランスさせることは繊細な問題だ。
最近の研究で、Dai氏とWipf氏は、適切な損失関数に従ってネットワークがトレーニング中にバランス係数を学習できるようにすることで、合理的な改善を得た。
本稿では、学習を単純な決定論的計算に置き換え、基礎となるメカニズムを理解するのに役立ち、より高速で正確な行動をもたらすことを示す。
CifarやCelebaのような典型的なデータセットでは、我々の手法は以前のVAEアーキテクチャよりも優れている。
関連論文リスト
- Semantic Ensemble Loss and Latent Refinement for High-Fidelity Neural
Image Compression [62.888755394395716]
本研究は、最適な視覚的忠実度のために設計された強化されたニューラル圧縮手法を提案する。
我々は,洗練されたセマンティック・アンサンブル・ロス,シャルボニエ・ロス,知覚的損失,スタイル・ロス,非バイナリ・ディバイザ・ロスを組み込んだモデルを構築した。
実験により,本手法は神経画像圧縮の統計的忠実度を著しく向上させることが示された。
論文 参考訳(メタデータ) (2024-01-25T08:11:27Z) - Decoupled Kullback-Leibler Divergence Loss [75.31157286595517]
Kullback-Leibler (KL) 分割損失は、DKL (Dupled Kullback-Leibler) 分割損失と同値である。
クラス内整合性正規化のためのグローバル情報をDKLに導入する。
提案手法は両タスクの最先端性能を実現し,実用的メリットを実証する。
論文 参考訳(メタデータ) (2023-05-23T11:17:45Z) - Alternate Loss Functions for Classification and Robust Regression Can
Improve the Accuracy of Artificial Neural Networks [7.5620539044013535]
本稿では,ニューラルネットワークのトレーニング速度と最終的な精度が,ニューラルネットワークのトレーニングに使用する損失関数に大きく依存することを示す。
様々なベンチマークタスクの性能を著しく向上させる2つの新しい分類損失関数を提案する。
論文 参考訳(メタデータ) (2023-03-17T12:52:06Z) - CRC-RL: A Novel Visual Feature Representation Architecture for
Unsupervised Reinforcement Learning [7.4010632660248765]
改良された視覚的特徴を学習するために,CRC損失と呼ばれる不均一な損失関数を用いた新しいアーキテクチャを提案する。
提案したアーキテクチャはCRC-RLと呼ばれ、Deep Mind Controlスイート環境における既存の最先端手法よりも優れている。
論文 参考訳(メタデータ) (2023-01-31T08:41:18Z) - Temporal Difference Learning with Compressed Updates: Error-Feedback
meets Reinforcement Learning [32.937264507807214]
一般的な強化学習アルゴリズムは、同様の摂動に対して堅牢であることを示す。
我々の研究は、一般圧縮演算子と線形関数近似とマルコフサンプリングを併用したタンデムの誤差フィードバックを初めて考慮したものである。
論文 参考訳(メタデータ) (2023-01-03T04:09:38Z) - Relationship Quantification of Image Degradations [72.98190570967937]
劣化関係指数(DRI)は,2モデル間の検証損失の平均ドロップレート差として定義される。
DRIは常に、特定の劣化を列車モデルの補助として利用することで、性能改善を予測します。
得られた劣化組合せがアンカー劣化性能を向上させることができるかどうかを簡易かつ効果的に推定する手法を提案する。
論文 参考訳(メタデータ) (2022-12-08T09:05:19Z) - Random Weight Factorization Improves the Training of Continuous Neural
Representations [1.911678487931003]
連続神経表現は、信号の古典的な離散化表現に代わる強力で柔軟な代替物として登場した。
従来の線形層をパラメータ化・初期化するための単純なドロップイン置換法としてランダムウェイト係数化を提案する。
ネットワーク内の各ニューロンが、自身の自己適応学習率を用いて学習できるように、この因子化が基盤となる損失状況をどのように変化させるかを示す。
論文 参考訳(メタデータ) (2022-10-03T23:48:48Z) - Magic ELF: Image Deraining Meets Association Learning and Transformer [63.761812092934576]
本稿では,CNN と Transformer を統合化して,画像デライニングにおける学習のメリットを活用することを目的とする。
降雨除去と背景復旧を関連づける新しいマルチインプット・アテンション・モジュール (MAM) を提案する。
提案手法(ELF)は,最先端手法(MPRNet)を平均0.25dB向上させる。
論文 参考訳(メタデータ) (2022-07-21T12:50:54Z) - Spatially-Adaptive Image Restoration using Distortion-Guided Networks [51.89245800461537]
空間的に変化する劣化に苦しむ画像の復元のための学習ベースソリューションを提案する。
本研究では、歪み局所化情報を活用し、画像中の困難な領域に動的に適応するネットワーク設計であるSPAIRを提案する。
論文 参考訳(メタデータ) (2021-08-19T11:02:25Z) - Characterizing the loss landscape of variational quantum circuits [77.34726150561087]
本稿では,VQCの損失関数のヘシアンを計算する方法を紹介する。
この情報がどのように解釈され、従来のニューラルネットワークと比較されるかを示す。
論文 参考訳(メタデータ) (2020-08-06T17:48:12Z) - Joint learning of variational representations and solvers for inverse
problems with partially-observed data [13.984814587222811]
本稿では,教師付き環境において,逆問題に対する実際の変分フレームワークを学習するためのエンドツーエンドフレームワークを設計する。
変動コストと勾配に基づく解法はどちらも、後者の自動微分を用いたニューラルネットワークとして記述される。
これにより、データ駆動による変分モデルの発見につながる。
論文 参考訳(メタデータ) (2020-06-05T19:53:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。