論文の概要: Balancing reconstruction error and Kullback-Leibler divergence in Variational Autoencoders

• arxiv url: http://arxiv.org/abs/2002.07514v1
• Date: Tue, 18 Feb 2020 12:22:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-30 19:05:34.909920
• Title: Balancing reconstruction error and Kullback-Leibler divergence in Variational Autoencoders
• Title（参考訳）: 変分オートエンコーダにおけるバランシング再構成誤差とKulback-Leibler分散
• Authors: Andrea Asperti, Matteo Trentin
• Abstract要約: 学習は単純な決定論的計算に置き換えられ、基礎となるメカニズムを理解するのに役立ちます。 CifarやCelebaのような典型的なデータセットでは、我々の手法は以前のVAEアーキテクチャよりも優れている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the loss function of Variational Autoencoders there is a well known tension between two components: the reconstruction loss, improving the quality of the resulting images, and the Kullback-Leibler divergence, acting as a regularizer of the latent space. Correctly balancing these two components is a delicate issue, easily resulting in poor generative behaviours. In a recent work, Dai and Wipf obtained a sensible improvement by allowing the network to learn the balancing factor during training, according to a suitable loss function. In this article, we show that learning can be replaced by a simple deterministic computation, helping to understand the underlying mechanism, and resulting in a faster and more accurate behaviour. On typical datasets such as Cifar and Celeba, our technique sensibly outperforms all previous VAE architectures.
• Abstract（参考訳）: 変分オートエンコーダの損失関数には、再構成損失、結果の画質の向上、および潜在空間の正則化として機能するクルバック・リーブラー分岐という2つのコンポーネントの間によく知られた緊張関係がある。 これら2つのコンポーネントを正しくバランスさせることは繊細な問題だ。 最近の研究で、Dai氏とWipf氏は、適切な損失関数に従ってネットワークがトレーニング中にバランス係数を学習できるようにすることで、合理的な改善を得た。 本稿では、学習を単純な決定論的計算に置き換え、基礎となるメカニズムを理解するのに役立ち、より高速で正確な行動をもたらすことを示す。 CifarやCelebaのような典型的なデータセットでは、我々の手法は以前のVAEアーキテクチャよりも優れている。

関連論文リスト

• Causal Context Adjustment Loss for Learned Image Compression [72.7300229848778]
  近年,学習画像圧縮(lic)技術は,特にRD性能の点で従来の手法を上回りつつある。 現在の技術のほとんどは、自己回帰エントロピーモデルを備えたVAEベースで、デコードされた因果コンテキストを利用してRD性能を向上する。 本稿では,提案した因果文脈調整損失を用いて因果文脈を的確に調整する方法を初めて検討する。
  論文  参考訳（メタデータ） (2024-10-07T09:08:32Z)
• Sobolev neural network with residual weighting as a surrogate in linear and non-linear mechanics [0.0]
  本稿では、感度情報を含むトレーニングプロセスの改善について検討する。 計算力学では、トレーニング損失関数を拡張することにより、ニューラルネットワークに感性を適用することができる。 この改善は、線形および非線形な材料挙動の2つの例で示される。
  論文  参考訳（メタデータ） (2024-07-23T13:28:07Z)
• Semantic Ensemble Loss and Latent Refinement for High-Fidelity Neural Image Compression [58.618625678054826]
  本研究は、最適な視覚的忠実度のために設計された強化されたニューラル圧縮手法を提案する。 我々は,洗練されたセマンティック・アンサンブル・ロス,シャルボニエ・ロス,知覚的損失,スタイル・ロス,非バイナリ・ディバイザ・ロスを組み込んだモデルを構築した。 実験により,本手法は神経画像圧縮の統計的忠実度を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2024-01-25T08:11:27Z)
• Alternate Loss Functions for Classification and Robust Regression Can Improve the Accuracy of Artificial Neural Networks [6.452225158891343]
  本稿では,ニューラルネットワークのトレーニング速度と最終的な精度が,ニューラルネットワークのトレーニングに使用する損失関数に大きく依存することを示す。 様々なベンチマークタスクの性能を著しく向上させる2つの新しい分類損失関数を提案する。
  論文  参考訳（メタデータ） (2023-03-17T12:52:06Z)
• CRC-RL: A Novel Visual Feature Representation Architecture for Unsupervised Reinforcement Learning [7.4010632660248765]
  改良された視覚的特徴を学習するために,CRC損失と呼ばれる不均一な損失関数を用いた新しいアーキテクチャを提案する。 提案したアーキテクチャはCRC-RLと呼ばれ、Deep Mind Controlスイート環境における既存の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2023-01-31T08:41:18Z)
• Temporal Difference Learning with Compressed Updates: Error-Feedback meets Reinforcement Learning [47.904127007515925]
  本稿では,従来の時間差学習アルゴリズムの変種について検討する。 我々は、圧縮されたTDアルゴリズムと、最適化に広く用いられているエラーフィードバック機構が組み合わさって、漸近的でない近似を保証することを証明した。 特に、これらは一般圧縮演算子と線形関数近似とマルコフサンプリングを併用したタンデムの誤差フィードバックを考慮に入れたRLにおける最初の有限時間結果である。
  論文  参考訳（メタデータ） (2023-01-03T04:09:38Z)
• Magic ELF: Image Deraining Meets Association Learning and Transformer [63.761812092934576]
  本稿では,CNN と Transformer を統合化して,画像デライニングにおける学習のメリットを活用することを目的とする。 降雨除去と背景復旧を関連づける新しいマルチインプット・アテンション・モジュール (MAM) を提案する。 提案手法(ELF)は,最先端手法(MPRNet)を平均0.25dB向上させる。
  論文  参考訳（メタデータ） (2022-07-21T12:50:54Z)
• Spatially-Adaptive Image Restoration using Distortion-Guided Networks [51.89245800461537]
  空間的に変化する劣化に苦しむ画像の復元のための学習ベースソリューションを提案する。 本研究では、歪み局所化情報を活用し、画像中の困難な領域に動的に適応するネットワーク設計であるSPAIRを提案する。
  論文  参考訳（メタデータ） (2021-08-19T11:02:25Z)
• Characterizing the loss landscape of variational quantum circuits [77.34726150561087]
  本稿では,VQCの損失関数のヘシアンを計算する方法を紹介する。 この情報がどのように解釈され、従来のニューラルネットワークと比較されるかを示す。
  論文  参考訳（メタデータ） (2020-08-06T17:48:12Z)
• Joint learning of variational representations and solvers for inverse problems with partially-observed data [13.984814587222811]
  本稿では,教師付き環境において,逆問題に対する実際の変分フレームワークを学習するためのエンドツーエンドフレームワークを設計する。 変動コストと勾配に基づく解法はどちらも、後者の自動微分を用いたニューラルネットワークとして記述される。 これにより、データ駆動による変分モデルの発見につながる。
  論文  参考訳（メタデータ） (2020-06-05T19:53:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。