Fugu-MT 論文翻訳(概要): Blocked and Hierarchical Disentangled Representation From Information Theory Perspective

論文の概要: Blocked and Hierarchical Disentangled Representation From Information Theory Perspective

arxiv url: http://arxiv.org/abs/2101.08408v1
Date: Thu, 21 Jan 2021 02:33:55 GMT
ステータス: 処理完了
システム内更新日: 2021-03-21 22:37:27.386982
Title: Blocked and Hierarchical Disentangled Representation From Information Theory Perspective
Title（参考訳）: 情報理論の観点からみたブロックと階層的不整合表現
Authors: Ziwen Liu, Mingqiang Li, Congying Han
Abstract要約: 本稿では,ブロック型かつ階層型可変オートエンコーダ(BHiVAE)を提案する。 BHiVAEは主に情報ボトルネック理論と情報原理に由来する。実験における優れた非絡み合い結果と表現学習における優れた分類精度を示す。
参考スコア（独自算出の注目度）: 0.6875312133832078
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We propose a novel and theoretical model, blocked and hierarchical variational autoencoder (BHiVAE), to get better-disentangled representation. It is well known that information theory has an excellent explanatory meaning for the network, so we start to solve the disentanglement problem from the perspective of information theory. BHiVAE mainly comes from the information bottleneck theory and information maximization principle. Our main idea is that (1) Neurons block not only one neuron node is used to represent attribute, which can contain enough information; (2) Create a hierarchical structure with different attributes on different layers, so that we can segment the information within each layer to ensure that the final representation is disentangled. Furthermore, we present supervised and unsupervised BHiVAE, respectively, where the difference is mainly reflected in the separation of information between different blocks. In supervised BHiVAE, we utilize the label information as the standard to separate blocks. In unsupervised BHiVAE, without extra information, we use the Total Correlation (TC) measure to achieve independence, and we design a new prior distribution of the latent space to guide the representation learning. It also exhibits excellent disentanglement results in experiments and superior classification accuracy in representation learning.
Abstract（参考訳）: 本稿では,新しい理論モデルであるブロック型および階層型変分オートエンコーダ(bhivae)を提案する。情報理論がネットワークにとって優れた説明的意味を持つことはよく知られているので,情報理論の観点からも問題を解く。 BHiVAEは主に情報ボトルネック理論と情報最大化原理に由来する。 1)ニューロンブロックは1つのニューロンノードだけでなく、十分な情報を含むことができる属性を表現できる。(2)異なるレイヤに異なる属性を持つ階層構造を作成することにより、各レイヤに情報を分割し、最終的な表現が歪むことを保証する。さらに,各ブロック間の情報の分離に主に差が反映されるBHiVAEについて,教師付き・教師なしのBHiVAEを提案する。 BHiVAEでは、ラベル情報を標準として利用してブロックを分離する。教師なしBHiVAEでは、余分な情報なしで、独立性を達成するためにトータル相関(TC)尺度を使用し、表現学習を導くために潜在空間の新しい事前分布を設計する。また,実験において優れた不等角化結果を示し,表現学習において優れた分類精度を示す。
全文参考訳へのリンク