論文の概要: Blocked and Hierarchical Disentangled Representation From Information Theory Perspective

• arxiv url: http://arxiv.org/abs/2101.08408v1
• Date: Thu, 21 Jan 2021 02:33:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-21 22:37:27.386982
• Title: Blocked and Hierarchical Disentangled Representation From Information Theory Perspective
• Title（参考訳）: 情報理論の観点からみたブロックと階層的不整合表現
• Authors: Ziwen Liu, Mingqiang Li, Congying Han
• Abstract要約: 本稿では,ブロック型かつ階層型可変オートエンコーダ(BHiVAE)を提案する。 BHiVAEは主に情報ボトルネック理論と情報原理に由来する。 実験における優れた非絡み合い結果と表現学習における優れた分類精度を示す。
• 参考スコア（独自算出の注目度）: 0.6875312133832078
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a novel and theoretical model, blocked and hierarchical variational autoencoder (BHiVAE), to get better-disentangled representation. It is well known that information theory has an excellent explanatory meaning for the network, so we start to solve the disentanglement problem from the perspective of information theory. BHiVAE mainly comes from the information bottleneck theory and information maximization principle. Our main idea is that (1) Neurons block not only one neuron node is used to represent attribute, which can contain enough information; (2) Create a hierarchical structure with different attributes on different layers, so that we can segment the information within each layer to ensure that the final representation is disentangled. Furthermore, we present supervised and unsupervised BHiVAE, respectively, where the difference is mainly reflected in the separation of information between different blocks. In supervised BHiVAE, we utilize the label information as the standard to separate blocks. In unsupervised BHiVAE, without extra information, we use the Total Correlation (TC) measure to achieve independence, and we design a new prior distribution of the latent space to guide the representation learning. It also exhibits excellent disentanglement results in experiments and superior classification accuracy in representation learning.
• Abstract（参考訳）: 本稿では,新しい理論モデルであるブロック型および階層型変分オートエンコーダ(bhivae)を提案する。 情報理論がネットワークにとって優れた説明的意味を持つことはよく知られているので,情報理論の観点からも問題を解く。 BHiVAEは主に情報ボトルネック理論と情報最大化原理に由来する。 1)ニューロンブロックは1つのニューロンノードだけでなく、十分な情報を含むことができる属性を表現できる。(2)異なるレイヤに異なる属性を持つ階層構造を作成することにより、各レイヤに情報を分割し、最終的な表現が歪むことを保証する。 さらに,各ブロック間の情報の分離に主に差が反映されるBHiVAEについて,教師付き・教師なしのBHiVAEを提案する。 BHiVAEでは、ラベル情報を標準として利用してブロックを分離する。 教師なしBHiVAEでは、余分な情報なしで、独立性を達成するためにトータル相関(TC)尺度を使用し、表現学習を導くために潜在空間の新しい事前分布を設計する。 また,実験において優れた不等角化結果を示し,表現学習において優れた分類精度を示す。
• 全文 参考訳へのリンク

関連論文リスト

• The Transitive Information Theory and its Application to Deep Generative Models [0.0]
  変分オートエンコーダ(VAE)は2つの反対方向に押される。 既存の方法では、圧縮と再構成の間のレート歪みのトレードオフに問題を絞り込む。 一般化のために学習した表現を再結合する機構とともに,非交叉表現の階層構造を学習するシステムを開発する。
  論文  参考訳（メタデータ） (2022-03-09T22:35:02Z)
• ADVISE: ADaptive Feature Relevance and VISual Explanations for Convolutional Neural Networks [0.745554610293091]
  本稿では,機能マップの各ユニットの関連性を定量化し,活用して視覚的説明を提供する新しい説明可能性手法であるADVISEを紹介する。 我々は、画像分類タスクにおいて、AlexNet、VGG16、ResNet50、XceptionをImageNetで事前訓練した上で、我々のアイデアを広く評価する。 さらに,ADVISEは衛生チェックをパスしながら,感度および実装独立性公理を満たすことを示す。
  論文  参考訳（メタデータ） (2022-03-02T18:16:57Z)
• Fair Interpretable Learning via Correction Vectors [68.29997072804537]
  我々は「補正ベクトル」の学習を中心とした公正表現学習のための新しい枠組みを提案する。 修正は単純に元の特徴にまとめられるので、各特徴に対して明確なペナルティやボーナスとして分析することができる。 このような方法で制約された公平な表現学習問題が性能に影響を与えないことを実験的に示す。
  論文  参考訳（メタデータ） (2022-01-17T10:59:33Z)
• Deconfounded Training for Graph Neural Networks [98.06386851685645]
  本稿では, コンバウンディング効果を緩和し, 臨界情報に対するラッチを緩和する新しいDecon Training(DTP)のパラダイムを提案する。 具体的には、注意モジュールを用いて臨界部分グラフと自明部分グラフをアンタングル化する。 これにより、GNNは、ラベルとの関係が複数のディストリビューションで堅牢である、より信頼性の高いサブグラフをキャプチャできる。
  論文  参考訳（メタデータ） (2021-12-30T15:22:35Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Unsupervised Belief Representation Learning in Polarized Networks with Information-Theoretic Variational Graph Auto-Encoders [26.640917190618612]
  偏極ネットワークにおける信念表現学習のための教師なしアルゴリズムを開発した。 ユーザとコンテンツアイテム(例えば、ユーザビューを表す投稿)の両方を、適切に区切られた潜在空間に投影することを学ぶ。 ユーザとコンテンツの潜在表現は、イデオロギー的傾きを定量化し、問題に対する姿勢を検出し、予測するために使用することができる。
  論文  参考訳（メタデータ） (2021-10-01T04:35:01Z)
• VAE-CE: Visual Contrastive Explanation using Disentangled VAEs [3.5027291542274357]
  変分自己エンコーダに基づくコントラスト説明(VAE-CE) 本研究では,各次元をアンタングル化するための新しい教師付き手法で拡張した,アンタングル付きVAEを用いたモデルを構築した。 合成データとMNISTの分析は、解離と説明の両方へのアプローチが他の方法よりも有利であることを示している。
  論文  参考訳（メタデータ） (2021-08-20T13:15:24Z)
• Reasoning-Modulated Representations [85.08205744191078]
  タスクが純粋に不透明でないような共通的な環境について研究する。 我々のアプローチは、新しいデータ効率表現学習の道を開く。
  論文  参考訳（メタデータ） (2021-07-19T13:57:13Z)
• From Canonical Correlation Analysis to Self-supervised Graph Neural Networks [99.44881722969046]
  本稿では,グラフデータを用いた自己教師付き表現学習のための概念的単純かつ効果的なモデルを提案する。 古典的カノニカル相関解析にインスパイアされた,革新的な特徴レベルの目的を最適化する。 提案手法は、7つの公開グラフデータセット上で競合的に動作する。
  論文  参考訳（メタデータ） (2021-06-23T15:55:47Z)
• Representation mitosis in wide neural networks [68.14247656034044]
  有糸分裂を活性化する重要な要素は,訓練誤差がゼロになるまで訓練過程を継続していることが示される。 検討した学習課題の1つは、複数の自動開発クローンを持つワイドモデルが、最終レイヤがクローンと同じサイズであるアーキテクチャに基づいて、ディープアンサンブルよりもはるかに優れた性能を発揮することを示しています。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。