論文の概要: Blocked and Hierarchical Disentangled Representation From Information
Theory Perspective
- arxiv url: http://arxiv.org/abs/2101.08408v1
- Date: Thu, 21 Jan 2021 02:33:55 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-21 22:37:27.386982
- Title: Blocked and Hierarchical Disentangled Representation From Information
Theory Perspective
- Title（参考訳）: 情報理論の観点からみたブロックと階層的不整合表現
- Authors: Ziwen Liu, Mingqiang Li, Congying Han
- Abstract要約: 本稿では,ブロック型かつ階層型可変オートエンコーダ(BHiVAE)を提案する。
BHiVAEは主に情報ボトルネック理論と情報原理に由来する。
実験における優れた非絡み合い結果と表現学習における優れた分類精度を示す。
- 参考スコア（独自算出の注目度）: 0.6875312133832078
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a novel and theoretical model, blocked and hierarchical
variational autoencoder (BHiVAE), to get better-disentangled representation. It
is well known that information theory has an excellent explanatory meaning for
the network, so we start to solve the disentanglement problem from the
perspective of information theory. BHiVAE mainly comes from the information
bottleneck theory and information maximization principle. Our main idea is that
(1) Neurons block not only one neuron node is used to represent attribute,
which can contain enough information; (2) Create a hierarchical structure with
different attributes on different layers, so that we can segment the
information within each layer to ensure that the final representation is
disentangled. Furthermore, we present supervised and unsupervised BHiVAE,
respectively, where the difference is mainly reflected in the separation of
information between different blocks. In supervised BHiVAE, we utilize the
label information as the standard to separate blocks. In unsupervised BHiVAE,
without extra information, we use the Total Correlation (TC) measure to achieve
independence, and we design a new prior distribution of the latent space to
guide the representation learning. It also exhibits excellent disentanglement
results in experiments and superior classification accuracy in representation
learning.
- Abstract（参考訳）: 本稿では,新しい理論モデルであるブロック型および階層型変分オートエンコーダ(bhivae)を提案する。
情報理論がネットワークにとって優れた説明的意味を持つことはよく知られているので,情報理論の観点からも問題を解く。
BHiVAEは主に情報ボトルネック理論と情報最大化原理に由来する。
1)ニューロンブロックは1つのニューロンノードだけでなく、十分な情報を含むことができる属性を表現できる。(2)異なるレイヤに異なる属性を持つ階層構造を作成することにより、各レイヤに情報を分割し、最終的な表現が歪むことを保証する。
さらに,各ブロック間の情報の分離に主に差が反映されるBHiVAEについて,教師付き・教師なしのBHiVAEを提案する。
BHiVAEでは、ラベル情報を標準として利用してブロックを分離する。
教師なしBHiVAEでは、余分な情報なしで、独立性を達成するためにトータル相関(TC)尺度を使用し、表現学習を導くために潜在空間の新しい事前分布を設計する。
また,実験において優れた不等角化結果を示し,表現学習において優れた分類精度を示す。
関連論文リスト
- Trading Information between Latents in Hierarchical Variational
Autoencoders [8.122270502556374]
変分オートエンコーダ(VAE)はもともと確率的生成モデルとして動機付けられ、ベイズ推定を近似的に行う。
$beta$-VAEsの提案はこの解釈を破り、VAEを生成モデリング以上のアプリケーションドメインに一般化する。
推論モデルの一般的なクラスを特定し、各レイヤからのコントリビューションにレートを分割し、独立に調整することができる。
論文 参考訳（メタデータ） (2023-02-09T18:56:11Z) - Towards Explanation for Unsupervised Graph-Level Representation Learning [108.31036962735911]
既存の説明手法は,教師付き設定,例えばノード分類,グラフ分類に重点を置いているが,教師なしグラフレベルの表現学習に関する説明はまだ探索されていない。
本稿では,非教師付きグラフ表現における説明問題に対処するために,インフォメーション・ボトルネックの原則(IB)を推進し,新しい原理であるtextitUnsupervised Subgraph Information Bottleneck(USIB)を導出する。
また,グラフ表現とラベル空間上の説明部分グラフの関連性も理論的に解析し,表現の堅牢性が説明部分グラフの忠実性に寄与することを明らかにする。
論文 参考訳（メタデータ） (2022-05-20T02:50:15Z) - Deconfounded Training for Graph Neural Networks [98.06386851685645]
本稿では, コンバウンディング効果を緩和し, 臨界情報に対するラッチを緩和する新しいDecon Training(DTP)のパラダイムを提案する。
具体的には、注意モジュールを用いて臨界部分グラフと自明部分グラフをアンタングル化する。
これにより、GNNは、ラベルとの関係が複数のディストリビューションで堅牢である、より信頼性の高いサブグラフをキャプチャできる。
論文 参考訳（メタデータ） (2021-12-30T15:22:35Z) - VAE-CE: Visual Contrastive Explanation using Disentangled VAEs [3.5027291542274357]
変分自己エンコーダに基づくコントラスト説明(VAE-CE)
本研究では,各次元をアンタングル化するための新しい教師付き手法で拡張した,アンタングル付きVAEを用いたモデルを構築した。
合成データとMNISTの分析は、解離と説明の両方へのアプローチが他の方法よりも有利であることを示している。
論文 参考訳（メタデータ） (2021-08-20T13:15:24Z) - Reasoning-Modulated Representations [85.08205744191078]
タスクが純粋に不透明でないような共通的な環境について研究する。
我々のアプローチは、新しいデータ効率表現学習の道を開く。
論文 参考訳（メタデータ） (2021-07-19T13:57:13Z) - Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。
種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。
共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
論文 参考訳（メタデータ） (2020-10-01T17:51:49Z) - Learning Diverse and Discriminative Representations via the Principle of
Maximal Coding Rate Reduction [32.21975128854042]
本稿では、データセット全体と各クラスの和との符号化レート差を最大化する情報理論尺度である最大符号化レート削減(textMCR2$)の原理を提案する。
我々は,クロスエントロピー,情報ボトルネック,情報ゲイン,契約的・コントラスト的学習など,既存のフレームワークとの関係を明らかにするとともに,多様かつ差別的な特徴を学習するための理論的保証を提供する。
論文 参考訳（メタデータ） (2020-06-15T17:23:55Z) - Explainable Deep Classification Models for Domain Generalization [94.43131722655617]
説明は、深い分類網が決定を下す視覚的証拠の領域として定義される。
トレーニング戦略は周期的な正当性に基づくフィードバックを強制し、モデルが地中真実に直接対応する画像領域に焦点を合わせることを奨励する。
論文 参考訳（メタデータ） (2020-03-13T22:22:15Z) - A Theory of Usable Information Under Computational Constraints [103.5901638681034]
本稿では,複雑なシステムにおける情報推論のための新しいフレームワークを提案する。
我々の基礎はシャノンの情報理論の変分拡張に基づいている。
計算制約を組み込むことで,データから$mathcalV$-informationを確実に推定できることを示す。
論文 参考訳（メタデータ） (2020-02-25T06:09:30Z) - Learning Robust Representations via Multi-View Information Bottleneck [41.65544605954621]
元の定式化は、過剰な情報を識別するためにラベル付きデータを必要とする。
この機能は、同一のエンティティの2つのビューが提供されるが、ラベルが不明なマルチビューアントラクサ設定に拡張する。
理論的解析により、MIR-FlickrデータセットのSketchyデータセットとラベル限定バージョンで最先端の結果を生成する新しいマルチビューモデルが定義される。
論文 参考訳（メタデータ） (2020-02-17T16:01:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。