論文の概要: GroupifyVAE: from Group-based Definition to VAE-based Unsupervised Representation Disentanglement

• arxiv url: http://arxiv.org/abs/2102.10303v1
• Date: Sat, 20 Feb 2021 09:49:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-23 15:13:54.298446
• Title: GroupifyVAE: from Group-based Definition to VAE-based Unsupervised Representation Disentanglement
• Title（参考訳）: GroupifyVAE:グループベースの定義からVAEベースのUnsupervised Representation Disentanglementへ
• Authors: Tao Yang, Xuanchi Ren, Yuwang Wang, Wenjun Zeng, Nanning Zheng, Pengju Ren
• Abstract要約: 他の誘導バイアスを導入しないと、VAEベースの非監視的非絡み合いは実現できない。 グループ理論に基づく定義から導かれる制約を非確率的帰納的バイアスとして活用し,vaeに基づく教師なし不連続に対処する。 提案手法の有効性を検証するために,5つのデータセット上で,vaeベースモデルが最も目立つ1800モデルをトレーニングした。
• 参考スコア（独自算出の注目度）: 91.9003001845855
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The key idea of the state-of-the-art VAE-based unsupervised representation disentanglement methods is to minimize the total correlation of the latent variable distributions. However, it has been proved that VAE-based unsupervised disentanglement can not be achieved without introducing other inductive bias. In this paper, we address VAE-based unsupervised disentanglement by leveraging the constraints derived from the Group Theory based definition as the non-probabilistic inductive bias. More specifically, inspired by the nth dihedral group (the permutation group for regular polygons), we propose a specific form of the definition and prove its two equivalent conditions: isomorphism and "the constancy of permutations". We further provide an implementation of isomorphism based on two Group constraints: the Abel constraint for the exchangeability and Order constraint for the cyclicity. We then convert them into a self-supervised training loss that can be incorporated into VAE-based models to bridge their gaps from the Group Theory based definition. We train 1800 models covering the most prominent VAE-based models on five datasets to verify the effectiveness of our method. Compared to the original models, the Groupidied VAEs consistently achieve better mean performance with smaller variances, and make meaningful dimensions controllable.
• Abstract（参考訳）: 最先端のVAEベースの非監視表現解束法の鍵となるアイデアは、潜在変数分布の総相関を最小化することである。 しかし、他の誘導バイアスを導入しないと、VAEベースの非監視的束縛は達成できないことが証明されている。 本稿では,グループ理論に基づく定義から導かれる制約を非確率的帰納的バイアスとして活用し,vaeに基づく教師なし不連続性に対処する。 より具体的には、n番目の二面体群(正規多角形の置換群)に触発され、その定義の特定の形式を提案し、その2つの等価な条件を証明した:同型と「置換の定数」である。 さらに, 2 つの群制約(交換可能性に対する abel 制約と巡回性の順序制約)に基づく同型の実装も提供する。 次に、これらを、グループ理論に基づく定義からギャップを埋めるために、VAEベースのモデルに組み込むことができる自己指導型トレーニング損失に変換する。 提案手法の有効性を検証するために,5つのデータセット上で,vaeベースモデルが最も目立つ1800モデルをトレーニングした。 元のモデルと比較して、Groupidied VAEは一貫して小さなばらつきでより良い平均性能を達成し、意味のある寸法を制御可能にします。

関連論文リスト

• COD: Learning Conditional Invariant Representation for Domain Adaptation Regression [20.676363400841495]
  ドメイン適応回帰(Domain Adaptation Regression)は、ソースドメインからラベルのないターゲットドメインへのラベルの知識を一般化するために開発された。 既存の条件分布アライメント理論と離散前処理法はもはや適用できない。 誤差を最小限に抑えるために,CODに基づく条件付き不変表現学習モデルを提案する。
  論文  参考訳（メタデータ） (2024-08-13T05:08:13Z)
• A Non-negative VAE:the Generalized Gamma Belief Network [49.970917207211556]
  ガンマ信念ネットワーク(GBN)は、テキストデータ中の多層解釈可能な潜在表現を明らかにする可能性を実証している。 本稿では、一般化ガンマ信念ネットワーク(Generalized GBN)を導入し、元の線形生成モデルをより表現力のある非線形生成モデルに拡張する。 また、潜伏変数の後方分布を近似する上向きのワイブル推論ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-08-06T18:18:37Z)
• Lie Group Decompositions for Equivariant Neural Networks [12.139222986297261]
  コンボリューションカーネルをパラメータ化してアフィン変換に対する同変モデルを構築する方法を示す。 我々は,ベンチマークアフィン不変分類タスクにおいて,モデルのロバスト性と分布外一般化能力を評価する。
  論文  参考訳（メタデータ） (2023-10-17T16:04:33Z)
• Equi-Tuning: Group Equivariant Fine-Tuning of Pretrained Models [56.88106830869487]
  我々は、(潜在的に非同変な)事前訓練されたモデルを群同変モデルに変換する新しい微調整法である、同調を導入する。 本稿では、画像分類、合成言語における一般化、自然言語生成における公平性という3つの異なるタスクに対する等価チューニングの応用について述べる。
  論文  参考訳（メタデータ） (2022-10-13T08:45:23Z)
• PAC Generalization via Invariant Representations [41.02828564338047]
  有限標本集合における$epsilon$-approximate不変性の概念を考える。 PAC学習にインスパイアされ、有限サンプルのアウト・オブ・ディストリビューション一般化保証を得る。 この結果から, 介入部位が非次境界ノードの一定サイズの部分集合内にある場合に, 周囲次元でスケールしない境界を示す。
  論文  参考訳（メタデータ） (2022-05-30T15:50:14Z)
• Commutative Lie Group VAE for Disentanglement Learning [96.32813624341833]
  本研究では,データに表される因子の変動を同変的に反映する基盤構造を見いだすこととして,非絡み合い学習を考察する。 グループベースの非絡み合い学習を実現するために、Communative Lie Group VAEというシンプルなモデルが導入された。 実験により,本モデルでは,教師なしの非絡み合い表現を効果的に学習し,余分な制約を伴わずに最先端のパフォーマンスを達成できることが示されている。
  論文  参考訳（メタデータ） (2021-06-07T07:03:14Z)
• LieTransformer: Equivariant self-attention for Lie Groups [49.9625160479096]
  群等価ニューラルネットワークは群不変ニューラルネットワークの構成要素として用いられる。 我々は、文学の範囲を、ディープラーニングモデルの顕著な構築ブロックとして現れつつある自己注意にまで広げる。 任意のリー群とその離散部分群に同値なリー自己結合層からなる構造であるリー変換器を提案する。
  論文  参考訳（メタデータ） (2020-12-20T11:02:49Z)
• Posterior Differential Regularization with f-divergence for Improving Model Robustness [95.05725916287376]
  クリーン入力とノイズ入力のモデル後部差を規則化する手法に着目する。 後微分正則化を$f$-divergencesの族に一般化する。 実験の結果, 後方微分を$f$-divergenceで正規化することで, モデルロバスト性の向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2020-10-23T19:58:01Z)
• An Identifiable Double VAE For Disentangled Representations [24.963285614606665]
  本稿では, 識別可能性に関する理論的保証を備えた, VAEに基づく新しい生成モデルを提案する。 我々は,最適表現を学習することで,潜伏者に対する条件付き事前情報を得る。 実験結果は,最先端のアプローチに対して優れた性能を示す。
  論文  参考訳（メタデータ） (2020-10-19T09:59:31Z)
• Variational Intrinsic Control Revisited [7.6146285961466]
  Gregorらによるオリジナルの研究で、2つのVICアルゴリズムが提案された: 1つは明示的にオプションを表すもので、もう1つは暗黙的にそれを行うものである。 後者で用いられる本質的な報酬は環境に偏りがあり、最適解に収束することを示した。 本稿では,この動作を補正し,最大エンパワーメントを達成するための2つの方法を提案する。
  論文  参考訳（メタデータ） (2020-10-07T09:00:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。