論文の概要: Leveraging Relational Information for Learning Weakly Disentangled
Representations
- arxiv url: http://arxiv.org/abs/2205.10056v1
- Date: Fri, 20 May 2022 09:58:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-24 00:09:44.264419
- Title: Leveraging Relational Information for Learning Weakly Disentangled
Representations
- Title(参考訳): 弱歪表現学習のための関係情報の活用
- Authors: Andrea Valenti, Davide Bacciu
- Abstract要約: 絡み合いは神経表現を強制するのは難しい性質である。
我々は、(弱々しい)非絡み合い表現の学習に関する別の見解を示す。
- 参考スコア(独自算出の注目度): 11.460692362624533
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Disentanglement is a difficult property to enforce in neural representations.
This might be due, in part, to a formalization of the disentanglement problem
that focuses too heavily on separating relevant factors of variation of the
data in single isolated dimensions of the neural representation. We argue that
such a definition might be too restrictive and not necessarily beneficial in
terms of downstream tasks. In this work, we present an alternative view over
learning (weakly) disentangled representations, which leverages concepts from
relational learning. We identify the regions of the latent space that
correspond to specific instances of generative factors, and we learn the
relationships among these regions in order to perform controlled changes to the
latent codes. We also introduce a compound generative model that implements
such a weak disentanglement approach. Our experiments shows that the learned
representations can separate the relevant factors of variation in the data,
while preserving the information needed for effectively generating high quality
data samples.
- Abstract(参考訳): 絡み合いは神経表現を強制するのは難しい性質である。
これは、部分的には、神経表現の単一孤立次元におけるデータの変動の関連因子の分離に重きを置いている、絡み合う問題の形式化によるものかもしれない。
このような定義は制約的であり、下流タスクの点では必ずしも有益ではないと論じている。
本研究では,関係学習の概念を生かした,(弱々しい)非絡み合い表現の学習に対する代替的視点を示す。
我々は、生成因子の特定のインスタンスに対応する潜在空間の領域を特定し、それらの領域間の関係を学習し、潜在コードの制御された変更を行う。
また,このような弱い絡み合いアプローチを実装した複合生成モデルも導入する。
実験により、学習した表現は、高品質なデータサンプルを効果的に生成するのに必要な情報を保持しながら、データの変化の関連要因を分離できることを示した。
関連論文リスト
- Nonparametric Partial Disentanglement via Mechanism Sparsity: Sparse
Actions, Interventions and Sparse Temporal Dependencies [58.179981892921056]
この研究は、メカニズムのスパーシティ正則化(英語版)と呼ばれる、アンタングルメントの新たな原理を導入する。
本稿では,潜在要因を同時に学習することで,絡み合いを誘発する表現学習手法を提案する。
学習した因果グラフをスパースに規則化することにより、潜伏因子を復元できることを示す。
論文 参考訳(メタデータ) (2024-01-10T02:38:21Z) - Inducing Causal Structure for Abstractive Text Summarization [76.1000380429553]
要約データの因果構造を誘導する構造因果モデル(SCM)を導入する。
本稿では因果的要因を模倣できる因果的表現を学習するための因果性インスピレーション付き系列列列モデル(CI-Seq2Seq)を提案する。
2つの広く使われているテキスト要約データセットの実験結果は、我々のアプローチの利点を示している。
論文 参考訳(メタデータ) (2023-08-24T16:06:36Z) - A Causal Ordering Prior for Unsupervised Representation Learning [27.18951912984905]
因果表現学習(Causal representation learning)は、データセットの変動の要因は、実際には因果関係にあると主張している。
本稿では,遅延付加雑音モデルを用いたデータ生成過程を考慮した,教師なし表現学習手法を提案する。
論文 参考訳(メタデータ) (2023-07-11T18:12:05Z) - Nonparametric Identifiability of Causal Representations from Unknown
Interventions [63.1354734978244]
本研究では, 因果表現学習, 潜伏因果変数を推定するタスク, およびそれらの変数の混合から因果関係を考察する。
我々のゴールは、根底にある真理潜入者とその因果グラフの両方を、介入データから解決不可能なあいまいさの集合まで識別することである。
論文 参考訳(メタデータ) (2023-06-01T10:51:58Z) - Towards Causal Representation Learning and Deconfounding from Indefinite
Data [17.793702165499298]
非統計データ(画像、テキストなど)は、従来の因果データとプロパティやメソッドの点で重大な対立に遭遇する。
2つの新しい視点から因果データを再定義し、3つのデータパラダイムを提案する。
非定値データから因果表現を学習するための動的変分推論モデルとして,上記の設計を実装した。
論文 参考訳(メタデータ) (2023-05-04T08:20:37Z) - DOT-VAE: Disentangling One Factor at a Time [1.6114012813668934]
本稿では,変分オートエンコーダの潜伏空間を乱交空間で拡張し,Wake-Sleep-inspireed two-step algorithm for unsupervised disentanglementを用いて学習する手法を提案する。
我々のネットワークは、解釈可能な独立した因子を一度に1つのデータから切り離すことを学び、それを非絡み合った潜在空間の異なる次元にエンコードし、因子の数やそれらの共同分布について事前の仮定をしない。
論文 参考訳(メタデータ) (2022-10-19T22:53:02Z) - Assessing the Limits of the Distributional Hypothesis in Semantic
Spaces: Trait-based Relational Knowledge and the Impact of Co-occurrences [6.994580267603235]
この研究は、自然言語の有意義な表現を捉えるために、データに必要とされることの比較的無意味な経路に寄与する。
これは、英語とスペイン語のセマンティックスペースが特定の種類の関係知識をいかにうまく捉えているかを評価することを必要とする。
論文 参考訳(メタデータ) (2022-05-16T12:09:40Z) - Equivariance Allows Handling Multiple Nuisance Variables When Analyzing
Pooled Neuroimaging Datasets [53.34152466646884]
本稿では,構造空間上でインスタンス化された同変表現学習における最近の結果と,因果推論における古典的結果の簡易な利用が,いかに効果的に実現されたかを示す。
いくつかの仮定の下で、我々のモデルが複数のニュアンス変数を扱えることを実証し、そうでなければサンプルの大部分を取り除く必要のあるシナリオにおいて、プールされた科学データセットの分析を可能にする。
論文 参考訳(メタデータ) (2022-03-29T04:54:06Z) - Generalizable Information Theoretic Causal Representation [37.54158138447033]
本稿では,観測データから因果表現を学習するために,仮説因果グラフに基づいて相互情報量で学習手順を規則化することを提案する。
この最適化は、因果性に着想を得た学習がサンプルの複雑さを減らし、一般化能力を向上させるという理論的保証を導出する反ファクト的損失を伴う。
論文 参考訳(メタデータ) (2022-02-17T00:38:35Z) - Learning Conditional Invariance through Cycle Consistency [60.85059977904014]
本稿では,データセットの変動の有意義な要因と独立な要因を識別する新しい手法を提案する。
提案手法は,対象プロパティと残りの入力情報に対する2つの別個の潜在部分空間を含む。
我々は,より意味のある因子を同定し,よりスペーサーや解釈可能なモデルに導く合成および分子データについて実証する。
論文 参考訳(メタデータ) (2021-11-25T17:33:12Z) - Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。
ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。
分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
論文 参考訳(メタデータ) (2020-12-19T15:24:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。