論文の概要: Representation Disentaglement via Regularization by Identification
- arxiv url: http://arxiv.org/abs/2303.00128v2
- Date: Thu, 15 Jun 2023 21:31:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-19 17:47:28.198173
- Title: Representation Disentaglement via Regularization by Identification
- Title（参考訳）: 識別による正規化による表現不連続化
- Authors: Juan Castorena
- Abstract要約: 分散因数分解特性に適合するデータの、現代の深層表現学習モデルは、コライダーバイアスの振る舞いに悪影響を及ぼしていると論じる。
本稿では,大規模DLモデルの振る舞いをドメイン知識と整合させるモジュール型正規化エンジンReIを提案する。
- 参考スコア（独自算出の注目度）: 7.81768535871051
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This work focuses on the problem of learning disentangled representations
from observational data. Given observations ${\mathbf{x}^{(i)}}$ for $i=1,...,N
$ drawn from $p(\mathbf{x}|\mathbf{y})$ with generative variables $\mathbf{y}$
admitting the distribution factorization $p(\mathbf{y}) = \prod_{c}
p(\mathbf{y}_c )$, we ask whether learning disentangled representations
matching the space of observations with identification guarantees on the
posterior $p(\mathbf{z}| \mathbf{x}, \hat{\mathbf{y}}_c)$ for each $c$, is
plausible. We argue modern deep representation learning models of data matching
the distributed factorization property are ill-posed with collider bias
behaviour; a source of bias producing entanglement between generating
variables. Under the rubric of causality, we show this issue can be explained
and reconciled under the condition of identifiability; attainable under
supervision or a weak-form of it. For this, we propose regularization by
identification (ReI), a modular regularization engine designed to align the
behavior of large scale DL models with domain knowledge. Empirical evidence
shows that enforcing ReI in a variational framework results in interpretable
disentangled representations equipped with generalization capabilities to
out-of-distribution examples and that aligns nicely with the true expected
effect from domain knowledge between generating variables and measurement
apparatus.
- Abstract（参考訳）: 本研究は,観測データから不整合表現を学習する問題に焦点をあてる。
for $i=1, ...,N $ draw from $p(\mathbf{x}|\mathbf{y})$ with generative variables $\mathbf{y}$ admitting the distribution factorization $p(\mathbf{y}) = \prod_{c} p(\mathbf{y}_c )$ が与えられたとき、各$c$に対して、後続の$p(\mathbf{z}| \mathbf{x}, \hat{\mathbf{y}}_c)$に対して、観測空間に一致する非有界表現を認識保証して学習することは可能かどうかを問う。
分散因子化特性に適合するデータの現代的深層表現学習モデルでは,衝突型バイアス行動が不適切である。
因果関係のルーリックの下では、この問題が識別可能性の条件の下で説明され、調整可能であることを示す。
そこで本研究では,大規模dlモデルの振る舞いをドメイン知識と整合するように設計されたモジュール型正規化エンジンであるregularization by identification (rei)を提案する。
実験的な証拠は、ReIを変分的枠組みで強制すると、一般化能力を備えた解釈不能な表現が分布外例に結びつき、生成変数と測定装置の間のドメイン知識からの真の期待効果とうまく一致していることを示している。
関連論文リスト
- Generalized Criterion for Identifiability of Additive Noise Models Using Majorization [7.448620208767376]
本稿では,有向非巡回グラフ(DAG)モデルに対する新しい識別可能性基準を提案する。
この基準が既存の識別可能性基準を拡張し、一般化することを実証する。
本稿では,変数のトポロジ的順序付けを学習するための新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-04-08T02:18:57Z) - Identifiable Latent Neural Causal Models [82.14087963690561]
因果表現学習は、低レベルの観測データから潜伏した高レベルの因果表現を明らかにすることを目指している。
因果表現の識別可能性に寄与する分布シフトのタイプを決定する。
本稿では,本研究の成果を実用的なアルゴリズムに翻訳し,信頼性の高い潜在因果表現の取得を可能にする。
論文 参考訳（メタデータ） (2024-03-23T04:13:55Z) - Disentanglement via Latent Quantization [60.37109712033694]
本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。
本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
論文 参考訳（メタデータ） (2023-05-28T06:30:29Z) - Causal Discovery in Linear Latent Variable Models Subject to Measurement
Error [29.78435955758185]
線形系における測定誤差の存在下での因果発見に着目した。
我々は、この問題と因果発見の驚くべき関連性を、観察されていない親性原因の存在で示している。
論文 参考訳（メタデータ） (2022-11-08T03:43:14Z) - De-Biasing Generative Models using Counterfactual Methods [0.0]
我々はCausal Counterfactual Generative Model (CCGM) と呼ばれる新しいデコーダベースのフレームワークを提案する。
提案手法は,因果関係の忠実さを強調するために,因果関係の潜在空間VAEモデルと特定の修正を加えたものである。
因果的学習と符号化/復号化が因果的介入の質をいかに高めるかを検討する。
論文 参考訳（メタデータ） (2022-07-04T16:53:20Z) - Amortized Inference for Causal Structure Learning [72.84105256353801]
因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。
本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。
我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
論文 参考訳（メタデータ） (2022-05-25T17:37:08Z) - Disentangling Observed Causal Effects from Latent Confounders using
Method of Moments [67.27068846108047]
我々は、軽度の仮定の下で、識別性と学習可能性に関する保証を提供する。
我々は,線形制約付き結合テンソル分解に基づく効率的なアルゴリズムを開発し,スケーラブルで保証可能な解を得る。
論文 参考訳（メタデータ） (2021-01-17T07:48:45Z) - Structural Causal Models Are (Solvable by) Credal Networks [70.45873402967297]
因果推論は、干潟網の更新のための標準的なアルゴリズムによって得ることができる。
この貢献は, 干潟ネットワークによる構造因果モデルを表現するための体系的なアプローチと見なされるべきである。
実験により, 実規模問題における因果推論には, クレーダルネットワークの近似アルゴリズムがすぐに利用できることがわかった。
論文 参考訳（メタデータ） (2020-08-02T11:19:36Z) - CausalVAE: Structured Causal Disentanglement in Variational Autoencoder [52.139696854386976]
変分オートエンコーダ(VAE)の枠組みは、観測から独立した因子をアンタングルするために一般的に用いられる。
本稿では, 因果内因性因子を因果内因性因子に変換する因果層を含むVOEベースの新しいフレームワークCausalVAEを提案する。
その結果、CausalVAEが学習した因果表現は意味論的に解釈可能であり、DAG(Directed Acyclic Graph)としての因果関係は精度良く同定された。
論文 参考訳（メタデータ） (2020-04-18T20:09:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。