論文の概要: Disentanglement Analysis with Partial Information Decomposition

• arxiv url: http://arxiv.org/abs/2108.13753v1
• Date: Tue, 31 Aug 2021 11:09:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-01 22:06:57.513851
• Title: Disentanglement Analysis with Partial Information Decomposition
• Title（参考訳）: 部分的情報分解による絡み合い解析
• Authors: Seiya Tokui, Issei Sato
• Abstract要約: 不整合表現は、異なる生成因子を個別にキャプチャする複数のランダム変数にデータをマッピングすることで、プロセスを逆転させることを目的としている。 現在の遠絡測定値は、各生成因子によって条件付けられた各変数の絶対偏差、分散、エントロピーなどの濃度を測定するように設計されている。 本研究では,2つ以上の変数間の情報共有を評価するために部分情報分解フレームワークを使用し,新しいアンタングル化指標を含むフレームワークを構築する。
• 参考スコア（独自算出の注目度）: 31.56299813238937
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Given data generated from multiple factors of variation that cooperatively transform their appearance, disentangled representations aim at reversing the process by mapping data to multiple random variables that individually capture distinct generative factors. As the concept is intuitive but abstract, one needs to quantify it with disentanglement metrics to evaluate and compare the quality of disentangled representations between different models. Current disentanglement metrics are designed to measure the concentration, e.g., absolute deviation, variance, or entropy, of each variable conditioned by each generative factor, optionally offset by the concentration of its marginal distribution, and compare it among different variables. When representations consist of more than two variables, such metrics may fail to detect the interplay between them as they only measure pairwise interactions. In this work, we use the Partial Information Decomposition framework to evaluate information sharing between more than two variables, and build a framework, including a new disentanglement metric, for analyzing how the representations encode the generative factors distinctly, redundantly, and cooperatively. We establish an experimental protocol to assess how each metric evaluates increasingly entangled representations and confirm through artificial and realistic settings that the proposed metric correctly responds to entanglement. Our results are expected to promote information theoretic understanding of disentanglement and lead to further development of metrics as well as learning methods.
• Abstract（参考訳）: それらの外観を協調的に変換する複数の変動因子から生成されるデータが与えられたとき、不連続表現は、個々の生成因子を個別にキャプチャする複数の確率変数にデータをマッピングすることでプロセスを反転することを目的としている。 概念は直感的だが抽象的であるため、異なるモデル間の異方性表現の品質を評価し比較するために、異方性メトリクスで定量化する必要がある。 現在の異方性メトリクスは、各生成因子によって条件づけられた各変数の濃度、例えば絶対偏差、分散、エントロピーを、任意にその限界分布の濃度によって相殺し、異なる変数間で比較するために設計されている。 表現が2つ以上の変数で構成されている場合、これらのメトリクスはペアの相互作用だけを測定するため、それらの間の相互作用を検出することができない。 本研究では,2種類以上の変数間の情報共有を評価するために部分情報分解フレームワークを使用し,その表現が生成要因を明瞭に,冗長に,協調的にどのように符号化するかを解析する,新しい非絡み合い指標を含むフレームワークを構築する。 我々は,各指標がますます絡み合う表現をどのように評価するかを評価するための実験プロトコルを確立し,提案手法が絡み合いに正しく反応する人工的かつ現実的な設定を通して確認する。 本研究の結果は,情報理論的解答の促進と,メトリクスのさらなる発展と学習手法の確立に繋がると考えられる。

関連論文リスト

• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• Enriching Disentanglement: From Logical Definitions to Quantitative Metrics [59.12308034729482]
  複雑なデータにおける説明的要素を遠ざけることは、データ効率の表現学習にとって有望なアプローチである。 論理的定義と量的指標の関連性を確立し, 理論的に根ざした絡み合いの指標を導出する。 本研究では,非交叉表現の異なる側面を分離することにより,提案手法の有効性を実証的に実証する。
  論文  参考訳（メタデータ） (2023-05-19T08:22:23Z)
• The Counterfactual-Shapley Value: Attributing Change in System Metrics [10.804568364995982]
  帰属問題の重要な要素は、単一入力の特定の変更によるシステム計量の(仮説的な)変化を推定することである。 本稿では,時系列予測モデルを用いて反事実を推定し,属性スコア CF-Shapley を構築する手法を提案する。 実世界のアプリケーションとして、広告マッチング密度の指標に観測された変化をもたらすことを目的として、クエリ-アドマッチングシステムを分析する。
  論文  参考訳（メタデータ） (2022-08-17T16:48:20Z)
• On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
  一般化は、見えないデータを分類するモデルの能力をキャプチャする。 不変性はデータの変換におけるモデル予測の一貫性を測定する。 データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
  論文  参考訳（メタデータ） (2022-07-14T17:08:25Z)
• Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
  データから解釈可能な等価性を発見する方法について検討する。 具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。 また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
  論文  参考訳（メタデータ） (2022-04-07T17:59:19Z)
• Learning Disentangled Representations with Latent Variation Predictability [102.4163768995288]
  本稿では,潜在不整合表現の変動予測可能性について述べる。 逆生成プロセス内では、潜時変動と対応する画像対の相互情報を最大化することにより、変動予測可能性を高める。 本研究では,潜在表現の絡み合いを測るために,基礎的構造的生成因子に依存しない評価指標を開発する。
  論文  参考訳（メタデータ） (2020-07-25T08:54:26Z)
• TCMI: a non-parametric mutual-dependence estimator for multivariate continuous distributions [0.0]
  総累積相互情報(TCMI)は相互依存の関連性の尺度である。 TCMIは、特徴集合の比較とランキングを容易にする非パラメトリックで堅牢で決定論的尺度である。
  論文  参考訳（メタデータ） (2020-01-30T08:42:25Z)
• Disentangled Representation Learning with Wasserstein Total Correlation [90.44329632061076]
  本稿では,変分オートエンコーダとワッサースタインオートエンコーダの設定に総相関を導入し,非絡み付き潜在表現を学習する。 批評家は、ワッサーシュタインの総相関項を推定する主な目的と共に、敵対的に訓練される。 提案手法は, 再建能力の犠牲が小さく, 絡み合いに匹敵する性能を有することを示す。
  論文  参考訳（メタデータ） (2019-12-30T05:31:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。