論文の概要、ライセンス

# (参考訳) 階層的ディエンタングルメントのためのベンチマーク、アルゴリズム、メトリクス [全文訳有]

Benchmarks, Algorithms, and Metrics for Hierarchical Disentanglement ( http://arxiv.org/abs/2102.05185v1 )

ライセンス: CC BY 4.0
Andrew Slavin Ross and Finale Doshi-Velez(参考訳) 表現学習では、データの背後にある地殻変動要因を解き放つアルゴリズムや、これがいかに完全に起こるかを定量化するメトリクスの開発に最近関心が寄せられている。 しかしながら、これらのアルゴリズムと測度は、表現と接地構造因子の両方が平坦で連続的で因子化されていると仮定するが、多くの実世界の生成過程は、リッチな階層構造、それらの間の依存を伴う離散変数と連続変数の混合、さらには内在的な次元性さえも含んでいる。 本研究では,このような階層表現を学習するためのベンチマーク,アルゴリズム,メトリクスを開発した。

In representation learning, there has been recent interest in developing algorithms to disentangle the ground-truth generative factors behind data, and metrics to quantify how fully this occurs. However, these algorithms and metrics often assume that both representations and ground-truth factors are flat, continuous, and factorized, whereas many real-world generative processes involve rich hierarchical structure, mixtures of discrete and continuous variables with dependence between them, and even varying intrinsic dimensionality. In this work, we develop benchmarks, algorithms, and metrics for learning such hierarchical representations.
公開日: Tue, 9 Feb 2021 23:34:24 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。

翻訳結果

    Page: /      
英語(論文から抽出)日本語訳スコア
Benchmarks, Algorithms, and Metrics for Hierarchical Disentanglement 階層的ディエンタングルメントのためのベンチマーク、アルゴリズム、メトリクス 0.70
1 2 0 2 b e F 9 1 2 0 2 b e F 9 0.85
] G L . ] G L。 0.79
s c [ 1 v 5 8 1 5 0 sc [ 1 v 5 8 1 5 0 0.68
. 2 0 1 2 : v i X r a . 2 0 1 2 : v i X r a 0.85
Andrew Slavin Ross 1 Finale Doshi-Velez 1 Andrew Slavin Ross 1 Finale Doshi-Velez 1 0.94
Abstract In representation learning, there has been recent interest in developing algorithms to disentangle the ground-truth generative factors behind data, and metrics to quantify how fully this occurs. 概要 表現学習では、データの背後にある地殻変動要因を解き放つアルゴリズムや、これがいかに完全に起こるかを定量化するメトリクスの開発に最近関心が寄せられている。 0.54
However, these algorithms and metrics often assume that both representations and groundtruth factors are flat, continuous, and factorized, whereas many real-world generative processes involve rich hierarchical structure, mixtures of discrete and continuous variables with dependence between them, and even varying intrinsic dimensionality. しかしながら、これらのアルゴリズムとメトリクスは、表現と基底要素はどちらも平坦で連続的で因子化されていると仮定することが多いが、多くの実世界の生成過程は、リッチな階層構造、それらの間の依存を伴う離散変数と連続変数の混合、さらには内在次元の異なる混合を含む。 0.61
In this work, we develop benchmarks, algorithms, and metrics for learning such hierarchical representations. 本研究では,このような階層表現を学習するためのベンチマーク,アルゴリズム,メトリクスを開発した。 0.64
1. Introduction Autoencoders aim to learn structure in data by compressing it to a lower-dimensional representation with minimal loss of information. 1. 導入 情報損失を最小限に抑えた低次元表現に圧縮することで、データの構造を学ぶことを目指すオートエンコーダ。 0.78
Although this has proven useful in many applications (LeCun et al., 2015), the individual dimensions of autoencoder representations are often inscrutable, even when the underlying data is generated by simple processes. これは多くのアプリケーション(LeCun et al., 2015)で有用であることが証明されているが、基本的なデータが単純なプロセスによって生成される場合でも、オートエンコーダ表現の個々の寸法はしばしば不明瞭である。 0.62
Motivated by needs for interpretability (Alvarez-Melis & Jaakkola, 2018; Marx et al., 2019), fairness (Creager et al., 2019), and generalizability (Bengio et al., 2013), as well as a basic intuition that representations should model the data correctly, a subfield has emerged which applies representation learning algorithms to synthetic datasets and checks how well representation dimensions “disentangle” the known ground-truth factors behind the dataset. 解釈可能性 (Alvarez-Melis & Jaakkola, 2018; Marx et al., 2019)、公正性 (Creager et al., 2019)、一般化可能性 (Bengio et al., 2013) と、表現がデータを正しくモデル化すべきという基本的な直感によって動機づけられたサブフィールドが登場し、データセットに表現学習アルゴリズムを適用し、データセットの背後にある既知の基底構造因子がいかにうまく表現されているかをチェックする。 0.71
Perhaps the most common disentanglement approach has been to learn flat, continuous vector representations whose dimensions are statistically independent (and evaluate them using metrics that assume ground-truth factors are independent), reasoning that factorization is a useful proxy (Ridgeway, 2016; Higgins et al., 2017; Chen et al., 2018; Kim & Mnih, 2018). おそらく最も一般的な非絡み合いのアプローチは、次元が統計的に独立な平坦な連続ベクトル表現を学習することであり(そして、基底構造因子を仮定する指標を用いて評価すること)、因子化は有用なプロキシである(Ridgeway, 2016; Higgins et al., 2017; Chen et al., 2018; Kim & Mnih, 2018)。 0.82
However, this problem is not identifiable (Locatello et al., 2018), and it seems unlikely that しかし、この問題は特定できない(Locatello et al., 2018)。
訳抜け防止モード: しかし、この問題は特定できない(Locatello et al , 2018)。 ありそうにないことですが
0.85
1Harvard University, Cambridge, Massachusetts, USA. 1ハーバード大学、ケンブリッジ、マサチューセッツ州、米国。 0.74
Corre- spondence to: Andrew Ross <andrew ross@g.harvard.edu&g t;. コーレ- 回答: Andrew Ross <andrew ross@g.harvard.edu&g t;。 0.66
Preliminary work. Under review. 予備作業。 レビュー中。 0.61
continuous, factorized, flat representations are the optimal choice for modeling many real-world generative processes, which are often highly structured.To address aspects of this problem, some approaches generalize to partially discrete representations (Jeong & Song, 2019), or encourage independence only conditionally, based on hierarchies or causal graphs (Esmaeili et al., 2019; Tr¨auble et al., 2020). 連続的、分解的、平坦な表現は、しばしば高度に構造化された実世界の生成過程をモデル化するための最適な選択である。この問題の側面に対処するために、部分的に離散的な表現に一般化するアプローチ(Jeong & Song, 2019)や、階層や因果グラフに基づいた独立性のみを促進するアプローチ(Esmaeili et al., 2019; Tr sauble et al., 2020)がある。 0.63
Almost all approaches require side-information, either about specific instances or about the global structure of the dataset. ほとんどすべてのアプローチでは、特定のインスタンスやデータセットのグローバル構造に関するサイド情報が必要です。 0.76
Our approach in this paper is ambitious: we introduce (1) a flexible framework for modeling deep hierarchical structure in datasets, (2) novel algorithms for learning both structure and structured autoencoders entirely from data, which we apply to (3) novel benchmark datasets, and evaluate with (4) novel hierarchical disentanglement metrics. 本稿では,(1)データセットの階層構造を柔軟にモデル化するためのフレームワーク,(2)データから構造と構造化されたオートエンコーダの両方を学習するための新しいアルゴリズム,(3)新しいベンチマークデータセットに適用し,(4)新しい階層的非絡み合いメトリクスを用いて評価する手法を提案する。 0.85
Our framework is based on the idea that data may lie on multiple manifolds with different intrinsic dimensionalities, and that certain (hierarchical groups of) dimensions may only become active for a subset of the data.1 Though at first glance this approach seems it should worsen, not improve, identifiability, our assumption of geometric structure also serves as an inductive bias that empirically helps us learn representations that more faithfully (and explicitly) model ground-truth generative processes. Our framework is based on the idea that data may lie on multiple manifolds with different intrinsic dimensionalities, and that certain (hierarchical groups of) dimensions may only become active for a subset of the data.1 Though at first glance this approach seems it should worsen, not improve, identifiability, our assumption of geometric structure also serves as an inductive bias that empirically helps us learn representations that more faithfully (and explicitly) model ground-truth generative processes. 0.92
2. Related Work Though interest in disentanglement is longstanding (Schmidhuber, 1992; Comon, 1994; Bengio, 2013), a relatively recent resurgence has focused on flat factorized representations. 2. 関連作業 絡み合いへの関心は長く続いている(Schmidhuber, 1992; Comon, 1994; Bengio, 2013)が、近年ではフラットな分解表現に焦点を絞っている。 0.81
Ridgeway (2016) provide an influential survey of such representations, arguing for their usefulness. Ridgeway (2016) はそのような表現について影響力のある調査を行い、それらの有用性を主張した。 0.53
Higgins et al. (2017) develop β-VAE, which tries to encourage factorization in variational autoencoders (VAEs, Kingma & Welling (2013)) by increasing the KL divergence penalty. ヒギンズとアル。 (2017) では, 変分オートエンコーダ (VAEs, Kingma & Welling, 2013) の分解促進を目的としたβ-VAEを開発した。
訳抜け防止モード: ヒギンズとアル。 (2017年)β-vaeの開発 変分オートエンコーダ(vaes, kingma & welling (2013))における因子分解を促進する klの発散ペナルティを 増やすことで。
0.61
Chen et al. (2018) and Kim & Mnih (2018) factorize by di- チェンら。 (2018)とKim & Mnih(2018)は、di- 0.56
1As a concrete example, consider the problem of learning representations of medical phenotypes of patients with and without diabetes mellitus, a complex disease with multiple types and subtypes (American Diabetes Association, 2005). 1 具体例として、多型・サブタイプの複雑な疾患である糖尿病患者および非糖尿病患者の医学的表現型表現の学習問題を考える(American Diabetes Association, 2005)。 0.84
Some underlying factors of phenotype variation—as well as the intrinsic complexity of these variations—are likely specific to the disease, its types, or its subtypes (Ahlqvist et al., 2018). 表現型変異の基本的な要因、およびこれらの変異の本質的な複雑さは、疾患、その種類、またはそのサブタイプに特異的である可能性が高い(ahlqvist et al., 2018)。 0.58
A representation that faithfully modeled the true factors of variation would need to be deeply hierarchical, with some dimensions only active for certain subtypes. 変動の真の因子を忠実にモデル化した表現は、ある部分型に対してのみ活性な次元を持つ、深く階層的である必要がある。 0.67
英語(論文から抽出)日本語訳スコア
Benchmarks, Algorithms, and Metrics for Hierarchical Disentanglement 階層的ディエンタングルメントのためのベンチマーク、アルゴリズム、メトリクス 0.70
rectly penalizing the total correlation (TC) between dimensions. 寸法間の全相関(TC)を正にペナルティ化する。 0.69
Mixed discrete-continuous extensions are developed for KL by Dupont (2018) and TC by Jeong & Song (2019). 混合離散連続拡張は dupont (2018) と tc by jeong & song (2019) によって kl 向けに開発された。 0.71
Although these innovations are specific to flat representations, there has been work on certain forms of hierarchy. これらの革新は平坦な表現に特有のものであるが、特定の形式の階層化の研究が行われている。 0.50
Esmaeili et al. Esmaeili et al. 0.85
(2019) encourage different degrees of factorization within and across subgroups, which can be nested. (2019) は, 営巣可能なサブグループ内およびサブグループ間の因子分解を促進させる。 0.67
However, they only apply their method in shallow contexts, and subgroups must be provided rather than learned from data. しかし、その方法は浅い文脈でのみ適用され、サブグループはデータから学ぶのではなく提供されなければならない。 0.62
Choi et al. Choi et al. 0.85
(2020) learn mixed discrete-continuous representations where some continuous dimensions are “public” in scope (and globally independent), while others are “private” to a categorical (and conditionally independent of siblings). (2020年)は、ある連続的な次元が範囲(そして世界的独立)において「公共」である混合離散連続表現を学び、他の次元はカテゴリ(および条件付きで兄弟から独立)に「プライベート」である。 0.69
However, they do not support deep hierarchies, and the structure of categorical, public, and private variables is provided rather than learned. しかし、それらは深い階層をサポートしておらず、カテゴリー変数、パブリック変数、プライベート変数の構造は学習ではなく提供される。 0.65
GINs (Sorrenson et al., 2020) can infer the dimensionality of such categoricalspecific continuous dimensions groups, but still must be given the (shallow) categorical structure. GINs (Sorrenson et al., 2020) はそのような圏特異的連続次元群の次元を推測できるが、それでも(浅い)圏構造を与えなければならない。 0.64
FineGAN (Singh et al., 2019) learns a kind of structure, but enforces a specific shallow hierarchy of background, shape, and pose. FineGAN(Singh et al., 2019)は、ある種の構造を学ぶが、背景、形状、ポーズの特定の浅い階層を強制する。 0.68
Adams et al. (2010) model data with arbitrarily wide and deep trees using Bayesian non-parametric methods. アダムスら。 (2010) ベイズ非パラメトリック法を用いた任意に広大で深い木を用いたモデルデータ。 0.56
However, there is no explicit encoder (representations are inferred via MCMC), and all features are binary. しかしながら、明示的なエンコーダ(表現はMCMC経由で推論される)はなく、すべての機能はバイナリである。 0.71
Our method attempts to provide the best of all these worlds; from data alone, we learn autoencoders whose representations have mixed discrete-continuous structure of arbitrary width and depth. データだけでは、任意の幅と深さの離散連続構造を持つ表現を持つオートエンコーダを学習します。
訳抜け防止モード: 私たちの方法は、これらすべての世界の最善を尽くそうとする ; データだけで 表現するオートエンコーダを学習します 任意の幅と深さの離散的連続構造を持つ。
0.69
Our approach is also complementary to recent shifts in the disentanglement literature, especially from causality researchers. また,このアプローチは,特に因果関係研究者による近年の異形化文学の変遷を補完するものである。 0.56
Parascandolo et al. Parascandolo et al。 0.78
(2018) and Tr¨auble et al. (2018) と Tr sauble et al。 0.78
(2020) argue for learning representations that disentangle causal mechanisms rather than statistically independent factors. (2020) 統計的に独立した要因ではなく因果機構を解く表現を学習する。 0.69
Locatello et al. findllo et al の略。 0.43
(2018) show that disentangling globally independent factors is non-identifiable, and suggest a shift in focus to inductive biases, weak supervision, and datasets with ground-truth interactions. (2018) は、グローバル独立要因の分離は特定できないことを示し、帰納的バイアス、弱い監督、地対真な相互作用を持つデータセットへの焦点のシフトを示唆している。 0.52
The literature on learning representations with side-information is rich (Mathieu et al., 2016; Siddharth et al., 2017), and recent advances in disentanglement with extremely weak supervision are notable: Locatello et al. サイドインフォメーションによる表現の学習に関する文献(Mathieu et al., 2016; Siddharth et al., 2017)は豊富であり、非常に弱い監督による非絡みの最近の進歩は注目に値する: Locatello et al。 0.73
(2020a) learn disentangled representations given instance-pairs that differ only by sparse sets of groundtruth factors, and Klindt et al. (2020a)は、基底真理因子のスパース集合とKlindt et alによってのみ異なるインスタンスペアを与えられた非絡み表現を学習する。 0.56
(2021) use similar principles to disentangle factors that vary sparsely over time. (2021) 時間とともに緩やかに変化する要因を分解するために同様の原理を用いる。 0.62
In this work, we return to the problem of learning disentangled representations from data alone. そこで本研究では,データのみから異種表現を学習する問題に回帰する。 0.79
As our inductive bias to reduce (though not eliminate) non-identifiability, we assume the data contains discrete hierarchical structure that can be inferred geometrically. 帰納的バイアスが非識別性を減少させる(排除しない)ため、データを幾何学的に推測できる離散的な階層構造を含むと仮定する。 0.70
Though this introduces challenging new problems, it also creates opportunities to learn interpretable global summaries of the data. これは新しい問題に挑戦をもたらすが、データの解釈可能なグローバル要約を学ぶ機会も生み出す。 0.79
Other related approaches not directly in this line of re- このリラインにはない他の関連するアプローチ。 0.64
search include relational autoencoders (Wang et al., 2014), which model structure between non-iid flat data, and graph neural networks (Defferrard et al., 2016), which learn flat representations of structured data. 検索には、非iidフラットデータ間の構造をモデル化するリレーショナルオートエンコーダ(wang et al., 2014)と、構造化データのフラット表現を学ぶグラフニューラルネットワーク(defferrard et al., 2016)が含まれる。 0.82
In contrast, we model structure within flat inputs. 対照的に、我々はフラット入力内の構造をモデル化する。 0.61
Also relevant are advances in object representations, such as slot attention (Locatello et al., 2020b). また、スロットの注意(Locatello et al., 2020b)など、オブジェクト表現の進歩も関連しています。 0.64
While this area has generally not focused on hierarchically nested objects, it does learn structure and seamlessly handles sets; we view our method as complementary. この領域は一般に階層的にネストされたオブジェクトに焦点を当てていないが、構造を学習し、セットをシームレスに処理する。 0.67
Finally, our hierarchy detection method is closely related to work in manifold learning. 最後に, 階層検出法は, 多様体学習における作業と密接に関連している。 0.63
We build on work in multipleand robust manifold learning (Mahapatra & Chandola, 2017; Mahler, 2020), contributing new innovations on top of them. 私たちは、複数の堅牢なマニホールド学習(Mahapatra & Chandola, 2017; Mahler, 2020)に取り組み、その上に新しいイノベーションに貢献しています。 0.74
3. Hierarchical Disentanglement Framework In this section, we outline our framework for modeling hierarchical structure in representations. 3. 本稿では,階層構造を表現でモデル化するためのフレームワークについて概説する。 0.82
In our framework, we associate individual data points with paths down a dimension hierarchy (examples in Fig. 私たちのフレームワークでは、個々のデータポイントを次元階層(図の例)のパスに関連付けます。 0.76
1). Dimension hierarchies consist of dimension group nodes (shown as boxes), each of which can have any number of continuous dimensions (shown as ovals) and an optional categorical variable (diamonds) that leads to other groups based on its value. 1). 次元階層は次元群ノード(ボックスとして表される)と任意の連続次元(楕円として表される)と、その値に基づいて他の群につながる任意のカテゴリー変数(ダイアモンド)から構成される。 0.81
For any data point, we “activate” only the dimensions along its corresponding path. 任意のデータポイントに対して、対応するパスに沿った次元のみを“活性化”します。 0.64
Notation-wise, root(Z) denotes the group at the root of a hierarchy, and children(Zj) denotes the child groups of a categorical dimension Zj. 表記に関して、ルート(Z) は階層の根における群を表し、子供(Zj) は圏次元 Zj の子群を表す。 0.72
In the context of a dataset, for a dimension Zj or a dimension group g, on(Zj) or on(g) denotes the subset of the dataset where that Zj or g is active. データセットの文脈では、次元 Zj または次元群 g に対して、on(Zj) または on(g) は、Zj または g が活性であるデータセットの部分集合を表す。 0.84
This framework can be readily extended to support multiple categorical variables per node (e.g. このフレームワークは、ノード毎に複数のカテゴリ変数をサポートするように簡単に拡張できる(例)。 0.60
recursing on both segment halves in the timeseries dataset defined below) or even DAGs, such that instances can be associated with directed flows down multiple paths. 以下に定義した時系列データセットのセグメント半数で再帰する)あるいはDAGであっても、インスタンスは複数のパスの指示されたフローに関連付けられる。
訳抜け防止モード: 下記のタイムリーデータセットで両方のセグメントハーフに再帰する あるいはDAGですら インスタンスは、複数のパスを流れる方向のフローに関連付けることができる。
0.69
For simplicity, however, we narrow our scope to tree structures in this work. しかし、単純さのため、この作業では木構造にスコープを絞ります。 0.71
4. Hierarchical Disentanglement Benchmarks For new frameworks, it is especially important to have synthetic benchmarks for which the true structure is known and ground truth disentanglement scores can be computed. 4. Hierarchical Disentanglement Benchmarks 新しいフレームワークでは、真の構造が知られ、根本的真逆性スコアが計算できる合成ベンチマークを持つことが特に重要である。 0.80
Below we further describe the two benchmarks from Fig. 以下は、figの2つのベンチマークについて説明する。 0.40
1. 4.1. Spaceshapes 1. 4.1. Spaceshapes 0.80
Our first benchmark dataset is Spaceshapes, a binary 64x64 image dataset meant to hierarchically extend dSprites, a shape dataset common in the disentanglement literature (Matthey et al., 2017). 最初のベンチマークデータセットは、dSpritesを階層的に拡張するためのバイナリ64x64イメージデータセットであるSpaceshapesです。
訳抜け防止モード: 最初のベンチマークデータセットは、dSpriteを階層的に拡張するためのバイナリ64x64イメージデータセットであるSpaceshapesです。 変形文献に共通する形状データセット(Matthey et al ., 2017 )。
0.72
Like dSprites, Spaceshapes images have location variables x and y, as well as a categorical shape with three options (in our case, moon, star, and ship). dspritesと同様に、spaceshapesイメージは位置変数xとyを持ち、3つのオプション(私たちの場合、月、星、船)のカテゴリ形状を持っている。 0.79
However, depending on shape, we add other con- しかし、形状によっては、他のcon--- 0.60
英語(論文から抽出)日本語訳スコア
Benchmarks, Algorithms, and Metrics for Hierarchical Disentanglement 階層的ディエンタングルメントのためのベンチマーク、アルゴリズム、メトリクス 0.70
Figure 1. Examples and ground-truth variable hierarchies for Spaceshapes and two different variants of Chopsticks. 図1。 Spaceshapes と Chopsticks の2つの異なる変種に対する例と地上構造可変階層。 0.75
Continuous variables are shown as circles and discrete variables are shown as diamonds. 連続変数は円として、離散変数はダイヤモンドとして示される。 0.70
Discrete variables have subhierarchies of additional variables that are only active for particular discrete values. 離散変数は、特定の離散値に対してのみ有効である追加変数のサブ階層を有する。 0.63
tinuous variables with very different effects: moons have a phase; stars have a sharpness to their shine; and ships have an angle. 非常に異なる効果を持つ連続的な変数:月は段階を持ち、星は輝きにシャープさを持ち、船は角度を持っています。 0.70
Finally, ships can optionally have a jet, which has a length (jetlen), but this is only defined at the deepest level of the hierarchy. 最後に、船はオプションで長さ(ジェット)を持つジェットを持つことができますが、これは階層の最も深いレベルでのみ定義されます。 0.74
The presence of jetlen alters the intrinsic dimensionality of the representation; it can be either 3D or 4D depending on the path. ジェットレンの存在は、表現の内在的な次元を変化させ、経路によっては3Dまたは4Dとなる。
訳抜け防止モード: ジェットレンの存在は表現の内在次元を変化させる 経路によっては3Dまたは4Dでもよい。
0.77
As in dSprites, variables are sampled from continuous or discrete uniforms. dSpritesのように、変数は連続または離散的なユニフォームからサンプリングされる。 0.61
4.2. Chopsticks Our second benchmark, Chopsticks, is actually a family of arbitrarily deep timeseries datasets. 4.2. あずき 第2のベンチマークであるchopsticksは、実際には任意に深い時系列データセットのファミリーです。 0.58
Chopsticks samples are 64D linear segments. チョップスティックのサンプルは64次元線形セグメントである。 0.54
Each segment can have a uniformsampled slope and/or intercept; different Chopsticks variants can have one, the other, both, or either but not both. 異なるチョップスティックのバリエーションは、一方、他方、両方、または両方を持つことができますが、両方ではありません。 0.58
For all variants, segments initially span the whole interval. すべての変種の場合、セグメントは最初に全区間にまたがる。 0.69
However, a coin is then flipped to determine whether to chop the segment, in which case we add a uniform offset to the slope and/or intercept of the right half. しかし、コインをひっくり返してセグメントを切断するかどうかを決定します。その場合、右側の斜面と/またはインターセプトに均一なオフセットを追加します。 0.67
We repeat this process recursively up to a configurable maximum depth, biasing probabilities so that we have equal probability of stopping at each level. このプロセスを、構成可能な最大深さまで再帰的に繰り返し、各レベルで停止する確率が等しいように確率をバイアスします。 0.74
Each chop requires increasing local dimensionality to track additional slopes and intercepts. 各チョップは、追加の斜面とインターセプトを追跡するために、ローカル次元の増加を必要とします。 0.44
Although the underlying process is quite simple, the structure can be made arbitrarily deep, making it a useful benchmark for testing structure learning. 基礎となるプロセスは非常に単純だが、構造を任意に深くすることで、構造学習をテストする上で有用なベンチマークとなる。 0.72
Although these datasets are designed to have clear hierarchical structure, in certain cases, there are multiple dimension hierarchies that could arguably describe the same dataset. これらのデータセットは明確な階層構造を持つように設計されているが、場合によっては同じデータセットを確実に記述できる複数の次元階層が存在する。 0.68
See Fig. 14 for more and §6.1 for how we handle them. 図を参照。 14 以上,処理方法が 6.1 である。 0.63
5. Hierarchical Disentanglement Algorithms We next present a method for learning hierarchical disentangled representations from data alone. 5. 階層離散アルゴリズム 次に、データのみから階層離散表現を学習する方法を紹介します。 0.78
We split the problem into two brunch-themed algorithms, MIMOSA (which infers hierarchies) and COFHAE (which trains autoencoders). この問題をブランチをテーマにした2つのアルゴリズム、MIMOSA(階層を推論する)とCOFHAE(オートエンコーダを訓練する)に分割した。 0.58
5.1. Learning Hierarchies with MIMOSA The goal of our first algorithm, MIMOSA (Multi-manifold IsoMap On Smooth Autoencoder), is to learn a hierarchy ˆH from data, as well as an assignment vector ˆAn of data points to hierarchy leaves. 5.1. mimosaで階層を学習する 最初のアルゴリズムであるmimosa(multi-manifol d isomap on smooth autoencoder)の目標は、データから階層(h)を学習することと、階層葉へのデータポイントの割り当てベクトル(an)を学習することである。
訳抜け防止モード: 5.1. MIMOSAを用いた階層学習 最初のアルゴリズムMIMOSA(Multi- manifold IsoMap On Smooth Autoencoder )の目標 データから階層的 >H を学習すること、およびデータポイントの代入ベクトル >An を学習することである。 階層の葉に
0.77
MIMOSA consists of the following steps (see Appendix for Algorithms 3-7 and complexity): MIMOSA は以下のステップで構成されている(アルゴリズムの Appendix の 3-7 と複雑性)。 0.72
Dimensionality Reduction (Algorithm 1, line 1): We start by performing an initial reduction of X to Z using a flat autoencoder. 次元削減 (Algorithm 1, line 1) フラットオートエンコーダを用いて、X から Z への初期還元を実行することから始める。 0.78
While we could start with Z = X, performing this reduction saves computation as later steps (e.g. Z = X から始めることができるが、この還元は後のステップ(例)で計算を節約する。 0.76
finding neighbors) scale linearly with |Z|. 隣人を見つける) |Z| で線形にスケールする。 0.57
Although this requires choosing |Z|, we find the exact value is not critical as long as it exceeds the (max) intrinsic dimensionality of the data. これは |z| を選択する必要があるが、データの(最大)本質的次元を超える限り、正確な値は重要ではない。 0.78
We also find it important to use differentiable activation functions (e.g. また、微分可能なアクティベーション関数(例えば)を使用することも重要である。 0.61
Softplus rather than ReLU) to keep latent manifolds smooth; see Fig. 可換多様体を滑らかに保つために relu ではなく softplus を用いる。 0.51
6 for more. より多くのための6。 0.63
Manifold Decomposition (Algorithms 3-6): We decompose Z into a set of manifold “components” by computing SVDs locally around each point and merging neighboring points with sufficiently similar subspaces. 多様体分解(Algorithms 3-6): Z を各点の周りの SVD を局所的に計算し、隣接する点を十分に類似した部分空間とマージすることによって、多様体「成分」の集合に分解する。 0.60
We then perform a second merging step over longer lengthscales, combining equal-dimensional components with similar local SVDs along their nearest boundary points and discarding small outliers, which we found was necessary to handle interstitial gaps when two manifolds intersect. 次に, 2 つの多様体が交わる場合の空間間ギャップを扱うためには, 最寄りの境界点に沿って等次元成分と類似の局所svdを組み合わせることで, 第二のマージステップを行う。 0.65
The core of this step is based on a multi-manifold learning method (Mahapatra & Chandola, 2017), but we make efficiency as well as robustness improvements by combining ideas from RANSAC (Fischler & Bolles, 1981) and contagion dynamics (Mahler, 2020). このステップの中心はマルチマニホールド学習法(Mahapatra & Chandola, 2017)に基づいていますが、RANSAC(Fischler & Bolles, 1981)とContagion Dynamics(Mahler, 2020)のアイデアを組み合わせることで、効率と堅牢性の向上を図っています。 0.73
The merging step is a new contribution. マージステップは新しいコントリビューションです。 0.51
It bears emphasis that manifold decomposition, which groups points based on the similarity of local principal components, is distinct from clustering, which groups points based on proximity. 局所主成分の類似性に基づいて点をグループ化する多様体分解は、近接に基づいて点をグループ化するクラスタリングと区別されることを強調している。 0.82
On our benchmarks, even hierarchical iterative clustering methods like OPTICS (Ankerst et al., 私たちのベンチマークでは、OPTICS(Ankerst et al.)のような階層的な反復的クラスタリング手法でさえもです。 0.43
英語(論文から抽出)日本語訳スコア
Benchmarks, Algorithms, and Metrics for Hierarchical Disentanglement 階層的ディエンタングルメントのためのベンチマーク、アルゴリズム、メトリクス 0.70
Algorithm 1 MIMOSA(X) 1: Encode the data X using a smooth autoencoder to reduce the initial dimensionality. アルゴリズム1 MIMOSA(X)1:スムーズなオートエンコーダを用いてデータXをエンコードして初期寸法を小さくする。 0.81
Store as Z. 2: Construct a neighborhood graph on Z using a Ball Tree (Omohundro, 1989). Zとして店。 2: 球木を用いてZ 上の近傍グラフを構成する(Omohundro, 1989)。 0.76
3: Run LocalSVD (Algorithm 3) on each point in Z and its neighbors to identify local manifold directions. 3: Z の各点とその近傍で局所SVD (Algorithm 3) を実行して局所多様体方向を特定する。 0.78
4: Run BuildComponent (Algorithm 5) to successively merge neighboring points with similar local manifold directions. 4: BuildComponent (Algorithm 5) を実行して、隣接するポイントと同様のローカルマニホールド方向を順次マージします。 0.72
5: Run MergeComponents (Algorithm 6) to combine similar components over longer distances and discard outliers. 5: MergeComponents (Algorithm 6)を実行して、同様のコンポーネントを長い距離で組み合わせ、アウトリーチを破棄します。
訳抜け防止モード: 5 : run mergecomponents (アルゴリズム6) 長い距離にわたって類似成分を結合し、外れ値を捨てる。
0.81
6: Run ConstructHierarchy (Algorithm 7) to create a dimension hierarchy based on which components enclose others. 6: ConstructHierarchy (Algorithm 7)を実行して、どのコンポーネントが他のコンポーネントを囲むかに基づいて次元階層を作成する。
訳抜け防止モード: 6 : Run ConstructHierarchy (アルゴリズム7) どのコンポーネントが他のコンポーネントを囲むかに基づいて 次元階層を作ります
0.84
7: return the hierarchy and component assignments. 7: 階層とコンポーネントの割り当てを返します。 0.89
1999) will not suffice, as nearby points may lie on different manifolds. 1999年) は、近傍の点が異なる多様体上にあるため、十分ではない。 0.55
Hierarchy Identification (Algorithm 7): We construct a tree by drawing edges from low-dimensional components to the higher-dimensional components that best “enclose” them, which we define using a ratio of inter-component to intra-component nearest neighbor distances; we believe this is novel. 階層的同定(Algorithm 7): 低次元の要素から最もよく「閉じる」高次元のコンポーネントにエッジを描画して木を構築し、コンポーネント間とコンポーネント内近傍の距離の比率で定義します。 0.67
We use this tree and the component dimensionalities to construct a dimension hierarchy and a set of assignments from points to paths, which we output. この木と成分次元を使って次元階層と、出力する点から経路への割り当ての集合を構築します。
訳抜け防止モード: この木と構成要素の次元を使い 次元階層と、私たちが出力する点から経路への割り当ての集合を構成する。
0.78
Hyperparameters: Each of these steps has several hyperparameters, and we provide a full listing and sensitivity study in §A.3. ハイパーパラメータ(Hyperparameters): それぞれのステップは複数のハイパーパラメータを持ち、完全なリストと感度の研究をA.3で提供する。 0.67
The one we found most critical was the minimum SVD similarity to merge neighboring points. 最も重要だったのは、隣接する点をマージする最小のSVD類似性でした。 0.65
5.2. Training Autoencoders with COFHAE 5.2. COFHAEによるオートエンコーダのトレーニング 0.65
a(cid:48), z = HAEθ.encode(x; τ ) # Algorithm 8 x(cid:48) = HAEθ.decode(concat(a(cid :48), z)) # normal NN z(cid:48) = copy(z) for i = 1..|z0| do shuffle z(cid:48) a(cid:48), z = HAEθ.encode(x; τ ) # Algorithm 8 x(cid:48) = HAEθ.decode(concat(a(cid :48), z)) # normal NN z(cid:48) = copy(z) for i = 1..|z0| do shuffle z(cid:48) 0.90
Algorithm 2 COFHAE(X) 1: hierarchy, assignments = MIMOSA(X) # Algorithm 1 2: HAEθ = init hierarchical autoencoder(hierarch y) 3: Dψ = init discriminator() 4: for x, a ∼ minibatch(X, assignments) do 5: 6: 7: 8: 9: 10: 11: 12: 13: 14: 15: end for 16: return HAEθ アルゴリズム 2 COFHAE(X) 1: hierarchy, assignments = MIMOSA(X) # Algorithm 1 2: HAEθ = inithierarchical autoencoder(hierarch y) 3: D' = init discriminator() 4: for x, a > minibatch(X, assignments) do 5: 6: 7: 8: 9: 10: 10: 11: 12: 13: 14: 15: end for 16: return HAEθ 0.87
θ = descent step(θ,Lθ) ψ = descent step(ψ,Lψ) θ = 降下ステップ(θ,lθ) ψ = 降下ステップ(ψ,lψ) 0.81
:,i over minibatch indices where on(z:,i) n, an)−λ2 log Dψ(zn) 1−Dψ(zn) :,i over minibatch indices where on(z:,i) n, an)−λ2 log Ds(zn) 1−Ds(zn)) 0.97
n, xn)+λ1La(a(cid:48) n, xn)+λ1La(a(cid:48) 0.81
end for Lθ=(cid:80) Lψ=(cid:80) 終止符 Lθ=(cid:80) L*=(cid:80) 0.62
n Lx(x(cid:48) n − log Dψ(z(cid:48) n Lx(x(cid:48) n − log (z(cid:48)) 0.91
n)− log(1 − Dψ(zn)) n)− log(1 − D*(zn)) 0.89
Our first stage, MIMOSA, gives us the hierarchy and assignments of data down it. 最初のステージであるMIMOSAは、データの階層構造と割り当てを提供します。 0.75
In the second stage, COFHAE (COnditionally Factorized Hierarchical AutoEncoder, Algorithms 2 and 8), we learn an autoencoder that respects this hierarchy via (differentiable) masking operations that impose structure on flat representations. 第2段階では、フラット表現に構造を課す(微分可能な)マスキング操作を通じて、この階層を尊重するオートエンコーダ(COFHAE, Conditionally Factorized Hierarchical AutoEncoder, Algorithms 2, 8)を学ぶ。 0.88
Hierarchical Encoding: Instances x pass through a neural network encoder to an initial vector zpre, whose dimensions correspond to all continuous variables in the hierarchy as well as the one-hot encoded categorical variables. 階層エンコーディング: インスタンスxはニューラルネットワークエンコーダを介して初期ベクトルzpreに渡され、その寸法は階層内のすべての連続変数と1ホットエンコードされたカテゴリ変数に対応する。 0.79
Categorical dimensions (denoted a(cid:48)) pass through a softmax with temperature τ to softly mask zpre based on the hierarchy. カテゴリー次元 (denoted a(cid:48)) は温度τのソフトマックスを通過し、階層に基づいてzpreをソフトにマスキングする。
訳抜け防止モード: カテゴリー次元(a(cid:48 ) )は温度τのソフトマックスを通過する 階層に基づいてzpreをソフトにマスクします
0.78
Supervising Assignments: Hierarchical encoding outputs estimated assignments a(cid:48). Supervising Assignments: Hierarchical encoding outputs estimated assignments a(cid:48)。 0.88
We add a penalty La(a(cid:48), a), weighted by λ1, to make these close to MIMOSA values a. λ1 で重み付けされたペナルティ La(a(cid:48) を追加し、これらを MIMOSA 値に近づけます。 0.73
tribution of the encoded z) and ¯q(z) ≡ (cid:81)|z| 符号化されたz) と (cid:81)|z| のトリビューション 0.81
Conditional Factorization: Kim & Mnih (2018) penalize the total correlation (TC) between dimensions of flat continuous representations z with two tricks. 条件因子化: Kim & Mnih (2018) は平面連続表現 z の次元間の全相関(TC)を2つのトリックで罰する。 0.77
First, noting that TC is the KL divergence between q(z) (the joint disj=1 q(zj) (the product of its marginals), they approximate samples from ¯q(z) by randomly permuting the values of each zi across batches (Arcones & Gine, 1992). まず、TC が q(z) と q(z) の間の KL の分岐(その限界の積)であることに注意し、各 zi の値をバッチ間でランダムに置換することによって q(z) のサンプルを近似する(Arcones & Gine, 1992)。 0.75
Second, they approximate the KL divergence between the two distributions using the density ratio trick (Sugiyama et al., 2012) on an auxiliary discriminator Dψ(z), where KL(q(z)||¯q(z)) ≈ log Dψ(z) 1−Dψ(z) if Dψ(z) outputs accurate probabilities of z having been sampled from ¯q. 第二に、2つの分布間のkl発散を、補助判別器dψ(z) 上の密度比トリック(sugiyama et al., 2012) を用いて近似し、ここで kl(q(z)||| sq(z) ) log dψ(z) 1−dψ(z) が dψ(z) からサンプリングされた z の正確な確率を出力した場合、kl(q(z)||||| sq(z)) である。
訳抜け防止モード: 第2に, 密度比トリック(杉山ら)を用いて, 2つの分布間のkl発散を近似した。 2012 ) 補助判別器 dψ(z ) 上では、kl(q(z)||| sq(z ) ) s log dψ(z ) 1−dψ(z ) if dψ(z ) が sq からサンプリングされた z の正確な確率を出力する。
0.70
We adopt a similar approach, except instead of permuting each zi across the full batch B, we only permute it where it is active, i.e. 同様のアプローチを採用しているが、バッチ B 全体にわたって各 zi を置換する代わりに、アクティブである場所のみをパーミュートする。 0.68
B ∩ on(zi) (defined using the hardened version of the mask). B / on(zi) (マスクの硬化バージョンを使用して定義される)。 0.68
This approximates a hierarchical version of ¯q(z) where each dimension distribution is a mixture of 0 and the product of its active marginals. これは、各次元分布が 0 の混合であり、その活性辺の積である sq(z) の階層的バージョンを近似する。 0.74
Dψ(z) then lets us estimate the KL between this distribution and q(z), which we penalize and weight with λ2. dψ(z) はこの分布と q(z) の間の kl を推定し、それが λ2 でペナリゼーションし重みを与える。 0.73
This approach presumes ground-truth continuous variables should be conditionally independent given categorical values, which is a major assumption. このアプローチは、基底真連続変数は条件付き独立でなければならないと仮定しており、これは大きな仮定である。 0.57
However, it is less strict than the assumption taken by many disentanglement methods, i.e. しかし、多くの非絡み合いの方法、すなわち、仮定よりも厳密ではない。 0.51
that continuous variables are independent marginally, and it may remain useful as an inductive bias. 連続変数は無関係に独立しており 誘導バイアスとして有用かもしれません 0.78
6. Hierarchical Disentanglement Metrics In this section, we develop metrics for quantifying how well learned representations and hierarchies match ground-truth. 6. 本節では,学習された表現と階層がいかに接頭辞と一致しているかを定量化するためのメトリクスを開発する。 0.69
英語(論文から抽出)日本語訳スコア
Benchmarks, Algorithms, and Metrics for Hierarchical Disentanglement 階層的ディエンタングルメントのためのベンチマーク、アルゴリズム、メトリクス 0.70
6.1. Desiderata and Invariances 6.1. Desiderataと不変性 0.74
Our goal in designing metrics is to measure whether we have learned the “right representation,” both in terms of global structure and specific variable correspondences. メトリクスを設計する私たちの目標は、グローバル構造と特定の変数対応の両方で、“正しい表現”を学んだかどうかを測定することです。 0.74
In an ideal world, we would measure whether a learned representation Z is identically equal to a ground-truth V . 理想の世界では、学習された表現 Z が接地真理 V と同一であるかどうかを測る。 0.75
However, most existing disentanglement metrics are invariant to permutations, so that dimensions Vi can be reordered to match different Zj, as well as univariate transformations, so that the values of Zj do not need to be identical to Vi. しかし、既存の不等角性メトリクスの多くは置換に不変であり、次元 vi は異なる zj に一致するように再順序付けされ、また、不等角変換により zj の値は vi と同一である必要はない。 0.73
In the case of methods like the SAP score (Kumar et al., 2017), these univariate transformations must be linear, but as the uniformity of scaling can be arbitrary, we permit general nonlinear transformations, as long as they are 1:1, or invertible. SAP スコア (Kumar et al., 2017) のような手法の場合、これらの単変量変換は線型でなければならないが、スケーリングの均一性は任意であるので、1:1 あるいは可逆である限り、一般的な非線形変換を許す。 0.68
Also, in the hierarchical case, there are certain ambiguities about the right vertical placement of continuous variables. また、階層的な場合では、連続変数の正しい垂直配置に関する曖昧さが存在する。 0.80
For example, on Spaceshapes, the phase, shine, and angle variables could all be “merged up” to a single top-level variable whose effect changes based on shape. 例えば、Spaceshapesでは、位相、輝き、角度の変数はすべて、形状によって影響が変化する単一のトップレベル変数に“マージ”することができる。 0.77
Alternatively, x and y position could be “pushed down” and duplicated for each shape despite their analogous effects (see Fig. あるいは、x と y の位置を “push down” して、その類似した効果にもかかわらず各形状を複製することもできる(図参照)。 0.68
14 for an illustration). Such “merge up” and “push down” transformations change the vector representation, but leave local dimensionality and the group structure of the hierarchy unchanged. イラストは14)。 このような「マージアップ」と「プッシュダウン」変換はベクトル表現を変えますが、局所的な次元と階層の群構造は変わりません。 0.67
We defer the problem of deciding the most natural vertical placement of continuous variables to future work, and make our main metrics invariant to them. 連続変数の最も自然な垂直配置を決定する問題を将来の作業に延期し、主なメトリクスをそれらに不変にします。 0.72
6.2. MIMOSA Metrics: H-error, Purity, Coverage The first metric we use to evaluate MIMOSA is the Herror, which measures whether learned hierarchy ˆH has the same essential structure as the ground-truth hierarchy H. To compute the H-error, we iterate over all possible paths p and p(cid:48) down both H and ˆH, and attempt to pair them based on whether the minimum downstream dimensionality of p and p(cid:48) matches at each respective node. 6.2. MIMOSA メトリクス: H-error, Purity, Coverage MIMOSA を評価するのに最初に使用するメトリクスは Herror であり、学習した階層が基底真階層 H と同じ重要な構造を持つかどうかを測定します。H-error を計算するために、H と p(cid:48) の両方の可能なパス p と p(cid:48) を繰り返し、それぞれのノードで p と p(cid:48) の最小下流次元が一致するかどうかに基づいてペアリングを試みます。 0.74
The number of unpaired paths in either hierarchy is taken to be the H-error. どちらの階層における不対なパスの数は、Hエラーとみなされます。 0.59
This metric can only be 0 if both hierarchies have the same dimensionality structure, but is invariant to the “merge up” and “push down” operations described in §6.1. このメトリックは、両方の階層が同じ次元構造を持つ場合のみ 0 となるが、図6.1 で記述された「マージアップ」および「プッシュダウン」操作に不変である。 0.75
The second MIMOSA metric is purity, which measures whether the assignments output by MIMOSA match groundtruth. 第2のMIMOSAメトリックは純度であり、MIMOSAの出力がグラウンドトゥルスと一致するかどうかを測定します。 0.65
To compute purity, we iterate through points assigned to each path ˆp in ˆH, find the path p in H to which most of them belong, and then compute the fraction of points in ˆp that belong to the majority p. Then we average these purity scores across ˆH, weighting by the number of points in ˆp. 純度を計算するために、各パス 〜p に割り当てられた点を連続的に計算し、そのほとんどが属する h のパス p を見つけ、多数派 p に属する p の点の分数を計算し、これらの純度スコアを 〜h に平均し、p の点数に重ね合わせる。 0.71
This metric only falls below 1 when we group together points with different ground-truth assignments. この計量は、異なる基底的割り当てを持つ点をまとめるときにのみ 1 以下となる。 0.64
The final metric we use to evaluate MIMOSA is coverage. MIMOSAを評価するために使う最後の指標はカバレッジです。 0.67
Since MIMOSA discards small outlier components, it is possible that the final set of assignments will not cover the MIMOSAは小さな外れ値コンポーネントを破棄するので、最終的な割り当てセットがカバーされない可能性がある。 0.73
full training set. If almost all points are discarded this way, the other metrics may not be meaningful. 完全な訓練セット。 ほとんどすべてのポイントがこのように破棄された場合、他のメトリクスは意味がありません。 0.66
As such, we measure coverage as the fraction of the training set which is not discarded. したがって、廃棄されないトレーニングセットのごく一部としてカバレッジを測定します。 0.66
We note that hyperparameters can be tuned to ensure high coverage without knowing groundtruth assignments. ハイパーパラメータは、基礎的な割り当てを知らずに高いカバレッジを確保するように調整できる。 0.55
6.3. COFHAE Metrics: R4 and R4 6.3. COFHAEメトリクス:R4とR4 0.78
c Scores Per our desiderata, we seek to check whether every groundtruth variable Vi can be mapped invertibly to some learned dimension Zj. c スコア デシダラタによれば、すべての基底的変数 Vi が、ある学習次元 Zj に非可逆的に写像できるかどうかを確認する。 0.59
As a preliminary definition, we say that a learned Zj corresponds to a ground-truth Vi over some set S ⊆ R if a bijection between them exists; that is, 予備定義として、学習された zj は、それらの間の単射が存在するとき、ある集合 s 上の基底 vi に対応する。 0.69
∃ f (·) : S → R s.t. ^ f (·) : S → R s.t。 0.90
f (Vi) = Zj and f−1(Zj) = Vi f (Vi) = Zj および f−1(Zj) = Vi 0.97
(1) We say that Z disentangles V if all Vi have a corresponding Zj. (1) すべての Vi が対応する Zj を持つならば、Z は V をアンタングルする。 0.79
To measure the extent to which bijections exist, we can simply try to learn them (over random splits of many paired samples of Vi and Zj). 単射が存在する範囲を測定するために、単にそれらを学ぶ(viとzjの多くの対のサンプルのランダムな分割を通して)。 0.69
Concretely, for each pair of learned and true dimensions, we train univariate models to map in both directions, compute their coefficients of determination (R2), and take their geometric mean: 具体的には、学習された次元と真の次元のペアごとに、一変数モデルを訓練して両方の方向にマップし、決定係数(R2)を計算し、幾何学平均を取ります。 0.62
f ≡ min f∈F R2(X→Y ) ≡ Etest f ~ min f∈F R2(X→Y ) ^ Etest 0.75
(cid:21) R2(X↔Y ) ≡(cid:112)(cid:98)R2( X→Y )(cid:99)+(cid:98)R2(Y →X)(cid:99)+, (cid:21) R2(X:112)(cid:98)R2( X→Y)(cid:99)+(cid:98)R2(Y →X)(cid:99)+ 0.85
(cid:2)(f (X) − Y )2(cid:3) (cid:80)(f (X) − Y )2 (cid:80)(E[Y ] − Y )2 (cid:2)(f (X) − Y )2(cid:3) (cid:80)(f (X) − Y )2 (cid:80)(E[Y ] − Y )2 0.98
(2) Etrain (cid:20) (2) 電車 (cid:20) 0.71
1 − where we average over train/test splits (we use 5), assume F is sufficiently flexible to contain the optimal bijection (we use gradient-boosted decision trees), and assume our dataset is large enough to reliably identify f ∈ F. In the limit, R2(X↔Y ) can only be 1 if a bijection exists, as any region of non-zero mass in the joint distribution of X and Y where this is false would imply E[(f (X) − Y )2] > 0 or E[(f (Y ) − X)2] > 0. 1 − この場合、F は最適な単射を含むのに十分な柔軟性を持つと仮定し(勾配ボスト決定木を用いる)、我々のデータセットが f ∈ F を確実に特定できるほど大きいと仮定する。その極限において、R2(X)Y ) は、全単射が存在するとき、X と Y の合同分布における非零質量の任意の領域として、このことが偽であるなら E[(f (X) − Y )2] > 0 または E[(f (Y ) − X)2] > 0 となる。 0.84
In the special case that Y is discrete rather than continuous, we use classifiers for f and accuracy instead of R2, but the same argument holds. Y が連続ではなく離散的である特別な場合、R2 の代わりに f と精度の分類子を使うが、同じ引数が成り立つ。 0.80
To measure whether a set of variables Z disentangles another set of variables V , we check if, for each Vi, there is at least one Zj for which R2(Vi ↔ Zj) = 1: ある変数の集合 Z が別の変数の集合 V をアンタングルするかどうかを測定するために、各 Vi に対して、少なくとも 1 つの Zj が存在して R2(Vi > Zj) = 1 となるかどうかを確認する。 0.72
(cid:88) i (cid:88) 私は 0.66
R4(V, Z) ≡ 1 |V | R4(V, Z) = 1 |V | 0.97
R2(Vi ↔ Zj), R2(Vi、Zj)。 0.81
max j (3) マックス j (3) 0.80
We call this the “right-representation ” R2, or R4 score. これを“右表現”R2(R4スコア)と呼びます。 0.66
Note that this metric is related to the existing SAP score (Kumar et al., 2017), except we allow for nonlinearity, require high R2 in both directions, and take the maximum over each score column rather than the difference between the top two entries (which avoids assuming ground-truth is factorized). この計量は既存のSAPスコア(Kumar et al., 2017)と関係があるが、非線形性を認め、両方の方向で高いR2を必要とし、上位2項目の差よりも各スコア列の最大値を取る(基底軌道が分解されるのを避ける)。 0.75
英語(論文から抽出)日本語訳スコア
Benchmarks, Algorithms, and Metrics for Hierarchical Disentanglement 階層的ディエンタングルメントのためのベンチマーク、アルゴリズム、メトリクス 0.70
Figure 2. MIMOSA results for the depth-2 either version of Chopsticks, colored by ground-truth assignments. 図2。 MIMOSAは深度2のChopsticksのいずれのバージョンで、地上の休日割り当てによって色付けされる。 0.63
MIMOSA learns an initial 4D softplus AE representation (left), decomposes it into lower-dimensional components (middle), and infers a hierarchy (right). MIMOSAは初期の4DソフトプラスAE表現(左)を学習し、それを低次元成分(中間)に分解し、階層構造(右)を推論する。 0.70
In this case, correspondence to ground-truth is very close (99.8% component purity, covering 93.7% of the training set, with the correct hierarchical relationships). この場合、基底への対応は非常に近い(99.8%の純度、93.7%のトレーニングセットをカバーし、正しい階層関係を持つ)。 0.74
Similar examples are shown for other datasets in Figs. figsの他のデータセットにも同様の例が示されている。 0.59
15-20 of the Appendix. Although R4 is useful for measuring correspondence between sets of variables that are both always active, it does not immediately apply to hierarchical representations unless inactive variables are represented somehow, e.g. 付録の15-20。 R4 は常に有効である変数の集合間の対応性を測定するのに有用であるが、不活性変数が何らかの形で表現されない限り、直ちに階層表現に適用することはできない。 0.64
as 0 (an arbitrary implementation decision that affects R2 by changing E[Y ]). as 0 (E[Y ]を変えることによってR2に影響を与える任意の実装決定)。 0.71
It also lacks invariance to merge-up and push-down operations. また、マージアップとプッシュダウン操作には相違がない。 0.46
Instead, we seek conditional correspondence between Vi and a set of dimensions in Z, defined as 代わりに、Vi と Z の次元の集合の間の条件付き対応を求めます。 0.71
for all Vi ∈ on(Vi)∃Zi = {Zj, Zk, . すべての Vi ∈ on(Vi) に対して、Zi = {Zj, Zk, 。 0.83
. .} s.t. (a) Vi corresponds to Zj over on(Vi) ∩ on(Zj), (b) on(Zj) ∩ on(Zk) = ∅ for all j (cid:54)= k, and . .} s.t. (a) vi は on(vi) - on(zj), (b) - on(zj) - on(zk) - on(zk)- on - すべての j (cid:54) = k の zj に対応する。 0.80
(4) (c)(cid:83) (4) (c)(cid:83) 0.88
z∈Zi on(z) = on(Vi), z∈Zi on(z) = on(Vi) 0.66
or rather that we can find some tiling of on(Vi) into regions where it corresponds 1:1 with different Zj which are never active simultaneously. あるいは、on(Vi) を 1:1 と異なる Zj に対応する領域にタイル化して、同時にアクティブになることはありません。 0.76
This allows for one Zj to correspond to non-overlapping elements of V (e.g. これにより、ある Zj が V の非オーバーラップ要素に対応することができる(例えば)。 0.66
merging up), as well as for one Vi to be modeled by non-overlapping elements of Z (e.g. マージアップ) だけでなく、1つの Vi が Z の非オーバーラップ要素(例えば)によってモデル化される。
訳抜け防止モード: マージアップ ) と、1つの Vi が Z の非重なり要素(例えば)によってモデル化される。
0.82
pushing down). We can then formulate a conditional R4 fies how closely conditional correspondence holds: 押し下げる)。 すると条件付き R4 がいかに近い条件付き対応が成立するかを定式化できる。 0.50
c score which quanti- (cid:18) (cid:88) c のスコアです。 (cid:18)(cid:88) 0.66
max j∈g (cid:16) マックスj∈g (cid:16) 0.69
R2(cid:0)Vi↔Zj R2(cid:0)VIPZj 0.74
c(Vi, g(cid:48)) R2 c(Vi, g(cid:48)) R2 0.92
(cid:12)(cid:12)on(V i) ∩ on(g)(cid:1), (cid:17)(cid:19) (cid:12)(cid:12)on(V i)オン(g)(cid:1)、(cid:17)(cid:19) 0.79
|on(Vi) ∩ on(g(cid:48))| |on(Vi) ^ on(g(cid:48))| 0.79
|on(Vi)| c(Vi, g) ≡ max R2 |on(Vi)| c(Vi, g) = max R2 0.94
g(cid:48)∈children(Zj ) g(cid:48)∈children(Zj ) 0.88
for a dimension group g; the overall disentanglement is: 次元群 g に対して 全体的非絡み合いは 0.60
|V |(cid:88) |V |(cid:88) 0.78
i=1 c(V ↔Z) ≡ 1 R4 |V | i=1 1 R4 | V の c(V ) である。 0.68
R2 c(Vi, root(Z)). R2 c(vi, root(z)) である。 0.79
(5) c reduces to R4. (5) c は R4 に減少する。 0.78
In the special case that V and Z are flat, R4 We note that even for flat representations, the R4 score may be a useful measure of disentanglement when ground-truth variables are not factorized. V と Z が平坦である特別な場合、R4 は平坦な表現であっても、接地構造変数が分解されないとき、R4 のスコアは非絡み合いの有用な尺度であるかもしれないことに注意する。 0.63
7. Experimental Setup Benchmarks: We ran experiments on nine benchmark datasets: Spaceshapes, and eight variants of Chopsticks (varying slope, intercept, both, and either at recursion depths of 2 and 3). 7. 実験的なセットアップベンチマーク:spaceshapesと8種類のチョップスティック(varying slope, intercept, both, and either at recursion depths 2 and 3)の9つのベンチマークデータセットで実験を行った。 0.82
See §4 for more details, and Fig. 詳細は「4」および「図」をご覧ください。 0.69
8 for preliminary experiments on noisy data. 雑音データの予備実験のための8。 0.74
Algorithms: In addition to COFHAE with MIMOSA, we trained the following baselines: autoencoders (AE), variational autoencoders (Kingma & Welling, 2013) (VAE), the β-total correlation autoencoder (Chen et al., 2018) (TCVAE), and FactorVAE (Kim & Mnih, 2018). アルゴリズム:COFHAEとMIMOSAに加えて、私たちは次のベースラインを訓練しました:オートエンコーダ(AE)、変動オートエンコーダ(Kingma & Welling、2013)、VAE)、β-total相関オートエンコーダ(Chen et al.、2018)、およびFactorVAE(Kim & Mnih、2018)。 0.72
We also ran COFHAE ablations using the ground-truth hierarchy and assignments, testing all possible combinations of loss terms and comparing conditional vs. marginal TC penalties; results are in Fig. また,接地階層と割り当てを用いてcofhaeアブレーションを行い,損失項のあらゆる組み合わせをテストし,条件付きtcペナルティと限界tcペナルティを比較した。 0.73
4. See §A.1 for training and model details. 4. 訓練とモデルの詳細は、a.1を参照。 0.69
Metrics: To evaluate hierarchies, we computed purity, coverage, and H-error (§6.2). メトリクス: 階層を評価するために、純度、カバレッジ、H-error(6.2)を計算しました。 0.54
Results are in Table 1. To measure disentanglement, we primarily use R4 c (§6.3); results for all datasets and models are in Fig. 結果は表1にある。 絡み合いを測定するために、主にr4c(6.3)を使用し、すべてのデータセットとモデルの結果はfigにあります。 0.69
3. We also compute the following baseline metrics: the SAP score (Kumar et al., 2017) (SAP), the mutual information gap (Chen et al., 2018) (MIG, estimated using 2D histograms), the FactorVAE score (Kim & Mnih, 2018) (FVAE), and the DCI disentanglement score (Eastwood & Williams, 2018) (DCI). 3. sap score (kumar et al., 2017) (sap), the mutual information gap (chen et al., 2018) (mig, estimated using 2d histograms), factorvae score (kim & mnih, 2018) (fvae), dci disentanglement score (eastwood & williams, 2018) (dci) といった指標も計算した。 0.72
Most implementations were adapted from disentanglement lib (Locatello et al., 2018). ほとんどの実装はdisentanglement lib (Locatello et al., 2018)から適応された。 0.77
We also compute our marginal R4 score. 限界R4スコアも計算します。 0.55
Results across metrics are shown for a subset of datasets and models in Fig. メトリクス全体の結果は、図のデータセットとモデルのサブセットで示されます。 0.74
5. , Hyperparameters: COFHAE is only given instances X, which complicates cross-validation. 5. , ハイパーパラメータ: COFHAE は、クロスバリデーションを複雑化するインスタンス X のみを付与します。 0.77
However, we can still tune parameters to ensure assignments a(cid:48) match MIMOSA outputs a and reconstruction loss for x is low (which can fail to happen if the adversarial term dominates). しかし、ミモサ出力にマッチする代入 a(cid:48) と、x に対する再構成損失が低くなることを保証するためにパラメータを調整できる(逆項が支配する場合には失敗する)。 0.73
Over a grid of τ in { 1 3 , 1}, λ1 in {10, 100, 1000}, and λ2 in {1, 10, 100}, we select the model with the lowest training 1 3 , 1} の τ の格子、 {10, 100, 1000} の λ1 と {1, 10, 100} の λ2 の格子上で、最小のトレーニングでモデルを選択する。 0.78
2 , 2 2 , 2 0.85
英語(論文から抽出)日本語訳スコア
Benchmarks, Algorithms, and Metrics for Hierarchical Disentanglement 階層的ディエンタングルメントのためのベンチマーク、アルゴリズム、メトリクス 0.70
reconstruction loss Lx from the 1 3 with the lowest assignment loss La. リコンストラクションの損失 lx は 1 3 で最小の割当損失 la である。 0.71
For MIMOSA, hyperparameters can be tuned to ensure high coverage (purity and H-error require sideinformation); see §A.3 for more. MIMOSAの場合、ハイパーパラメータは高いカバレッジを確保するために調整することができる(純度とHエラーは副情報を必要とする)。 0.56
For β-TCVAE and FactorVAE, we show results for β=5 and γ=10, but test both across {5, 10, 25, 50} in Fig. β-TCVAE と FactorVAE では、β=5 と γ=10 の結果を示すが、Fig の {5, 10, 25, 50} でテストする。 0.82
11. Figure 3. Hierarchical disentanglement results for representation learning methods (baselines and COFHAE + MIMOSA) over all nine datasets. 11. 図3。 9つのデータセットすべてにわたる表現学習方法(ベースラインとCOFHAE + MIMOSA)の階層的分離結果。 0.78
COFHAE almost perfectly disentangles ground-truth on the six simplest versions of Chopsticks, with some degradations on the two most complex versions (with very deep hierarches) and on Spaceshapes (with a shallower hierarchy, but higherdimensional inputs). cofhae は6つの最も単純なチョップスティックで、最も複雑な2つのバージョン(非常に深い階層を持つ)とスペースシェイプ(より浅い階層を持つが、高次元の入力を持つ)で劣化している。 0.75
Baseline methods were generally much more entangled, though β-TCVAE is competitive on Spaceshapes. ベースライン法は一般により絡み合っていたが、β-TCVAEはSpaceshapesと競合している。 0.56
Figure 4. Ablation study for COFHAE on the depth-2 both version of Chopsticks (over 5 restarts). 図4。 COFHAEのChopsticks (5回以上の再起動)の深度2に対するアブレーション研究 0.73
Hierarchical disentanglement is low for flat AEs (Flat); adding the ground-truth hierarchy H improves it (Hier H), as does also adding supervision for groundtruth assignments A (H+A). 階層的絡み合いは平坦なAE(Flat)に対して低く、基底トラス階層Hが改良され(Hier H)、基底トラス割り当てA(H+A)の監督が追加される。 0.70
Adding a FactorVAE-style marginal TC penalty (H+A+T C(Z)) does not appear to help disentanglement, but making that TC penalty conditional (H+A+T C(Z|on), i.e. FactorVAE方式の限界TCペナルティ(H+A+T C(Z))を追加することは、混乱を助長するものではないが、TCペナルティ条件(H+A+T C(Z|on))を課す。 0.68
COFHAE) brings it close to the near-optimal disentanglement of a hierarchical model whose latent representation is fully supervised (H+A+Z). COFHAE)は、潜在表現が完全に監督される階層モデル(H+A+Z)のほぼ最適解離に近づける。 0.72
However, the hierarchical conditional TC penalty fails to produce this same disentanglement without any supervision over assignments (H+T C(Z)). しかし、階層的な条件付きTCペナルティは、割り当ての監督なしに同じ非絡み合いを生じない(H+T C(Z))。 0.63
Figure 5. Comparison of disentanglement metrics across two datasets and four models. 図5。 2つのデータセットと4つのモデルにおけるアンタングルメントメトリクスの比較。 0.71
Only R4 and R4 c correctly and consistently award near-optimal scores to the supervised H+A+Z model. 教師付き H+A+Z モデルに対して、R4 と R4 のみが正確かつ一貫して準最適スコアを与えられる。 0.54
results were close, generally recovering 12 of 14 possible hierarchy paths (see Fig. 結果は近かったが、概して14の可能な階層パスのうち12を回復した(図参照)。 0.61
20 for more details). 詳細については20)。 0.75
Purity and coverage were also high, often near perfect as in Spaceshapes or depth-2 Chopsticks. 純度とカバレッジも高く、しばしばSpaceshapesやDeep-2 Chopsticksのように完璧に近いものでした。 0.64
COFHAE significantly outperformed baselines. COFHAEはベースラインを著しく上回った。 0.54
Per Fig. 3, COFHAE R4 c scores were near-perfect for 6 out of 9 datasets, and better than baselines on all. 図1。 3, COFHAE R4 cスコアは9つのデータセットのうち6つでほぼ完全であり, ベースラインよりも優れていた。 0.66
On Spaceshapes and the depth-3 either and both versions of Chopsticks, scores were slightly worse. SpaceshapesとDeep-3の両バージョンでは、スコアはわずかに悪化した。 0.65
Part of this suboptimality could be due to non-identifiability. この準最適性の一部は、非識別性に起因する可能性がある。 0.47
For Spaceshapes and the both versions of Chopsticks, dimension group nodes contain multiple continuous variables, which even conditionally can be modeled by multiple factorized distributions (Locatello et al., 2018). spaceshapes と chopsticks の両バージョンでは、次元群ノードは複数の連続変数を持ち、条件付きでも複数の因子化された分布でモデル化できる(locatello et al., 2018)。 0.82
However, optimization issues could also be at fault, as we do not see suboptimal R4 c on Chopsticks until a depth of 3, and even supervised H+A+Z models occasionally fail to converge on Spaceshapes. しかし、チョップスティックの最適R4 cは深さ3まで見られず、監督されたH+A+Zモデルでさえ時折Spaceshapesに収束しないため、最適化の問題も問題になる可能性があります。 0.67
Kim & Mnih (2018) note that the relatively low-dimensional discriminator used by FactorVAE is easier to optimize than the generally highdimensional discriminators used in GANs, which are notoriously tricky to train (Mescheder et al., 2018). Kim & Mnih (2018)は、FactorVAEが使用する比較的低次元の識別器は、GANで使用される一般的に高次元の識別器よりも最適化が容易であることに注意します。 0.65
In our case, flattened hierarchy vectors can be high-dimensional (e.g. 我々の場合、平坦な階層ベクトルは高次元(例えば)である。 0.72
Fig. 21), and in any given batch, instances corresponding to different paths down the hierarchy may have different numbers of samples (potentially requiring larger batch sizes or stratified sampling to ensure sufficient coverage). フィギュア。 21)、そして任意のバッチにおいて、階層下の異なるパスに対応するインスタンスは、異なる数のサンプルを持っている可能性がある(十分なカバレッジを確保するために、潜在的にバッチサイズや階層化サンプリングを必要とする)。 0.49
Finally, alongside non-identifiability and optimization issues, MIMOSA errors (e.g. 最後に、非識別性と最適化の問題に加えて、MIMOSAエラー(例えば。 0.59
merge-up/push-down differences for Spaceshapes and suboptimal purity and coverage for Chopsticks) also may play a role, as evidenced by performance improvements in our full COFHAE ablations in Fig. figのcofhae完全アブレーションの性能改善によって証明されるように、スペースシェイプのマージアップ/プッシュダウンの差異や、チョップスティックのサブオプティカルな純度、カバレッジも重要な役割を果たす可能性がある。 0.50
10. Despite all of these issues, COFHAE is still closer to optimal than any of our baseline algorithms. 10. これらすべての問題にもかかわらず、cofhaeはベースラインアルゴリズムのどれよりも最適に近い。 0.75
8. Results and Discussion MIMOSA consistently recovered the right hierarchies. 8. 結果と議論MIMOSAは一貫して正しい階層を回復した。 0.71
Per Table 1, we consistently found the right hierarchy for all datasets except depth-3 either-Chopsticks, but even there テーブル1ごとに、深さ3のツーチョップスティックを除いて、常にすべてのデータセットの正しい階層を見つけていますが、そこにさえあります。 0.47
c provides more insight into disentanglement than R4 baselines. c は R4 ベースラインよりも絡み合いに関する洞察を与える。 0.68
One way to evaluate an evaluation metric is to test it against a precisely known quantity. 評価指標を評価する方法の1つは、正確に知られている量に対してそれをテストすることです。 0.57
In this case, we know the H+A+Z model, whose encoder is supervised この場合、エンコーダが監視されるH+A+Zモデルがわかります。 0.71
英語(論文から抽出)日本語訳スコア
Benchmarks, Algorithms, and Metrics for Hierarchical Disentanglement 階層的ディエンタングルメントのためのベンチマーク、アルゴリズム、メトリクス 0.70
MIMOSA Metric Purity みもさ メートル法純度 0.47
Coverage H-error inter 1.0±0.0 .99±0.0 0.0±0.0 カバレッジHエラー inter 1.0±0.0 .99±0.0 0.0±0.0 0.47
Chopsticks, depth=2 slope 1.0±0.0 .99±0.0 0.0±0.0 チョップスティック,深度=2斜面 1.0±0.0 .99±0.0 0.0±0.0 0.30
both 1.0±0.0 .96±0.0 0.0±0.0 1.0±0.0 .96±0.0 0.0±0.0 0.27
either 1.0±0.0 .93±0.0 0.0±0.0 1.0±0.0 .93±0.0 0.0±0.0 0.27
inter .98±0.0 .98±0.0 0.0±0.0 98±0.0 .98±0.0 0.0±0.0 0.29
Chopsticks, depth=3 slope .95±0.0 .98±0.0 0.0±0.0 水深95±0.0 .98±0.0 0.0±0.0 0.34
both .94±0.0 .82±0.01 0.0±0.0 94±0.0 .82±0.01 0.0±0.0 0.29
either .93±0.0 .75±0.01 2.6±1.34 93±0.0 .75±0.01 2.6±1.34 0.30
Spaceshapes 1.0±0.0 1.0±0.0 0.0±0.0 Spaceshapes 1.0±0.0 1.0±0.00.00.0±0.0 0.24
Table 1. MIMOSA results across all datasets, with means and standard deviations across 5 restarts. 表1。 MIMOSAは5つの再起動で平均と標準偏差で、すべてのデータセットで結果をもたらします。 0.67
In general, MIMOSA components contained points only from single ground-truth sets of paths (purity), were inclusive of most points in the training set (coverage), and resulting in perfectly accurate hierarchies (H errors), with the greatest or only exception being the Chopsticks depth-3 either dataset (where we tended to recover only 12 of its 14 possible paths). 一般に、MIMOSAコンポーネントは、トレーニングセット(カバレッジ)のほとんどのポイントを含み、完全に正確な階層化(Hエラー)をもたらし、単一の地上道のセット(純度)からのみポイントが含まれていました。
訳抜け防止モード: 一般に、MIMOSA 成分は、経路の真理集合(純度)の単一基底のみの点を含む。 トレーニングセットのほとんどのポイント(カバレッジ)に含まれていました。 その結果、完全に正確な階層(Hエラー)ができ、最大の例外は、Chopsticks depth-3のいずれかのデータセット(ここでは)である。 14の経路のうち わずか12の経路を回復する傾向がありました
0.66
to match ground-truth, should receive a near-perfect score. 地面の真実に一致させるために、ほぼ完全なスコアを受け取るべきです。 0.42
The only metrics to do this consistently are R4 and R4 c. Note that the DCI disentanglement score, based on the entropy of normalized feature importances from an estimator predicting single ground-truth factors from all learned dimensions, comes close. これを行うための唯一の指標は R4 と R4 c である。DCI の離散スコアは、すべての学習された次元から単一の基底真理因子を予測する推定器からの正規化された特徴の重要性のエントロピーに基づいて、近づきつつあることに注意する。
訳抜け防止モード: 一貫して実施すべき指標はR4とR4cのみである。 単一基底を予測する推定器からの正規化された特徴重要度のエントロピーに基づいて、すべての学習次元から真理因子を推定する。 近づいてくる
0.68
Intuitively, this metric could behave similarly to R4 if its estimator was trained to be sparse (placing importance on as few dimensions as possible). 直観的には、この計量が r4 と同様に振る舞うことは、その推定器がスパースであるように訓練された場合(できるだけ少数の次元で重要となる)である。 0.54
However, using R2s of univariate estimators is more direct, and also incorporates information from the DCI informativeness score. しかし、一変数推定器のR2sの使用はより直接的であり、またDCI情報性スコアからの情報を組み込む。 0.62
Another way to evaluate an evaluation metric is to test whether quantitative differences capture salient qualitative differences. 評価基準を評価する別の方法は、量的差が有意な質的差を捉えるかどうかをテストすることである。 0.58
To this point, specifically to compare R4 and c, we consider several examples in Fig. この点において、特に R4 と c を比較するために、Fig のいくつかの例を考える。 0.59
12 and Fig. 13. 12とフィギュア。 13. 0.72
R4 First, we see that for the Spaceshapes COFHAE model in Fig. R4 まず、FigのSpaceshapes COFHAEモデルについて説明します。 0.76
12c, its R4 c score (0.89) is higher than its R4 (0.79). 12c、R4 cスコア(0.89)はR4(0.79)より高い。 0.74
This increase is due to the fact that R4 penalizes the “pushdown” differences (§6.1) between the learned and true factors representing x and y position, while R4 c is invariant to them. この増加は、R4 c が x と y の位置を表す学習要因と真の因子の間の「プッシュダウン」差(6.1)をペナルティ化するという事実による。 0.74
However, the overall increase is less dramatic than one might expect due to modest decreases in correspondence scores for other dimensions (e.g. しかし、他の次元の対応スコアが緩やかに減少するため、全体的な増加は予想されるよりも劇的ではない(例)。 0.61
0.98→0.89 for jetlen), which occur because R4 c is not biased by spurious equality between dimensions which are both inactive. 0.98 → 0.89 for jetlen) これはR4 cがどちらも不活性である次元間のスプリアス等価によってバイアスされないために起こる。
訳抜け防止モード: 0.98→0.89 for jetlen ) R4 c はどちらも不活性な次元間の急激な等式に偏らないために生じる。
0.70
Another example of a difference between R4 and R4 c (illustrating invariance to “merging up” rather than “pushing down”) is for the Spaceshapes β-TCVAE in Fig. r4 と r4 c の違いのもう1つの例("pushing down" ではなく "merging up" への不変性を示す)は、fig の spaceshapes β-tcvae である。 0.70
12b. In this case, histograms show that one β-TCVAE variable (Z3) corresponds closely to both moon phase and star shine (and to a lesser extent, jetlen), only one of which is active at a time. 12bだ この場合、ヒストグラムは、1つのβ-TCVAE変数(Z3)が月相と星相の両方に密接に対応しており、そのうちの1つのみが同時に活動していることを示している。 0.75
The R4 score (0.47) assigns low scores to these correspondences, but R4 r4スコア(0.47)は、これらの対応に低いスコアを割り当てるが、r4 0.60
c (0.69) properly factors them in. c (0.69) を適切に分解する。 0.69
COFHAE and MIMOSA subcomponents improve performance. COFHAEおよびMIMOSAサブコンポーネントは性能を向上させる。 0.59
Though COFHAE contains many moving parts, results in Fig. COFHAEには多くの可動部品が含まれていますが、図に示します。 0.49
4 and Fig. 10 suggest they all count. 4およびFig。 10人全員が数えている。 0.63
Autoencoders only achieve optimal disentanglement if provided with the hierarchy, assignments, and a conditional (not marginal) penalty on the TC of continuous variables; no partial subset suffices. オートエンコーダは、連続変数の TC 上の階層、代入、および条件付き(限界ではない)ペナルティが与えられた場合にのみ、最適な解束を達成する。 0.68
In the Appendix, Fig. In the Appendix, Fig。 0.72
9 shows ablations and sensitivity analyses for MIMOSA that validate its subcomponents are important as well. 9) は, そのサブコンポーネントを検証するミモサのアブレーションと感度解析も重要である。 0.68
9. Conclusion In this work, we introduced the problem of hierarchical disentanglement, where ground-truth representation dimensions are organized into a tree and activated or deactivated based on the values of categorical dimensions. 9. 結論 本研究では, 接地表現次元を木に整理し, カテゴリー次元の値に基づいて活性化または非活性化する階層的不等角化の問題を導入した。 0.78
We presented benchmarks, algorithms, and metrics for learning and evaluating such hierarchical representations. このような階層的表現の学習と評価のためのベンチマーク,アルゴリズム,メトリクスを提示した。 0.64
There are a number of promising avenues for future work. 将来の仕事には有望な道がいくつかある。 0.62
One is extending the method to handle a wider variety of underlying structures, e.g. 1つは、例えば、より幅広い基礎構造を処理する方法を拡張することである。 0.64
non-hierarchical dimension DAGs, or integrating our method with object representation techniques to better model generative processes involving ordinal variables or unordered sets (Locatello et al., 2020b). 非階層次元のDAGや、順序変数や非順序集合(Locatello et al., 2020b)を含む生成プロセスをモデル化するために、オブジェクト表現技術とメソッドを統合する。 0.69
Another is to better solve or understand hierarchical disentanglement as we have already formulated it, e.g. もう1つは、例えば、すでに定式化している階層的な混乱をよりよく解くか、理解することです。 0.47
by improving robustness to noise, or providing a better theoretical understanding of identifiability and when we can guarantee methods will succeed. ノイズに対する堅牢性を改善したり 識別可能性のより理論的な理解を提供する 方法が成功することを保証できる 0.76
Finally, there are ample opportunities to apply these techniques to real-world cases that we expect to have hierarchical structure, such as causal inference, patient phenotype, or population genetics datasets. 最後に、これらのテクニックを、因果推論、患者表現型、集団遺伝学データセットのような階層構造を期待する現実のケースに適用する多くの機会があります。 0.71
More generally, we feel it is important for representation learning to move beyond flat vectors, and work towards explicitly modeling the rich structure contained in the real world. より一般的には、表現学習が平坦なベクトルを超えて移動し、現実世界に含まれるリッチな構造を明示的にモデリングすることの重要性を感じています。 0.67
For a long time, many symbolic AI and cognitive science researchers have argued that AI progress should be evaluated not by improvements in accuracy or reconstruction error, but by how well we can build models that build their own interpretable models of the world (Lake et al., 2017). 長い間、多くの象徴的なAIと認知科学の研究者は、AIの進歩は精度の向上や再構築エラーではなく、世界の独自の解釈可能なモデルを構築するモデルを構築することによって評価されるべきであると主張してきました(Lake et al., 2017)。 0.74
Our work takes steps in this direction. 私たちの仕事はこの方向に進む。 0.72
References Adams, R., Wallach, H., and Ghahramani, Z. 参考文献はAdams, R., Wallach, H., Ghahramani, Z。 0.78
Learning the structure of deep sparse graphical models. 深いスパースグラフィカルモデルの構造を学習する。 0.80
In International Conference on Artificial Intelligence and Statistics, 2010. 2010年、人工知能と統計に関する国際会議に参加。 0.76
Ahlqvist, E., Storm, P., K¨ar¨aj¨am¨aki, A., Martinell, M., Dorkhan, M., Carlsson, A., Vikman, P., Prasad, R. B., Aly, D. M., Almgren, P., et al. Ahlqvist, E., Storm, P., K .ar .aj .am .aki, A., Martinell, M., Dorkhan, M., Carlsson, A., Vikman, P., Prasad, R. B., Aly, D. M., Almgren, P.など。 0.97
Novel subgroups of adultonset diabetes and their association with outcomes: a 成人発症糖尿病の新規サブグループとその予後との関連 0.78
英語(論文から抽出)日本語訳スコア
Benchmarks, Algorithms, and Metrics for Hierarchical Disentanglement 階層的ディエンタングルメントのためのベンチマーク、アルゴリズム、メトリクス 0.70
data-driven cluster analysis of six variables. 6変数のデータ駆動クラスタ分析。 0.74
The Lancet Diabetes & Endocrinology, 6(5):361–369, 2018. The Lancet Diabetes & Endocrinology, 6(5):361–369, 2018。 0.94
Alvarez-Melis, D. and Jaakkola, T. S. Towards robust interpretability with self-explaining neural networks. Alvarez-Melis, D. and Jaakkola, T.S. 自己記述型ニューラルネットワークによる堅牢な解釈性を目指して。 0.55
In Advances in Neural Information Processing Systems, 2018. ニューラル情報処理システムの進歩、2018年。 0.63
American Diabetes Association. アメリカ糖尿病協会会員。 0.68
Diagnosis and classifica- tion of diabetes mellitus. 診断と分類- 糖尿病の治療薬。 0.79
Diabetes Care, 2005. 2005年、糖尿病。 0.80
Ankerst, M., Breunig, M. M., Kriegel, H.-P., and Sander, J. Ankerst, M., Breunig, M.M., Kriegel, H.-P., and Sander, J. 0.98
Optics: Ordering points to identify the clustering structure. Optics: クラスタリング構造を識別するためのオーダリングポイント。 0.87
ACM Sigmod Record, 28(2):49–60, 1999. ACM Sigmod Record, 28(2):49-60, 1999 0.91
Arcones, M. A. and Gine, E. On the bootstrap of u and v Arcones, M. A. and Gine, E. On the bootstrap of u and v 0.99
statistics. The Annals of Statistics, pp. 統計だ The Annals of Statistics, pp。 0.77
655–674, 1992. 655–674, 1992. 0.84
Esmaeili, B., Wu, H., Jain, S., Bozkurt, A., Siddharth, N., Paige, B., Brooks, D. H., Dy, J., and van de Meent, J.-W. Esmaeili, B., Wu, H., Jain, S., Bozkurt, A., Siddharth, N., Paige, B., Brooks, D. H., Dy, J., van de Meent, J.-W。 0.89
Structured disentangled representations. 構造的非絡み合い表現。 0.61
International Conference on Artificial Intelligence and Statistics, 2019. International Conference on Artificial Intelligence and Statistics, 2019 (英語) 0.92
Fischler, M. A. and Bolles, R. C. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography. Fischler, M. A. and Bolles, R. C. Random sample consensus: a paradigm for model fit with application to image analysis and automated cartography。 0.90
Communications of the ACM, 24(6):381–395, 1981. ACMの通信、24(6):381-395、1981。 0.78
Higgins, I., Matthey, L., Pal, A., Burgess, C., Glorot, X., Botvinick, M., Mohamed, S., and Lerchner, A. betavae: Learning basic visual concepts with a constrained variational framework. Higgins, I., Matthey, L., Pal, A., Burgess, C., Glorot, X., Botvinick, M., Mohamed, S., and Lerchner, A. betavae: 基本的な視覚概念を制約された変動フレームワークで学習する。 0.92
In International Conference on Learning Representations, 2017. 2017年、国際学習表現会議に参加。 0.78
Bengio, Y. Deep learning of representations: Looking forIn International Conference on Statistical Lanward. ベンジオ、Y。 deep learning of representations: looking forin international conference on statistical lanward (英語) 0.72
guage and Speech Processing, pp. guage and Speech Processing, pp。 0.79
1–37. Springer, 2013. 1–37. 2013年春。 0.57
Jeong, Y. and Song, H. O. Jeong, Y. and Song, H. O。 0.96
Learning discrete and continuous factors of data via alternating disentanglement. 交互な絡み合いによるデータの離散的・連続的要因の学習 0.66
arXiv:1905.09432, 2019. arXiv:1905.09432, 2019。 0.64
Bengio, Y., Courville, A., and Vincent, P. Representation learning: A review and new perspectives. Bengio, Y., Courville, A. and Vincent, P. Representation Learning: A review and new perspectives。 0.88
IEEE transactions on pattern analysis and machine intelligence, 2013. IEEEによるパターン分析とマシンインテリジェンスに関するトランザクション、2013年。 0.71
Burgess, C. P., Higgins, I., Pal, A., Matthey, L., Watters, N., Desjardins, G., and Lerchner, A. Burgess, C.P., Higgins, I., Pal, A., Matthey, L., Watters, N., Desjardins, G., and Lerchner, A. 0.87
Understanding disentangling in beta-vae. ベータヴェーで解き放つことを理解する。 0.42
arXiv:1804.03599, 2018. arXiv:1804.03599, 2018 0.69
Chen, T. Q., Li, X., Grosse, R. B., and Duvenaud, D. K. Isolating sources of disentanglement in variational autoencoders. Chen, T. Q., Li, X., Grosse, R. B. and Duvenaud, D. K. Isolating sources of disentanglement in variational autoencoders 0.93
In Advances in Neural Information Processing Systems, 2018. ニューラル情報処理システムの進歩、2018年。 0.63
Choi, J., Hwang, G., and Kang, M. Choi、J.、Hwang、G.およびKang、M。 0.79
Discond-vae: disentangling continuous factors from the discrete. Discond-vae:離散から連続的な要因を分離する。 0.62
arXiv:2009.08039, 2020. arXiv:2009.08039, 2020 0.70
Comon, P. Independent component analysis, a new concept? Comon, P. Independent component analysis, a new concept? 0.92
Signal processing, 1994. 1994年、信号処理。 0.79
Creager, E., Madras, D., Jacobsen, J.-H., Weis, M., Swersky, K., Pitassi, T., and Zemel, R. Flexibly fair representation learning by disentanglement. Creager, E., Madras, D., Jacobsen, J.H., Weis, M., Swersky, K., Pitassi, T., Zemel, R. 束縛による柔軟な公正な表現学習。 0.88
In International Conference on Machine Learning, 2019. 2019年、国際機械学習会議に参加。 0.79
Defferrard, M., Bresson, X., and Vandergheynst, P. Convolutional neural networks on graphs with fast localized spectral filtering. Defferrard, M., Bresson, X., and Vandergheynst, P. スペクトルフィルタを高速にローカライズしたグラフ上の畳み込みニューラルネットワーク。 0.86
Advances in Neural Information Processing Systems, 2016. 2016年、ニューラル情報処理システムの進歩。 0.72
Dupont, E. Learning disentangled joint continuous and discrete representations. Dupont、E.Learning Disentangled joint continuousおよびdiscrete representations。 0.82
In Advances in Neural Information Processing Systems, 2018. ニューラル情報処理システムの進歩、2018年。 0.63
Eastwood, C. and Williams, C. K. A framework for the quantitative evaluation of disentangled representations. Eastwood, C. and Williams, C. K. アンタングル表現の定量的評価のためのフレームワーク。 0.80
In International Conference on Learning Representations, 2018. International Conference on Learning Representations, 2018にて。 0.76
Kim, H. and Mnih, A. Disentangling by factorising. Kim, H. and Mnih, A. Disentangling by factorising 0.87
In International Conference on Machine Learning, 2018. 内 International Conference on Machine Learning 2018参加。 0.69
Kingma, D. P. and Welling, M. Auto-encoding variational Kingma, D. P. and Welling, M. Auto-Encoding variational 0.77
bayes. arXiv:1312.6114, 2013. ベイズ arXiv:1312.6114, 2013年。 0.46
Klindt, D. A., Schott, L., Sharma, Y., Ustyuzhaninov, I., Brendel, W., Bethge, M., and Paiton, D. Towards nonlinear disentanglement in natural data with temporal sparse coding. Klindt, D.A., Schott, L., Sharma, Y., Ustyuzhaninov, I., Brendel, W., Bethge, M., Paiton, D. 時間的スパース符号化による自然データの非線形非絡み化に向けて。 0.87
In International Conference on Learning Representations, 2021. 2021年、国際学習表現会議に参加。 0.78
Kumar, A., Sattigeri, P., and Balakrishnan, A. Variational inference of disentangled latent concepts from unlabeled observations. Kumar, A., Sattigeri, P., and Balakrishnan, A. ラベルのない観測から離散的潜在概念の変動推論。 0.88
arXiv:1711.00848, 2017. arXiv:1711.00848, 2017 0.70
Lake, B. M., Ullman, T. D., Tenenbaum, J. Lake, B. M., Ullman, T. D., Tenenbaum, J。 0.95
B., and Gershman, S. J. B.とGershman, S. J。 0.83
Building machines that learn and think like people. 人のように学び、考える機械を作る。 0.68
Behavioral and Brain Sciences, 40, 2017. 行動脳科学、2017年4月40日。 0.67
LeCun, Y., Bengio, Y., and Hinton, G. Deep learning. LeCun, Y., Bengio, Y., Hinton, G. Deep Learning 0.76
nature, 521(7553):436–444, 2015. 自然だ 521(7553):436–444, 2015. 0.75
Little, A. V., Lee, J., Jung, Y.-M., and Maggioni, M. Estimation of intrinsic dimensionality of samples from noisy low-dimensional manifolds in high dimensions with multiscale svd. little, A. V., Lee, J., Jung, Y.-M., and Maggioni, M. マルチスケールsvdを持つ高次元の雑音状低次元多様体からの試料の内在次元の推定 0.85
In IEEE/SP 15th Workshop on Statistical Signal Processing, 2009. 2009年 IEEE/SP 15th Workshop on Statistical Signal Processing に参加。 0.79
Locatello, F., Bauer, S., Lucic, M., R¨atsch, G., Gelly, S., Sch¨olkopf, B., and Bachem, O. Locatello, F., Bauer, S., Lucic, M., R satsch, G., Gelly, S., Sch solkopf, B., Bachem, O。 0.84
Challenging common assumptions in the unsupervised learning of disentangled representations. 不整合表現の教師なし学習における一般的な仮定を満たす。 0.46
arXiv:1811.12359, 2018. arXiv:1811.12359, 2018 0.67
Locatello, F., Poole, B., R¨atsch, G., Sch¨olkopf, B., Bachem, O., and Tschannen, M. Weakly-supervised disentanglement without compromises. Locatello, F., Poole, B., R satsch, G., Sch solkopf, B., Bachem, O., Tschannen, M. Weakly-supervised disentanglement without compromises。 0.90
arXiv:2002.02886, 2020a. arXiv:2002.02886, 2020a。 0.56
英語(論文から抽出)日本語訳スコア
Benchmarks, Algorithms, and Metrics for Hierarchical Disentanglement 階層的ディエンタングルメントのためのベンチマーク、アルゴリズム、メトリクス 0.70
Locatello, F., Weissenborn, D., Unterthiner, T., Mahendran, A., Heigold, G., Uszkoreit, J., Dosovitskiy, A., and Kipf, T. Object-centric learning with slot attention. Locatello, F., Weissenborn, D., Unterthiner, T., Mahendran, A., Heigold, G., Uszkoreit, J., Dosovitskiy, A., Kipf, T. Object-centric Learning with slot attention。 0.88
Advances in Neural Information Processing Systems, 2020b. ニューラル情報処理システム(2020b)の進歩 0.75
Sugiyama, M., Suzuki, T., and Kanamori, T. Density-ratio matching under the bregman divergence: a unified framework of density-ratio estimation. スギヤマ, m., suzuki, t. and kanamori, t. density-ratio matching under the bregman divergence: an unified framework of density-ratio estimation (英語) 0.80
Annals of the Institute of Statistical Mathematics, 64(5):1009–1044, 2012. annals of the institute of statistical mathematics, 64(5):1009–1044, 2012 (英語) 0.77
Mahapatra, S. and Chandola, V. S-isomap++: multi manifold learning from streaming data. Mahapatra, S. and Chandola, V. S-isomap++: ストリーミングデータから学習するマルチ多様体。 0.73
In IEEE International Conference on Big Data, 2017. IEEE International Conference on Big Dataにおいて、2017年。 0.87
Mahler, B. I. Contagion dynamics for manifold learning. マフラー、B.I。 マニホールド学習のための伝染ダイナミクス 0.60
arXiv:2012.00091, 2020. arXiv:2012.00091, 2020 0.71
Marx, C., Phillips, R., Friedler, S., Scheidegger, C., and Venkatasubramanian, S. Disentangling influence: Using disentangled representations to audit model predictions. Marx, C., Phillips, R., Friedler, S., Scheidegger, C., and Venkatasubramanian, S. Disentangling influence: Disentangled representations to audit model predicts. (英語) 0.86
Advances in Neural Information Processing Systems, 2019. ニューラル情報処理システムの進歩 - 2019年。 0.72
Mathieu, M. F., Zhao, J. J., Zhao, J., Ramesh, A., Sprechmann, P., and LeCun, Y. Disentangling factors of variation in deep representation using adversarial training. Mathieu, M.F., Zhao, J.J., Zhao, J., Ramesh, A., Sprechmann, P., and LeCun, Y. 敵対的訓練を用いた深部表現の変動要因の分離。 0.89
Advances in Neural Information Processing Systems, 2016. 2016年、ニューラル情報処理システムの進歩。 0.72
Matthey, L., Higgins, I., Hassabis, D., and Lerchner, A. dsprites: Disentanglement testing sprites dataset. Matthey, L., Higgins, I., Hassabis, D., and Lerchner, A. dsprites: Disentanglement Testing Sprites データセット。 0.87
https://github.com/d eepmind/dsprites-dat aset/, 2017. https://github.com/d eepmind/dsprites-dat aset/, 2017 0.50
Mescheder, L., Geiger, A., and Nowozin, S. Which training methods for gans do actually converge? Mescheder, L., Geiger, A., and Nowozin, S. ガンのどのトレーニング方法が実際に収束しますか? 0.81
In International Conference on Machine Learning, 2018. 2018年、international conference on machine learningにて発表。 0.80
Omohundro, S. M. Five balltree construction algorithms. Omohundro, S. M. Five balltree construction algorithm 0.90
International Computer Science Institute Berkeley, 1989. 国際コンピュータ科学研究所バークレー、1989年。 0.82
Parascandolo, G., Kilbertus, N., Rojas-Carulla, M., and Sch¨olkopf, B. parascandolo, g., kilbertus, n., rojas-carulla, m., sch solkopf, b。 0.62
Learning independent causal mechanisms. 独立した因果機構を学ぶ。 0.60
In International Conference on Machine Learning, 2018. 2018年、international conference on machine learningにて発表。 0.80
Ridgeway, K. A survey of inductive biases for factorial ridgeway, k. a survey of inductive biases for factorial 0.85
representation-learn ing. arXiv:1612.05299, 2016. 表現学習。 arXiv:1612.05299, 2016 0.65
Schmidhuber, J. Schmidhuber, J。 0.80
Learning factorial codes by predictability minimization. 予測可能性最小化による因子コード学習 0.67
Neural Computation, 4(6):863–879, 1992. Neural Computation, 4(6):863–879, 1992。 0.90
Siddharth, N., Paige, B., Van de Meent, J.-W., Desmaison, A., Goodman, N., Kohli, P., Wood, F., and Torr, P. Learning disentangled representations with semi-supervised deep generative models. Siddharth, N., Paige, B., Van de Meent, J.-W., Desmaison, A., Goodman, N., Kohli, P., Wood, F., and Torr, P. 半教師付きディープジェネレーションモデルを用いた学習非絡み表現。 0.91
In Advances in Neural Information Processing Systems, 2017. ニューラル情報処理システムの進歩、2017年。 0.64
Singh, K. K., Ojha, U., and Lee, Y. J. Finegan: Unsupervised hierarchical disentanglement for fine-grained object generation and discovery. Singh, K. K., Ojha, U. and Lee, Y. J. Finegan: きめ細かいオブジェクトの生成と発見のための教師なし階層的非絡み合い。 0.77
In IEEE Conference on Computer Vision and Pattern Recognition, 2019. IEEE Conference on Computer Vision and Pattern Recognitionにおいて、2019年。 0.87
Sorrenson, P., Rother, C., and K¨othe, U. Disentanglement by nonlinear ica with general incompressible-flow networks (gin). sorrenson, p., rother, c., k, othe, u. disentanglement by nonlinear ica with general incompressible-flow networks (gin) 0.81
arXiv:2001.04872, 2020. arXiv:2001.04872, 2020。 0.63
Tr¨auble, F., Creager, E., Kilbertus, N., Goyal, A., Locatello, F., Sch¨olkopf, B., and Bauer, S. Is independence all you need? Tr sauble, F., Creager, E., Kilbertus, N., Goyal, A., Locatello, F., Sch solkopf, B., Bauer, S. 独立は必要なすべてですか? 0.90
on the generalization of representations learned from correlated data. 相関データから学習した表現の一般化について 0.64
arXiv:2006.07886, 2020. arXiv:2006.07886, 2020 0.70
Wang, W., Huang, Y., Wang, Y., and Wang, L. Generalized autoencoder: A neural network framework for dimensionality reduction. Wang, W., Huang, Y., Wang, Y., Wang, L. Generalized Autoencoder: 次元削減のためのニューラルネットワークフレームワーク。 0.80
In IEEE Conference on Computer Vision and Pattern Recognition Workshops, 2014. IEEE Conference on Computer Vision and Pattern Recognition Workshops, 2014に参加して 0.93
A. Appendix A.1. Training and Architecture Details A。 付録A.1。 トレーニングとアーキテクチャの詳細 0.72
For Chopsticks, our encoders and decoders used two hidden layers of width 256, and our loss function Lx was defined as a zero-centered Gaussian negative log likelihood with σ = 0.1. チョップスティックスの場合、エンコーダとデコーダは2つの隠れた幅256の層を使用し、損失関数 Lx は σ = 0.1 のゼロ中心ガウス負の対数として定義される。 0.70
For Spaceshapes, encoders and decoders used the 7-layer convolutional architecture from Burgess et al. Spaceshapesでは、エンコーダとデコーダはBurgessらの7層畳み込みアーキテクチャを使用した。 0.68
(2018), and our loss function Lx was Bernoulli negative log likelihood. (2018) と損失関数Lxはベルヌーイ負の対数確率であった。 0.69
All models were implemented in Tensorflow. 全てのモデルはTensorflowで実装された。 0.67
Code to reproduce experiments will be made available at https://github.com/d tak/ hierarchical-disenta nglement. 実験を再現するコードは、https://github.com/d tak/ hierarchy-disentangl ementで利用可能になる。 0.51
For both models, the assignment loss La was set to meansquared error, but only for assignments that were defined. 両方のモデルでは、代入損失 La は平均二乗誤差に設定されていたが、定義された代入のみである。
訳抜け防止モード: 両モデルとも、割り当て損失Laは平均二乗誤差に設定された。 定義された代入に限られる。
0.68
This was implemented by setting undefined assignment components to -1, and then defining La(a, a(cid:48)) = これは、未定義の代入コンポーネントを -1 に設定し、La(a, a(cid:48)) = を定義することで実装された。
訳抜け防止モード: これは 未定義の割り当てコンポーネントを -1 に設定し、次に la(a, a(cid:48 )= を定義する。
0.74
(cid:80) i (cid:80) 私は 0.66
1[a(cid:48) 1[a(cid:48) 0.92
i≥0](ai − a(cid:48) i≥0](ai − a(cid:48) 0.90
i)2. All activation functions were set to ReLU (max(0, x)), except in the case of the initial smooth autoencoder, where they were replaced with Softplus (ln(1 + ex)). i)2。 すべての活性化関数は、最初の滑らかなオートエンコーダの場合を除いて relu (max(0, x)) に設定され、それらは softplus (ln(1 + ex)) に置き換えられた。 0.82
This initial autoencoder was trained with dimensionality equal to one plus the maximum intrinsic dimensionality of the dataset. この初期オートエンコーダは、データセットの最大内在次元の1倍の次元で訓練された。 0.72
We investigate varying this parameter in Fig. このパラメータの変化を図で調べます。 0.73
9 and find it can be much larger, and perhaps would have produced better results (though nearest neighbor calculation and local SVD computations would have been slower). しかし、最も近い隣の計算と局所的なSVD計算は遅かっただろう)。
訳抜け防止モード: より大きくなり、より良い結果が得られていたかもしれない(ただし)。 近傍の計算とローカルSVD計算は遅くなる)。
0.65
All models were trained for 50 epochs with a batch size of 256 on a dataset of size 100,000, split 90%/10% into train/test. 全てのモデルは50エポックで訓練され、バッチサイズ256は10,000のデータセットで、90%/10%を列車/テストに分割した。 0.71
We used the Adam optimizer with a learning rate 10 halfway and threestarting at 0.001 and decaying by 1 quarters of the way through training. 学習率10のAdamオプティマイザを0.001で3回起動し、トレーニングで4分の1まで減衰させました。 0.68
For COFHAE, we selected softmax temperature τ, the assignment penalty strength λ1, and the adversarial penalty strength λ2 based on training set reconstruction error and MIMOSA assignment accuracy. COFHAEでは,トレーニングセットの再構成誤差とMIMOSAの割り当て精度に基づいて,ソフトマックス温度τ,代入ペナルティ強度λ1,対向ペナルティ強度λ2を選択した。 0.79
Splitting off a separate validation set was not necessary, as the most common problem 最も一般的な問題であるため、別個の検証セットを分割する必要はない 0.70
英語(論文から抽出)日本語訳スコア
Benchmarks, Algorithms, and Metrics for Hierarchical Disentanglement 階層的ディエンタングルメントのためのベンチマーク、アルゴリズム、メトリクス 0.70
we faced was poor convergence, not overfitting; the adversarial penalty would dominate and prevent the procedure from learning a model that could reconstruct X or A. Specifically, for each restart, we ran COFHAE with τ in { 1 3 , 1}, λ1 in {10, 100, 1000}, and λ2 in {1, 10, 100}. 逆のペナルティはXまたはAを再構築できるモデルを学ぶのを妨げ、特に再起動するたびに、τ で {1 3 , 1}, λ1 で {10, 100, 1000} で {10, 100, 1000}, λ2 で COFHAE を実行しました。
訳抜け防止モード: 統合性が悪く 適合性が高すぎず 逆ペナルティは支配的であり、手順がモデルを学ぶことを防ぐでしょう。 具体的には、再起動ごとに、X または A を再構築できます。 COFHAE は { 1 3, 1 } で × で実行しました。 λ1 in { 10, 100, 1000 }, and λ2 in { 1, 10, 100 } .
0.75
(cid:80) 2 , 2 models with the lowest assignment loss(cid:80) We then selected the model with the lowest training MSE n ||xn − x(cid:48) 2, but restricting ourselves to the 33.3% of (cid:80) 2 , 2 モデルが最も低い割り当て損失 (cid:80) MSE n ||xn − x(cid:48) 2 でモデルを選択したが、自分自身を 33.3% に制限した。 0.83
n La(an, a(cid:48) n). n La(an, a(cid:48) n)。 0.90
n||2 For evaluating R4 and R4 c, we used gradient boosted decision trees, which were faster to train than neural networks. n|2 r4とr4cの評価には,ニューラルネットワークよりも学習が早い勾配強調決定木を用いた。 0.64
A.2. Complexity and Runtimes A.2。 複雑さとランタイム 0.66
Per Fig. 7, the total runtime of our method is dominated by COFHAE, an adversarial autoencoder method which has the same complexity as FactorVAE (Kim & Mnih, 2018) (linear in dataset size N and number of training epochs, and strongly affected by GPU speed). 図1。 私たちのメソッドの合計ランタイムは、FactorVAE(Kim & Mnih, 2018)と同じ複雑さを持つ対向オートエンコーダメソッドであるCOFHAEによって支配されています(データセットサイズNとトレーニングエポックの数の線形で、GPU速度に強く影響されます)。 0.67
MIMOSA could theoretically take more time, however, as the complexity of constructing a ball tree (Omohundro, 1989) for nearest neighbor queries is O(|Z|N log N ). MIMOSA は、近隣のクエリに対してボールツリー(Omohundro, 1989) を構築する複雑さが O(|Z|N log N ) であるため、理論的にはもっと時間がかかる。 0.76
As such, initial dimensionality reduction is critical; in our Spaceshapes experiments, |Z| is 7, whereas |X| is 4096. 我々の空間形状の実験では、 |z| は 7 であり、|x| は 4096 である。 0.69
Other MIMOSA steps can also take time. 他のMIMOSAステップも時間がかかる。 0.70
With a num nearest neighbors of k, the complexity of running local SVD on every point in the dataset is O(N (|Z|2k + |Z|k2 + k3)), providing another reason to reduce initial dimensionality and keep neighborhood size manageable (though ideally k should increase with |Z| to robustly learn local manifold directions). k のヌル近傍では、データセットのすべての点における局所 SVD の実行の複雑さは O(N (|Z|2k + |Z|k2 + k3) であり、初期次元を減らし、近傍のサイズを管理できる別の理由を与える(ただし、理想的には、k は局所多様体の方向を強固に学習するために |Z| で増加すべきである)。
訳抜け防止モード: k の近傍の num を持つ複雑性 データセットの各ポイントでローカルSVDを実行します。 は O(N ( |Z|2k + |Z|k2 + k3 ) である。 理想的には k は |Z| で増加し、局所多様体方向を強固に学習する)。
0.74
Iterating over the dataset in BuildComponent and computing cosine similarity will also have complexity at least O(N kd3(d + |Z|)) for components of local dimensionality d, and detecting component boundaries can actually have complexity O(N ked) (if this is implemented, as in our experiments, by checking if projected points are contained in their neighbors’ convex hulls— though we also explored a much cheaper O(N k2d) strategy of checking for the presence of neighbors in all principal component directions that worked almost as well). Iterating over the dataset in BuildComponent and computing cosine similarity will also have complexity at least O(N kd3(d + |Z|)) for components of local dimensionality d, and detecting component boundaries can actually have complexity O(N ked) (if this is implemented, as in our experiments, by checking if projected points are contained in their neighbors’ convex hulls— though we also explored a much cheaper O(N k2d) strategy of checking for the presence of neighbors in all principal component directions that worked almost as well). 0.90
Although these scaling issues are worth noting, MIMOSA was still relatively fast in our experiments, where runtimes were dominated by neural network training (Fig. これらのスケーリング問題は注目に値するものですが、ランタイムがニューラルネットワークトレーニング(fig)に支配されていた実験では、mimosaは依然として比較的高速でした。 0.55
7). A.3. MIMOSA Hyperparameters 7). A.3。 MIMOSAハイパーパラメータ 0.77
In this section, we list and describe all hyperparameters for MIMOSA, along with values that we used for our main results. この節では、MIMOSAのすべてのハイパーパラメータを、主要な結果に使用した値とともにリストし、記述する。 0.71
We also present sensitivity analyses in Fig. また,figの感度解析も行った。 0.54
9. MIMOSA initial autoencoder (Algorithm 1, line 1) 9. MIMOSA初期オートエンコーダ(Algorithm 1, line 1) 0.87
• initial dim - the dimensionality of the initial smooth autoencoder. • initial dim - 最初の滑らかなオートエンコーダの次元。 0.79
As Fig. 9 shows, this can be larger フィギュアとして 9はもっと大きくなりますが 0.54
than the intrinsic dimensionality of the data, which MIMOSA will estimate. MIMOSAが見積もるデータの本質的な次元よりも大きいのです。 0.69
We defaulted to using the max. デフォルトでは max を使用します。 0.74
intrinsic dimensionality plus 1; in a real-world context where this information is not available, it can be estimated by reducing from initial dim = |X| until reconstruction error starts increasing. 内在次元プラス1; この情報が得られない実世界の文脈では、リコンストラクションエラーが増加するまで初期 dim = |x| から減らして推定することができる。 0.76
• Training and architectural details appropriate for the data modality (e.g. •データモダリティに適したトレーニングとアーキテクチャの詳細(例)。 0.82
convolutional layers for images). 画像の畳み込み層)。 0.54
See §A.1 for our choices. A.1をご覧ください。 0.56
LocalSVD (Algorithm 3) LocalSVD (Algorithm 3) 0.85
• num nearest neighbors - the neighborhood size for local SVD and later traversal. • num nearby neighbors - ローカルなsvdと後のトラバーサルの近傍サイズ。 0.73
We used 40. Must be larger than initial dim; could also be replaced with a search radius. 40回使用した。 初期ディムよりも大きい必要があります。検索半径に置き換えることもできます。 0.75
• ransac frac - the fraction of neighbors to refit SVD. • ransac frac - SVDをリフィッティングする隣人の割合。 0.70
We used 2/3. Note that we do not run traditional multi-step RANSAC (Fischler & Bolles, 1981), but a two-step approximation, where we define loss by aggregating reconstruction errors across dimensions. 2/3使用。 従来のマルチステップのransac(fischler & bolles, 1981)は実行しないが、2段階の近似で、次元にまたがる再構成エラーを集約することで損失を定義する。 0.73
Another (slower but potentially more robust) option would be to iteratively refit SVD on the points with lowest reconstruction error at each dimension, and check if the resulting eigenvalues meet our cutoff criteria. もう一つの(より遅いがより堅牢な)選択肢は、各次元で最小の再構成誤差の点上で反復的にSVDを補正し、その結果の固有値が我々のカットオフ基準を満たすかどうかを確認することである。 0.59
• eig cumsum thresh - the minimum fraction of variance SVD dimensions must explain to determine local dimensionality. • eig cumsum thresh - 分散svd次元の最小分数は局所次元を決定するために説明しなければならない。 0.67
We used 0.95. 使用量は 0.95。 0.60
For noisy or sparse data, it might be useful to reduce this parameter. ノイズやスパースなデータの場合、このパラメータを減らすのに役立ちます。 0.71
• eig decay thresh - the minimum multiplicative factor by which SVD eigenvalues must decay to determine local dimensionality. eig decay thresh - SVD固有値がローカル次元を決定するために崩壊しなければならない最小乗算因子。 0.75
We used 4. It might also be useful to reduce this parameter for sparse data. 4を使いました。 スパースデータに対するこのパラメータを減らすのも便利かもしれない。 0.70
Note that our LocalSVD algorithm can be seen as a faster version of Multiscale SVD (Little et al., 2009), which is used in an analogous way by Mahapatra & Chandola (2017), but would require repeatedly computing singular value decompositions over different search radii for each point. 我々のローカルSVDアルゴリズムは、Mahapatra & Chandola (2017) と似た方法で使用されるMultiscale SVD (Little et al., 2009) のより高速なバージョンと見なすことができるが、各点について異なる探索ラジイに対して特異値分解を繰り返し計算する必要がある。 0.86
BuildComponent (Algorithm 5) BuildComponent (Algorithm 5) 0.85
• cos simil thresh - neighbors’ local SVDs must be this similar to add to the component. cos simil thresh - 隣人のローカルSVDは、コンポーネントの追加と同じようなものでなければならない。 0.60
This corresponds to the  parameter from Mahapatra & Chandola (2017). これは、Mahapatra & Chandola (2017) の s パラメータに対応します。 0.75
We used 0.99 for Chopsticks and 0.95 for Spaceshapes; in general, we feel this is one of the most important parameters to tune, and should generally be reduced in the presence of noise or data scarcity. チョップスティックには0.99、Spaceshapesには0.95を使用しました。一般的に、これはチューニングする最も重要なパラメータの1つであり、ノイズやデータ不足の存在下では一般的に削減されるべきです。 0.68
• contagion num - only add similar points to a manifold component when a threshold fraction of their neighbors have already been added. • 感染 num - 近傍のしきい値分数が追加された場合にのみ、多様体成分に類似点を追加する。 0.77
This is useful for robustness, and corresponds to the T parameter from Mahler (2020) (but expressed as a num- これはロバスト性に有用であり、mahler (2020) の t パラメータに対応する(ただし num として表される)。 0.72
英語(論文から抽出)日本語訳スコア
Benchmarks, Algorithms, and Metrics for Hierarchical Disentanglement 階層的ディエンタングルメントのためのベンチマーク、アルゴリズム、メトリクス 0.70
for each point zn do znがするポイントごとに 0.76
end for end for Take the norm of reconstruction errors across dimensions, giving a vector of length num nearest neighbors Re-fit SVD on points whose error-norms are less than the 100 × ransac frac percentile value. 終止符 end for 寸法横断の再構築エラーのノルムを取り、長さ num の近傍のベクトルを与える エラーノルムが 100 × ransac frac パーセンタイル値未満の点にSVDを再適合します。 0.68
for each dimension d from 1 to initial dim − 1 do 1 から初期 dim − 1 までの各次元 d に対して 0.88
Compute the reconstruction error for zn using the only first d SVD dimensions 唯一のd SVD次元を用いたznの再構成誤差の計算 0.78
Algorithm 3 LocalSVD(Z) 1: Run SVD on Z (a design matrix of dimension num nearest neighbors by initial dim) 2: if ransac frac < 1 then 3: 4: 5: 6: 7: 8: 9: 10: end if 11: for each dimension d from 1 to initial dim − 1 do 12: 13: 14: 15: end if 16: 17: end for 18: return the full set of SVD components otherwise アルゴリズム 3 LocalSVD(Z) 1: Z 上で SVD を実行する (初期 dim で num 近傍の設計行列) 2: if ransac frac < 1 then 3: 4: 5: 6: 7: 8: 9: 10: end if 11: for each dimension d from 1 to initial dim − 1 do 12: 13: 14: 15: end if 16: 17: end for 18: return the full set of SVD component else 0.81
Check if the cumulative sum of the first d eigenvalues is at least eig cumsum thresh Check if the ratio of the dth to the d + 1st eigenvalue is at least eig decay thresh if both of these conditions are true then return only the first d SVD components 最初の d 固有値の累積和が少なくとも eig cumsum thresh であるかどうかを確認し、d + 1 固有値に対する dth の比が少なくとも eig decay thresh であるかどうかを確認する。
訳抜け防止モード: 最初の d 固有値の累積和が少なくとも eig cumsum thresh であるかどうか確認する d + 1 固有値に対する dth の比率が少なくとも eig 崩壊 thresh であるかどうかを確認します。 これらの条件はどちらも true で、最初の d SVD コンポーネントのみを返します。
0.72
Algorithm 4 TangentPlaneCos(U, V ) 1: if U and V are equal-dimensional then 2: 3: else 4: 5: end if アルゴリズム 4 TangentPlaneCos(U, V ) 1: U と V が等次元であれば 2: 3: else 4: 5: end if 0.85
return | det(U · V T )| return | det(U · V T )| 0.85
return 0 Algorithm 5 BuildComponent(zi, neighbors, svds) 1: Initialize component to zi and neighbors zj not already in other components where TangentPlaneCos(svds i, svdsj) ≥ 0 を返す アルゴリズム 5 BuildComponent(zi, neighbors, svds) 1: zi への初期化コンポーネントと、TangentPlaneCos(svds i, svdsj) ≥ 以外のコンポーネントに存在しない隣人 zj 0.81
cos simil thresh (Algorithm 4). cos simil thresh (Algorithm 4)。 0.81
2: while the component is still growing do 3: 2: コンポーネントはまだ成長していますが、3: 0.83
4: 5: end while 6: return the set of points in the component 4: 5: end while 6: コンポーネント内のポイントのセットを返します。 0.87
Add all points zk for which at least contagion num of their neighbors z(cid:96) are already in the component with TangentPlaneCos(svds k, svds(cid:96)) ≥ cos simil thresh. 隣人の z(cid:96) の少なくとも Contagion num が既に TangentPlaneCos(svds k, svds(cid:96)) ≥ cos simil thresh の成分であるようなすべての点 zk を追加する。 0.83
Skip adding any zk already in another component. zkを他のコンポーネントに追加するスキップ。 0.59
Algorithm 6 MergeComponents(comp onents, svds) 1: Discard components smaller than min size init. アルゴリズム6 mergecomponents(comp onents, svds) 1: min サイズの init よりも小さいコンポーネントを捨てる。 0.86
2: for each component ci do 3: 4: 5: end for 6: Initialize edge overlap matrix M of size |components| by |components| to 0. 2: 各コンポーネント ci do 3: 4: 5: end for 6: サイズ |components| by |components| to 0 のエッジ重複行列 M を初期化する。 0.91
7: for each ordered pair of equal-dimensional components (ci, cj) do 8: 7: 等次元成分 (ci, cj) の各順序対に対して 8 が成り立つ。 0.76
Construct a local ball tree for the points in ci. ciの点に対してローカルなボールツリーを構築する。 0.73
Set ci.edges to points not contained in the convex hull of their neighbors in local SVD space. ci.edges をローカル SVD 空間内の隣人の凸体に含まれていない点に設定します。 0.67
Set Mij to the fraction of points in ci.edges for which the closest point in cj.edges has local SVD tangent plane similarity above cos simil thresh. Mij を cj.edges の最も近い点が cos simil thresh 上の局所 SVD 接面類似性を持つ ci.edges の点の分数に設定する。 0.81
9: end for 10: Average M with its transpose to symmetrize. 9: 終端: 10: 平均 m で、転位は symmetrize となる。 0.83
11: Merge all components ci (cid:54)= cj of equal dimensionality d where Mij ≥ min common edge frac(d). 11: すべての成分 ci (cid:54)= cj を等次元 d でマージする。 0.51
12: Discard components smaller than min size merged. 12:minサイズより小さい部品を廃棄する。 0.73
13: return the merged set of components 13: 統合されたコンポーネントセットを返す 0.88
英語(論文から抽出)日本語訳スコア
Benchmarks, Algorithms, and Metrics for Hierarchical Disentanglement 階層的ディエンタングルメントのためのベンチマーク、アルゴリズム、メトリクス 0.70
Algorithm 7 ConstructHierarchy(c omponents) 1: for each component ci do 2: アルゴリズム7 ConstructHierarchy(c omponents) 1:各コンポーネントのciは2を行います。 0.86
Set ci.neighbor lengthscale to the average distance of points to their nearest neighbors inside the component (computed using the local ball tree from Algorithm 6) 成分中の近傍の点の平均距離をci.neighbor長スケールに設定する(アルゴリズム6による局所球木を用いた計算) 0.82
Compute the average distance from points in ci to their nearest neighbors in cj (via ball tree). ciの点から(ボールツリーを介して)cjの最寄りの隣人への平均距離を計算します。 0.77
Divide this average distance by ci.neighbor lengthscale. この平均距離を ci.neighbor lengthscale で割る。 0.79
if the resulting ratio ≤ neighbor lengthscale mult then 結果の比率が ≤ 隣り合う長さスケール mult なら 0.78
3: end for 4: for each pair of different-dimensiona l components (ci, cj), ci higher-dimensional do 5: 6: 7: 8: end if 9: 10: end for 11: Create a root node with edges to all components which do not enclose others. 3: end for 4: for each pair of different-dimensiona l components (ci, cj), ci higher-dimensional do 5: 6: 7: 8: end if 9: 10: end for 11: end for edge: Create a root node with a edges to all components that are not surroundeding others。 0.94
12: Transform the component enclosure DAG into a tree (where enclosing components are children of enclosed components) 12:コンポーネント囲いDAGをツリーに変換する(囲いコンポーネントが囲いコンポーネントの子供である)。 0.75
Set cj ∈ ci (cj is enclosed by ci) cj ∈ ci (cj は ci で囲まれる) をセットする 0.83
by deleting edges which: 1. are redundant because an intermediate edge exists, e.g. 1 が冗長である辺を削除することにより、例えば、中間辺が存在する。 0.65
if c1 ∈ c2 ∈ c3, we delete the edge between c1 and c3. c1 ∈ c2 ∈ c3 ならば、c1 と c3 の間の辺を削除する。 0.74
2. are ambiguous because a higher-dimensional component encloses multiple lower-dimensional components (i.e. 2) 高次元成分が複数の低次元成分(すなわち)を包含するため、不明瞭である。 0.59
has multiple parents). In that case, preserve only the edge with the lowest distance ratio. 複数の親を持つ)。 その場合、最も低い距離の比率でエッジのみを保存します。 0.73
13: Convert the resulting component enclosure tree into a dimension hierarchy: 13: 結果のコンポーネント囲い木を次元階層に変換する。 0.79
1. If the root node has only one child, set it to be the root. 1. ルートノードに1つの子しか持たない場合、それをルートとする。 0.75
Otherwise, begin with a dimension group with a single さもなければ、単元を持つ次元群から始める。 0.68
categorical dimension whose options point to groups containing each child. 選択肢がそれぞれの子供を含むグループを指すカテゴリー次元。 0.79
2. For the rest of the component tree, add continuous dimensions until the total number of continuous dimensions up 2. 成分木の残りの部分に対して、連続次元の総数が上がるまで連続次元を加える 0.84
to the root equals the component’s dimensionality. 根はコンポーネントの次元と等しい。 0.51
3. If a component has children, add a categorical dimension that includes those child groups as options (recursing 3. コンポーネントが子を持つ場合、その子グループをオプションとして含む分類的次元を追加する(再帰) 0.80
down the tree), along with an empty group ( ∅ ) option. ツリーの下に)、空のグループ( )オプションと一緒に。 0.74
14: return the dimension hierarchy 14: 次元階層を返します 0.87
Algorithm 8 HAEθ.encode(x; τ) 1: Encode x using any neural network architecture as a flat vector zpre, with size equal to the number of continuous アルゴリズム 8 haeθ.encode(x; τ) 1: 任意のニューラルネットワークアーキテクチャをフラットベクトルzpreとして、連続数に等しい大きさでエンコードする。 0.85
variables plus the number of categorical options in HAEθ.hierarchy. 変数とHAEθ.hierarchyのカテゴリオプションの数。 0.84
2: Associate each group of dimensions in the flat vector with variables in the hierarchy. 2: 平面ベクトル内の各次元群と階層内の変数を関連付ける。 0.74
3: For all of the categorical variables, pass their options through a softmax with temperature τ. 3: すべてのカテゴリー変数に対して、それらのオプションを温度 τ のソフトマックスに渡す。 0.74
4: Use the resulting vector to mask all components of zpre corresponding to variables below each option in 5: return the masked representation, separated into discrete a(cid:48), continuous z, as well as the mask m (for determining 4: 結果のベクトルを使用して、各オプション以下の変数に対応するzpreのすべてのコンポーネントを5でマスクする: マスク表現を返して、離散的なa(cid:48)、連続z、およびマスクm(決定のために)を分離する。 0.77
HAEθ.hierarchy. HAEθ.hierarchy 0.65
active dimensions later). Figure 6. 能動次元は後述)。 図6。 0.64
Comparison of the latent spaces learned by MIMOSA initial autoencoders with ReLU (top) vs. Softplus (bottom) activations. MIMOSA初期オートエンコーダがReLU(top)とSoftplus(bottom)アクティベーションで学習した潜在空間の比較。 0.66
Each plot shows encoded Chopsticks data samples colored by their ground-truth location in the dimension hierarchy. それぞれのプロットは、エンコードされたChopsticksデータサンプルを、次元階層内の接地位置で色付けする。 0.64
Because ReLU activations are non-differentiable at 0, the resulting latent manifolds contain sharp corners, which makes it difficult for MIMOSA’s local SVD procedure to merge points together into the correct components. ReLUアクティベーションは0で区別できないため、結果として生じる潜在多様体は鋭角を含むため、MIMOSAのローカルSVD手順がポイントを正しいコンポーネントにマージすることは困難になります。 0.71
英語(論文から抽出)日本語訳スコア
Benchmarks, Algorithms, and Metrics for Hierarchical Disentanglement 階層的ディエンタングルメントのためのベンチマーク、アルゴリズム、メトリクス 0.70
(a) Chopsticks Xes corrupted by Gaussian noise. (a) ガウス音によるチョップスティックXesの破損。 0.60
Figure 7. Mean runtimes and percentage breakdowns for COFHAE and MIMOSA on Chopsticks and Spaceshapes, based on Tensorflow implementations running on single GPUs (exact model varies between Tesla K80, Tesla V100, GeForce RTX 2080, etc). 図7。 単一のGPU上で動作するTensorflow実装(Tesla K80、Tesla V100、GeForce RTX 2080など)に基づくCOFHAEとMIMOSAの平均実行時間とパーセンテージのブレークダウン。 0.67
Runtimes tend to be dominated by COFHAE, which is similar in complexity to existing adversarial methods (e.g. ランタイムはCOFHAEに支配される傾向があり、これは既存の逆法(例えば)と類似している。 0.57
FactorVAE). FactorVAE)。 0.76
ber rather than a fraction). 分数ではなく ber です)。 0.54
We used 5 for Chopsticks and 3 for Spaceshapes. チョップスティックには5、スペースシャシーには3を使用しました。 0.48
Values above 20% of num nearest neighbors will likely produce poor results, and we found the greatest increases in robustness just going from 1 (or no contagion dynamics) to 2. 近辺の20%以上の値が貧弱な結果をもたらす可能性があり、1(または感染ダイナミクスなし)から2.5%に最も強いロバスト性の増加が見出された。 0.64
MergeComponents (Algorithm 6) MergeComponents (Algorithm 6) 0.85
• min size init - discard initial components smaller than this. • min サイズ init - 初期コンポーネントをこれよりも小さく破棄する。 0.86
We used 0.02% of the dataset size, or about 20 points. データセットのサイズは0.02%、約20ポイントでした。 0.65
This parameter helps speed up the algorithm (by reducing the number of pairwise comparisons) and avoids incorrect merges through single-point components. このパラメータは(ペア比較の数を減らすことで)アルゴリズムを高速化し、シングルポイントコンポーネントによる間違ったマージを避けるのに役立つ。 0.72
• min size merged - discard merged components smaller than this. • min サイズをマージ - これより小さいマージコンポーネントを破棄する。 0.74
We used 2% of the dataset size, or about 2000 points. データセットサイズの2%、約2000ポイントを使用しました。 0.68
This parameter helps exclude spurious high-dimensional interstitial points that appear at boundaries where low-dimensional components intersect. このパラメータは、低次元成分が交差する境界に現れるスプリアス高次元間質点を排除するのに役立ちます。 0.60
• min common edge frac(d) - the minimum fraction of edges that two manifold components must share in common to merge, as a function of dimensionality d. We used 2−d−1 + 2−d−2; this is based on the idea that two neighboring (possibly distorted) hypercubes of dimension d should match on one of their sides; since they have 2d sides, the fraction of matching edge points would be 2−d. 次元dの関数として、2−d−1 + 2−d−2を使用しました。これは、次元dの2つの隣接する(おそらく歪んだ)ハイパーキューブが1つの側面に一致すべきという考えに基づいています。
訳抜け防止モード: • min common edge frac(d ) - エッジの最小分数 2つの多様体コンポーネントは、マージと共通して共有する必要があります。 次元 d の関数として 2−d−1 + 2−d−2 を用いました。 2つの隣り合う(おそらく歪んだ)次元 d のハイパーキューブは、その片側で一致すべきである 2dの辺を持つので、一致した辺点の分数は2-dとなる。
0.76
However, for robustness (as not all components will be hypercubes, and even then some edge points may not match), we average this with the smaller fraction that a d+1 dimensional hypercube would need, or 2−d−1, for our resulting 2−d−1 + 2−d−2. しかし、堅牢性のために(すべてのコンポーネントがハイパーキューブであるわけではないし、エッジポイントが一致しないかもしれないので)、d+1次元のハイパーキューブが2−d−1 + 2−d−2を必要とするより小さい割合でこれを平均する。 0.65
We found that this choice was not critical in preliminary experiments, as matches were common for components with the same true assignments and rare for others, but it could become more important for sparse or noisy data. この選択は予備実験では重要ではなく、同じ真の割り当てを持つコンポーネントでは一致が一般的であり、他のコンポーネントでは稀だが、スパースデータやノイズデータではより重要になる可能性がある。 0.64
(b) Effect of noise on initial autoencoder Zs. (b) 初期オートエンコーダZsに対するノイズの影響 0.82
(c) Effect of noise on MIMOSA for two variants. (c)二つの変種に対するミモサに対する騒音の影響 0.81
Figure 8. Illustration of the sensitivity of MIMOSA to data noise. 図8。 データノイズに対するMIMOSAの感度のイラストレーション。 0.72
In preliminary experiments, we find that noise poses the greatest problem for identifying the lowest-dimensional components, e.g. 予備実験では、ノイズが低次元成分を識別するのに最も大きな問題となることが判明した。 0.66
the 1D components in (b) that end up being classified as 2D or 3D. b)の1Dコンポーネントは、2Dまたは3Dに分類されます。 0.86
Tuning parameters would help, but we lack labels to cross-validate. チューニングパラメータは役立ちますが、ラベルにはクロスバリデーションがありません。 0.53
ConstructHierarchy (Algorithm 7) ConstructHierarchy (Algorithm 7) 0.85
• neighbor lengthscale mult - the threshold for deciding whether a higher-dimensional component “encloses” a lower-dimensional component, expressed as a ratio of (1) the average distance from lower-dimensional component points to their nearest neighbors in the higher-dimensional component (inter-component distance), to (2) the average distance of points in the higher-dimensional component to their nearest neighbors in that same component (intracomponent distance). • 隣接長尺-高次元成分が低次元成分を「包含する」か否かを判定するための閾値で、(1)低次元成分点から高次元成分における最近傍までの平均距離(成分間距離)の比として表され、(2)同じ成分(成分間距離)における高次元成分の点の平均距離(成分間距離)。 0.85
We used 10, which we found was robust for our benchmarks, though it may need to be increased if ground-truth components are higherdimensional than those in our benchmarks. ベンチマークで堅牢であることが判明した10を使用していましたが、地平線コンポーネントがベンチマークのコンポーネントよりも高次元であれば、さらに高める必要があります。
訳抜け防止モード: 私たちは10を使いました。 見つけました ベンチマークでは頑丈でしたが 真理成分は我々のベンチマークよりも高次元である。
0.61
英語(論文から抽出)日本語訳スコア
Benchmarks, Algorithms, and Metrics for Hierarchical Disentanglement 階層的ディエンタングルメントのためのベンチマーク、アルゴリズム、メトリクス 0.70
Figure 9. Effect of varying different hyperparameters (and ablating different robustness techniques) on MIMOSA. 図9。 MIMOSAに対する異なるハイパーパラメータ(および異なる堅牢性技術を省略する)の影響。 0.76
Default values are shown with vertical gray dotted lines, and for each hyperparameter (top to bottom), average coverage (left), purity (middle), and H error (right) when deviating from defaults are shown for three versions of the Chopsticks dataset. デフォルト値は、垂直グレーの点線で示され、各ハイパーパラメータ(上から下)では、チョップスティックデータセットの3つのバージョンで、デフォルトから逸脱する際の平均カバレッジ(左)、純度(中)、およびHエラー(右)が表示されます。 0.74
Results suggest both a degree of robustness to changes (degradations tend not to be severe for small changes), but also the usefulness of various components; for example, results markedly improve on some datasets with contagion num>1 and ransac frac<1 (implying contagion dynamics and RANSAC both help). 結果は、変更に対する堅牢性の程度(小さな変更では劣化は深刻ではない傾向にある)だけでなく、さまざまなコンポーネントの有用性も示唆している。例えば、contagion num>1とrunsac frac<1(いずれも感染動態とRANSACが助けとなる)のあるデータセットで顕著に改善されている。 0.76
Many parameters exhibit tradeoffs between component purity and dataset coverage. 多くのパラメータは、コンポーネント純度とデータセットカバレッジの間のトレードオフを示します。 0.55
英語(論文から抽出)日本語訳スコア
Benchmarks, Algorithms, and Metrics for Hierarchical Disentanglement 階層的ディエンタングルメントのためのベンチマーク、アルゴリズム、メトリクス 0.70
Figure 10. A fuller version of main paper Fig. 図10。 メインペーパーのfigのフルバージョン。 0.63
4 showing COFHAE ablations on all datasets. すべてのデータセットでCOFHAEアブレーションを示す4。 0.67
Hierarchical disentanglement tends to be low for flat AEs (Flat), better with ground-truth hierarchy H (Hier H), and even better after adding supervision for ground-truth assignments A (H+A). 階層的絡み合いは平らなAE(Flat)では低い傾向にあり、接地トラスト階層H(Hier H)では良く、接地トラスト割り当てA(H+A)ではより良くなる傾向にある。 0.66
Adding a FactorVAE-style marginal TC penalty (H+A+T C(Z)) sometimes helps disentanglement, but making that TC penalty conditional (H+A+T C(Z|on), i.e. FactorVAE-style marginal TC penalty (H+A+T C(Z)) を加えると、しばしば絡み合うが、TC penalty conditional (H+A+T C(Z|on)) となる。 0.80
COFHAE) tends to help more, bringing it close to the near-optimal disentanglement of a hierarchical model whose latent representation is fully supervised (H+A+Z). COFHAE) はさらに助けになりがちで、潜在表現が完全に監督される階層モデル(H+A+Z)のほぼ最適解離に近づいた。 0.68
Partial exceptions include the hardest three datasets (Spaceshapes and depth-3 compound Chopsticks), where disentanglement is not consistently near 1; this may be due to non-identifiability or adversarial optimization difficulties. 部分的な例外としては、最も難しい3つのデータセット(SpaceshapesとDeep-3のコンパウンドチョップスティック)がある。
訳抜け防止モード: 部分的な例外には、最も難しい3つのデータセット (spaceshapes と depth-3 compound chopsticks ) がある。 絡み合いが一貫して 1 に近づかない場合 これは、非識別性や逆最適化の難しさによる可能性がある。
0.54
Figure 11. Varying disentanglement penalty hyperparameters for baseline algorithms (TCVAE and FactorVAE). 図11。 ベースラインアルゴリズム(TCVAEおよびFactorVAE)のための偏角ペナルティハイパーパラメータの変動。 0.72
In contrast to COFHAE, no setting produces near-optimal disentanglement, even sporadically. COFHAEとは対照的に、スポラジカルにさえも、ほぼ最適な絡み合いを生じさせる設定は存在しない。 0.42
英語(論文から抽出)日本語訳スコア
Benchmarks, Algorithms, and Metrics for Hierarchical Disentanglement 階層的ディエンタングルメントのためのベンチマーク、アルゴリズム、メトリクス 0.70
(a) AE pairwise histograms and R4/R4 (a)AE対ヒストグラムとR4/R4 0.72
c scores (b) TCVAE pairwise histograms and R4/R4 cスコア (b) TCVAEペアワイズヒストグラムとR4/R4 0.75
c scores (c) COFHAE pairwise histograms and R4/R4 cスコア (c) COFHAEペアワイズヒストグラムとR4/R4 0.75
c scores Figure 12. Pairwise histograms of ground-truth vs. learned variables for a flat autoencoder (top left), β-TCVAE (top right), and the bestperforming run of COFHAE (bottom) on Spaceshapes. cスコア 図12。 平らなオートエンコーダ(左上)、β-TCVAE(右上)、そしてSpaceshapes上でのCOFHAE(bottom)の最適実行について、地上構造と学習変数のペアワイズヒストグラムを用いて検討した。 0.71
Histograms are conditioned on both variables being active, and dimension-wise components of the R4 c score are shown on the right. ヒストグラムは、アクティブである両方の変数で調整され、R4 cスコアの寸法方向のコンポーネントが右側に表示されます。 0.65
β-TCVAE does a markedly better job disentangling certain components than the flat autoencoder, but in this case, COFHAE is able to fully disentangle the ground-truth by modeling the discrete hierarchical structure. β-TCVAEは、フラットオートエンコーダよりも特定のコンポーネントを解き放つのに非常に良い仕事をしますが、この場合、COFHAEは離散階層構造をモデル化することで地殻を完全に解き放つことができます。 0.60
See Fig. 13 for a latent traversal visualization. 図を参照。 13。 潜行路の可視化。 0.70
英語(論文から抽出)日本語訳スコア
Benchmarks, Algorithms, and Metrics for Hierarchical Disentanglement 階層的ディエンタングルメントのためのベンチマーク、アルゴリズム、メトリクス 0.70
Figure 13. Hierarchical latent traversal plot for the Spaceshapes COFHAE model shown in Fig. 図13。 図1に示すSpaceshapes COFHAEモデルのための階層的潜伏トラバーサルプロット。 0.73
12c. Individual latent traversals show the effects of linearly sweeping each active dimension from its 1st to 99th percentile value (center column shows the same input with intermediate values for all active dimensions). 12c 個々の潜在トラバーサルは、各活性次元を第1から第99のパーセンタイル値(中央カラムは全ての活性次元の中間値と同じ入力を示す)から線形に掃引する効果を示す。 0.80
Consistent with Fig. 12c, the model is not perfectly disentangled, though primary correspondences are clear: star shine is modeled by Z5, moon phase is modeled by Z8, ship angle is modeled by Z10, ship jetlen is modeled by Z12, and (x, y) are modeled by (Z3, Z4), (Z6, Z7), and (Z11, Z9) respectively for each shape. 図と一致する。 星相はZ5でモデル化され、月相はZ8でモデル化され、船の角度はZ10でモデル化され、船の角度はZ12でモデル化され、(x, y)は(Z3, Z4)、(Z6, Z7)、(Z11, Z9)は各形状でモデル化される。 0.72
Figure 14. Three different potential hierarchies for Spaceshapes which all have the same structure of variable groups and dimensionalities, but with different distributions of continuous variables across groups. 図14。 変数群と次元の同じ構造を持つが、群全体の連続変数の異なる分布を持つ空間形状に対する3つの異なるポテンシャル階層。 0.81
The ambiguity in this case is that the continuous variable that modifies each shape (phase, shine, angle) could either be a child of the corresponding shape category, or be “merged up” and combined into a single top-level continuous variable that controls the shape in different ways based on the category. この場合の曖昧さは、各形状(段階、輝き、角度)を変更する連続変数が対応する形状カテゴリの子であるか、または「マージ」され、カテゴリに基づいて異なる方法で形状を制御する単一のトップレベルの連続変数に結合されるということです。 0.83
Alternatively, the location variables x and y could instead be “pushed down” from the top level and duplicated across each shape category. あるいは、位置変数xとyをトップレベルから“プッシュダウン”して、各シェイプカテゴリをまたいで複製することも可能だ。 0.77
In each of these cases, the learned representation still arguably disentangles the ground-truth factors—in the sense that for any fixed categorical assignment, there is still 1:1 correspondence between all learned and ground-truth continuous factors. これらの各ケースにおいて、学習された表現は、未だに地下真理要因を解き放ちます。固定されたカテゴリーの割り当てに対しては、すべての学習と地下真理連続要因の間に1:1対応があるという意味です。 0.48
We deliberately design our R4 c and H-error metrics in §6 to be invariant to these transformations, leaving this specific disambiguation to future work. 私たちは意図的にR4 cとH-errorのメトリクスを6で設計し、これらの変換に不変であり、この特定の曖昧さを将来の作業に残します。 0.54
Figure 15. MIMOSA-learned initial encoding (left), components (middle), and hierarchy (right) for Spaceshapes. 図15。 MIMOSAによる最初のエンコーディング(左)、コンポーネント(中)、およびSpaceshapesの階層(右)。 0.78
Initial points are in 7 dimensions and projected to 3D for plotting. 初期点は7次元で、プロットのために3Dに投影される。 0.66
Three identified components are 3D and one is 4D. 3つのコンポーネントは3Dで、1つは4Dである。 0.55
Analogue of Fig. 2 in the main text. 図のアナローグ。 メインテキストで2。 0.54
英語(論文から抽出)日本語訳スコア
Benchmarks, Algorithms, and Metrics for Hierarchical Disentanglement 階層的ディエンタングルメントのためのベンチマーク、アルゴリズム、メトリクス 0.70
Figure 16. MIMOSA-learned initial encoding (left), 2D and 1D components (middle), and hierarchy (right) for depth-2 Chopsticks varying the slope. 図16。 MIMOSA-learned initial encoding (left), 2Dおよび1Dコンポーネント (middle), 階層 (right) for depth-2 Chopsticks different the slope。 0.82
Analogue of Fig. 2 in the main text. 図のアナローグ。 メインテキストで2。 0.54
Figure 17. MIMOSA-learned initial encoding (left), 2D, 1D, and 3D components (middle), and hierarchy (right) for depth-3 Chopsticks varying the slope. 図17。 MIMOSA-learned initial encoding (left), 2D, 1D, 3Dコンポーネント (middle), 階層 (right) for depth-3 Chopsticks different the slope。 0.78
Initial points are in 4 dimensions and projected to 3D for plotting. 初期点は4次元で、プロットのために3Dに投影される。 0.66
Analogue of Fig. 2 in the main text. 図のアナローグ。 メインテキストで2。 0.54
Figure 18. MIMOSA-learned initial encoding (left), 2D and 4D components (middle), and hierarchy (right) for depth-2 Chopsticks varying both slope and intercept. 図18。 MIMOSA-learned initial encoding (left), 2Dおよび4Dコンポーネント (middle), 階層 (right) for depth-2 Chopsticks different both slope and intercept。 0.81
Initial points are in 5 dimensions and projected to 3D for plotting. 初期点は5次元で、プロットのために3Dに投影される。 0.67
Analogue of Fig. 2 in the main text. 図のアナローグ。 メインテキストで2。 0.54
Figure 19. MIMOSA-learned initial encoding (left), 2D, 4D, and 6D components (middle), and hierarchy (right) for depth-2 Chopsticks varying both slope and intercept. 図19。 MIMOSA-learned initial encoding (left), 2D, 4D, 6D component (middle), 階層 (right) for depth-2 Chopsticks different both slope and intercept。 0.80
Initial points are in 7 dimensions and projected to 3D for plotting. 初期点は7次元で、プロットのために3Dに投影される。 0.66
Analogue of Fig. 2 in the main text. 図のアナローグ。 メインテキストで2。 0.54
Figure 20. MIMOSA-learned initial encoding (left), 1D-3D components (middle), and hierarchy (right) for depth-3 Chopsticks varying either slope or intercept. 図20。 MIMOSA-learned initial encoding (left), 1D-3D component (middle), 階層 (right) for depth-3 Chopsticks vary between slope or intercept。 0.84
Note that the learned hierarchy is not quite correct (two nodes at the deepest level are missing). 学習した階層はそれほど正しくない(最深部にある2つのノードが欠落している)。 0.72
Initial points are in 5 dimensions and projected to 3D. 初期点は5次元で、3Dに投影される。 0.73
Analogue of Fig. 2. 図のアナローグ。 2. 0.68
英語(論文から抽出)日本語訳スコア
Benchmarks, Algorithms, and Metrics for Hierarchical Disentanglement 階層的ディエンタングルメントのためのベンチマーク、アルゴリズム、メトリクス 0.70
Figure 21. Pairwise histograms of ground-truth vs. learned variables for COFHAE on the most complicated hierarchical benchmark (Chopsticks at a recursion depth of 3 varying either slope or intercept). 図21。 最も複雑な階層的ベンチマークで、COFHAEの地中構造と学習変数のペアワイズヒストグラムを解析した(Chopsticks at a recursion depth of three variants or intercept)。 0.79
Histograms are conditioned on both variables being active, and dimension-wise components of the R4 c score are shown on the right. ヒストグラムは、アクティブである両方の変数で調整され、R4 cスコアの寸法方向のコンポーネントが右側に表示されます。 0.65
Despite the depth of the hierarchy, COFHAE representations model it fairly well. 階層の深さにもかかわらず、COFHAE表現はそれをかなりうまくモデル化します。 0.63
                                         ページの最初に戻る

翻訳にはFugu-Machine Translatorを利用しています。