論文の概要: A Sober Look at the Unsupervised Learning of Disentangled
Representations and their Evaluation
- arxiv url: http://arxiv.org/abs/2010.14766v1
- Date: Tue, 27 Oct 2020 10:17:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-02 11:29:56.600770
- Title: A Sober Look at the Unsupervised Learning of Disentangled
Representations and their Evaluation
- Title（参考訳）: 不連続表現の教師なし学習とその評価
- Authors: Francesco Locatello, Stefan Bauer, Mario Lucic, Gunnar R\"atsch,
Sylvain Gelly, Bernhard Sch\"olkopf, Olivier Bachem
- Abstract要約: モデルとデータの両方に帰納的バイアスを伴わずに,非教師なしの非教師付き表現学習は不可能であることを示す。
異なる手法は、対応する損失によって「強化」された特性を効果的に強制するが、よく見分けられたモデルは監督なしでは特定できないように見える。
以上の結果から,遠絡学習における今後の研究は,帰納的バイアスと(単純に)監督の役割を明確化すべきであることが示唆された。
- 参考スコア（独自算出の注目度）: 63.042651834453544
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The idea behind the \emph{unsupervised} learning of \emph{disentangled}
representations is that real-world data is generated by a few explanatory
factors of variation which can be recovered by unsupervised learning
algorithms. In this paper, we provide a sober look at recent progress in the
field and challenge some common assumptions. We first theoretically show that
the unsupervised learning of disentangled representations is fundamentally
impossible without inductive biases on both the models and the data. Then, we
train over $14000$ models covering most prominent methods and evaluation
metrics in a reproducible large-scale experimental study on eight data sets. We
observe that while the different methods successfully enforce properties
"encouraged" by the corresponding losses, well-disentangled models seemingly
cannot be identified without supervision. Furthermore, different evaluation
metrics do not always agree on what should be considered "disentangled" and
exhibit systematic differences in the estimation. Finally, increased
disentanglement does not seem to necessarily lead to a decreased sample
complexity of learning for downstream tasks. Our results suggest that future
work on disentanglement learning should be explicit about the role of inductive
biases and (implicit) supervision, investigate concrete benefits of enforcing
disentanglement of the learned representations, and consider a reproducible
experimental setup covering several data sets.
- Abstract（参考訳）: emph{unsupervised} learning of \emph{disentangled} representationsの背景にある考え方は、実世界のデータは、教師なし学習アルゴリズムによって復元できるいくつかの説明的要因によって生成されることである。
本稿では,最近のこの分野の進展を概観し,いくつかの共通前提に挑戦する。
まず,不連続表現の教師なし学習は,モデルとデータの両方に帰納的バイアスを伴わずに,基本的に不可能であることを示す。
そして、8つのデータセットに関する再現可能な大規模実験において、最も顕著な手法と評価指標をカバーする14,000ドル以上のモデルをトレーニングする。
異なる手法は、対応する損失によって「強化」された特性をうまく強制するが、よく見分けられたモデルは監督なしでは識別できない。
さらに、異なる評価指標は「不連続」と見なされるべきものについて必ずしも一致せず、その推定において系統的な違いを示す。
最後に、乱れが増加すると、下流タスクの学習のサンプル複雑さが低下するとは限らない。
本研究は,インダクティブバイアスと(簡易)監督の役割を明記し,学習表現の絡み合いを強制する具体的な利点について検討し,複数のデータセットをカバーする再現可能な実験的な設定を検討することを目的とする。
関連論文リスト
- Unsupervised Representation Learning for Time Series: A Review [20.00853543048447]
教師なし表現学習アプローチは、すべてのサンプルに注釈をつけることなく、ラベルのないデータから識別的特徴表現を学習することを目的としている。
本稿では,現在急速に進化している時系列の非教師なし表現学習手法の文献レビューを行う。
我々は9つの異なる実世界のデータセットに基づいて、最先端のアプローチ、特に急速に進化するコントラスト学習手法を実証的に評価した。
論文 参考訳（メタデータ） (2023-08-03T07:28:06Z) - Unsupervised Few-shot Learning via Deep Laplacian Eigenmaps [13.6555672824229]
深層ラプラシア固有写像を用いた教師なし数ショット学習法を提案する。
本手法は,類似したサンプルをグループ化することで,ラベルのないデータから表現を学習する。
我々は、教師なし学習において、ラプラシアン固有写像が崩壊した表現をいかに避けるかを解析的に示す。
論文 参考訳（メタデータ） (2022-10-07T14:53:03Z) - An Empirical Study on Disentanglement of Negative-free Contrastive
Learning [9.52192693120765]
我々は、このジャンルの自己監督的手法の非絡み合い特性を研究するために、異なる非負のコントラスト学習手法を採っている。
本稿では,表現とデータ要素間の相互情報に基づく新しい絡み合い尺度を提案する。
本研究は,提案手法が表現の相反する部分集合を学習できることを示唆する。
論文 参考訳（メタデータ） (2022-06-09T20:25:34Z) - Agree to Disagree: Diversity through Disagreement for Better
Transferability [54.308327969778155]
本稿では,D-BAT(Diversity-By-dis-Agreement Training)を提案する。
我々は、D-BATが一般化された相違の概念から自然に現れることを示す。
論文 参考訳（メタデータ） (2022-02-09T12:03:02Z) - Desiderata for Representation Learning: A Causal Perspective [104.3711759578494]
我々は表現学習の因果的視点を採り、非純粋性と効率性(教師なし表現学習)と非教師なし表現学習(教師なし表現学習)を定式化する。
これは、関心のデシダータを満たす程度を計算可能なメトリクスで評価し、単一の観測データセットから不純物や不整合表現を学習する。
論文 参考訳（メタデータ） (2021-09-08T17:33:54Z) - Unsupervised Embedding Learning from Uncertainty Momentum Modeling [37.674449317054716]
本研究では,与えられた未ラベル学習サンプルの不確かさを明示的にモデル化し,探索する新しい手法を提案する。
このような不確実性モデリングのモーメントを学習に利用し、アウトレーヤに取り組むのに役立ちます。
論文 参考訳（メタデータ） (2021-07-19T14:06:19Z) - Disambiguation of weak supervision with exponential convergence rates [88.99819200562784]
教師付き学習では、データは不完全で差別的な情報で注釈付けされる。
本稿では,ある入力から潜在的な対象のセットが与えられる弱い監督の事例である部分的ラベリングに焦点を当てる。
弱い監督から完全な監督を回復する実証的曖昧化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-02-04T18:14:32Z) - Odd-One-Out Representation Learning [1.6822770693792826]
ランダム・ワン・アウト観測に基づく下流の弱教師付きタスクがモデル選択に適していることを示す。
また,この課題を高度に遂行する,目覚しいメトリック学習型VAEモデルが,他の標準の教師なしおよび弱教師付きアンタングルメントモデルよりも優れていることを示す。
論文 参考訳（メタデータ） (2020-12-14T22:01:15Z) - A Commentary on the Unsupervised Learning of Disentangled
Representations [63.042651834453544]
不整合表現の教師なし学習の目標は、データの変化の独立した説明的要因を、監督にアクセスできることなく分離することである。
本稿では,非教師なしの非教師付き表現の学習が帰納的バイアスなしでは基本的に不可能であることを示す理論的結果について議論する。
論文 参考訳（メタデータ） (2020-07-28T13:13:45Z) - Weakly-Supervised Disentanglement Without Compromises [53.55580957483103]
インテリジェントエージェントは、環境の変化を観察することで、有用な表現を学べるべきである。
変動の要因の少なくとも1つを共有する非I.d.画像のペアとしてそのような観測をモデル化する。
我々は,どの因子が変化したかのみを知るだけで,非絡み合った表現を学ぶのに十分であることを示す。
論文 参考訳（メタデータ） (2020-02-07T16:39:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。