論文の概要: Linear Disentangled Representations and Unsupervised Action Estimation
- arxiv url: http://arxiv.org/abs/2008.07922v2
- Date: Tue, 15 Dec 2020 14:41:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-27 20:56:13.273994
- Title: Linear Disentangled Representations and Unsupervised Action Estimation
- Title（参考訳）: 線形不等角表現と教師なし動作推定
- Authors: Matthew Painter, Jonathon Hare and Adam Prugel-Bennett
- Abstract要約: 線形不整合表現は標準VAEモデルには一般的に存在しないことを示す。
本稿では,ラベル付けされたアクションシーケンスの必要性を回避し,既約表現を誘導する手法を提案する。
- 参考スコア（独自算出の注目度）: 2.793095554369282
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Disentangled representation learning has seen a surge in interest over recent
times, generally focusing on new models which optimise one of many disparate
disentanglement metrics. Symmetry Based Disentangled Representation learning
introduced a robust mathematical framework that defined precisely what is meant
by a "linear disentangled representation". This framework determined that such
representations would depend on a particular decomposition of the symmetry
group acting on the data, showing that actions would manifest through
irreducible group representations acting on independent representational
subspaces. Caselles-Dupre et al [2019] subsequently proposed the first model to
induce and demonstrate a linear disentangled representation in a VAE model. In
this work we empirically show that linear disentangled representations are not
generally present in standard VAE models and that they instead require altering
the loss landscape to induce them. We proceed to show that such representations
are a desirable property with regard to classical disentanglement metrics.
Finally we propose a method to induce irreducible representations which forgoes
the need for labelled action sequences, as was required by prior work. We
explore a number of properties of this method, including the ability to learn
from action sequences without knowledge of intermediate states and robustness
under visual noise. We also demonstrate that it can successfully learn 4
independent symmetries directly from pixels.
- Abstract（参考訳）: ディスタングル付き表現学習は近年、多くの異なるディアングルメント指標の1つを最適化する新しいモデルに重点を置いて、関心が高まりつつある。
対称性に基づく不整合表現学習は「線形不整合表現」の意味を正確に定義した頑健な数学的枠組みを導入した。
この枠組みは、そのような表現はデータに作用する対称性群の特定の分解に依存し、独立表現部分空間に作用する既約群表現を通して作用が現れることを示した。
Caselles-Dupre et al [2019] は後に VAE モデルにおいて線形不整合表現を誘導し示す最初のモデルを提案した。
本研究では、線形不等角表現は一般に標準vaeモデルには存在せず、その代わりに損失景観を変更する必要があることを実証的に示す。
このような表現が古典的絡み合いの指標に関して望ましい性質であることを示す。
最後に,先行研究で要求されるようにラベル付きアクションシーケンスの必要性をなくし,既約表現を誘導する手法を提案する。
本手法は,中間状態の知識や視覚雑音下でのロバスト性のない動作列から学習する能力を含む,様々な特性を探索する。
また,画素から4つの独立した対称性を直接学習できることを示す。
関連論文リスト
- On the Origins of Linear Representations in Large Language Models [51.88404605700344]
我々は,次のトークン予測の概念力学を定式化するために,単純な潜在変数モデルを導入する。
実験により、潜在変数モデルと一致するデータから学習すると線形表現が現れることが示された。
また、LLaMA-2大言語モデルを用いて、理論のいくつかの予測を検証した。
論文 参考訳（メタデータ） (2024-03-06T17:17:36Z) - A U-turn on Double Descent: Rethinking Parameter Counting in Statistical
Learning [68.76846801719095]
二重降下がいつどこで起こるのかを正確に示し、その位置が本質的に閾値 p=n に結び付けられていないことを示す。
これは二重降下と統計的直観の間の緊張を解消する。
論文 参考訳（メタデータ） (2023-10-29T12:05:39Z) - Learning Disentangled Discrete Representations [22.5004558029479]
本稿では,標準ガウス変分オートエンコーダをカテゴリー変分オートエンコーダに置き換えることで,離散潜在空間と非交分表現の関係を示す。
本研究では,非絡み合った表現を学習する上で,個別のVAEの利点を示す分析的および実証的な知見を提供する。
論文 参考訳（メタデータ） (2023-07-26T12:29:58Z) - Learning nonparametric latent causal graphs with unknown interventions [18.6470340274888]
潜在因果グラフが非パラメトリック同定可能な条件を確立する。
隠れ変数の数は分かっていないと仮定し、隠された変数に対して少なくとも1つの未知の介入が必要であることを示す。
論文 参考訳（メタデータ） (2023-06-05T14:06:35Z) - Log-linear Guardedness and its Implications [116.87322784046926]
線形性を仮定する神経表現から人間の解釈可能な概念を消去する方法は、抽出可能で有用であることが判明した。
この研究は、対数線ガードネスの概念を、敵が表現から直接その概念を予測することができないものとして正式に定義している。
バイナリの場合、ある仮定の下では、下流の対数線形モデルでは消去された概念を復元できないことを示す。
論文 参考訳（メタデータ） (2022-10-18T17:30:02Z) - Efficient Iterative Amortized Inference for Learning Symmetric and
Disentangled Multi-Object Representations [8.163697683448811]
本稿では,オブジェクト中心表現の教師なし学習のための効率的なフレームワークであるEfficientMORLを紹介する。
対称性と非絡み合いの両方を必要とすることによる最適化の課題は、高コスト反復的償却推論によって解決できることを示す。
標準のマルチオブジェクト・ベンチマークでは,強いオブジェクト分解と歪みを示しながら,ほぼ1桁の高速なトレーニングとテスト時間推定を実現している。
論文 参考訳（メタデータ） (2021-06-07T14:02:49Z) - Disentangled Representations from Non-Disentangled Models [25.272389610447856]
本稿では,不整合表現への代替経路について検討する。
そこで本研究では,これらの表現を,目的語を曖昧にすることなく訓練した最先端の生成モデルから抽出することを提案する。
論文 参考訳（メタデータ） (2021-02-11T18:59:43Z) - Joint Estimation of Image Representations and their Lie Invariants [57.3768308075675]
画像は世界の状態とコンテンツの両方をエンコードする。
この情報の自動抽出は、画像表現に固有の高次元かつ絡み合った符号化のために困難である。
本稿では,これらの課題の解決を目的とした2つの理論的アプローチを紹介する。
論文 参考訳（メタデータ） (2020-12-05T00:07:41Z) - Learning Disentangled Representations with Latent Variation
Predictability [102.4163768995288]
本稿では,潜在不整合表現の変動予測可能性について述べる。
逆生成プロセス内では、潜時変動と対応する画像対の相互情報を最大化することにより、変動予測可能性を高める。
本研究では,潜在表現の絡み合いを測るために,基礎的構造的生成因子に依存しない評価指標を開発する。
論文 参考訳（メタデータ） (2020-07-25T08:54:26Z) - Deep Dimension Reduction for Supervised Representation Learning [51.10448064423656]
本研究は,本質的な特徴を持つ学習表現の次元削減手法を提案する。
提案手法は, 十分次元還元法の非パラメトリック一般化である。
推定された深度非パラメトリック表現は、その余剰リスクが0に収束するという意味で一貫したものであることを示す。
論文 参考訳（メタデータ） (2020-06-10T14:47:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。