論文の概要: On Pitfalls of Identifiability in Unsupervised Learning. A Note on: "Desiderata for Representation Learning: A Causal Perspective"

• arxiv url: http://arxiv.org/abs/2202.06844v1
• Date: Mon, 14 Feb 2022 16:27:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-15 14:04:48.671782
• Title: On Pitfalls of Identifiability in Unsupervised Learning. A Note on: "Desiderata for Representation Learning: A Causal Perspective"
• Title（参考訳）: 教師なし学習における識別可能性の落とし穴について 表象学習のためのデシデラタ:因果的視点
• Authors: Shubhangi Ghosh, Luigi Gresele, Julius von K\"ugelgen, Michel Besserve, Bernhard Sch\"olkopf
• Abstract要約: Desiderata for Representation Learning: A Causal Perspective" で提示された識別可能性の潜在的な失敗事例について論じる。 この構造は非線形独立成分分析の理論に基づいている。
• 参考スコア（独自算出の注目度）: 10.934595072086324
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model identifiability is a desirable property in the context of unsupervised representation learning. In absence thereof, different models may be observationally indistinguishable while yielding representations that are nontrivially related to one another, thus making the recovery of a ground truth generative model fundamentally impossible, as often shown through suitably constructed counterexamples. In this note, we discuss one such construction, illustrating a potential failure case of an identifiability result presented in "Desiderata for Representation Learning: A Causal Perspective" by Wang & Jordan (2021). The construction is based on the theory of nonlinear independent component analysis. We comment on implications of this and other counterexamples for identifiable representation learning.
• Abstract（参考訳）: モデル識別性は教師なし表現学習の文脈において望ましい性質である。 その存在下では、異なるモデルは観察的に区別できないが、相互に自明に関連しない表現が得られるため、基底真理生成モデルの回復は基本的に不可能であり、適切に構築された反例によってしばしば示される。 本稿では,Wang & Jordan (2021) の "Desiderata for Representation Learning: A Causal Perspective" で提示された識別可能性の潜在的な失敗事例について考察する。 この構造は非線形独立成分分析の理論に基づいている。 我々は、これとその他の表現学習の反例についてコメントする。

関連論文リスト

• Position: Understanding LLMs Requires More Than Statistical Generalization [14.059192372377417]
  LLMの望ましい性質のいくつかは、良い統計一般化の結果ではないと論じる。 我々の中心的な議論は、AR確率モデルは本質的には識別できないという観察に依存している。
  論文  参考訳（メタデータ） (2024-05-03T09:41:39Z)
• Learning nonparametric latent causal graphs with unknown interventions [18.6470340274888]
  潜在因果グラフが非パラメトリック同定可能な条件を確立する。 隠れ変数の数は分かっていないと仮定し、隠された変数に対して少なくとも1つの未知の介入が必要であることを示す。
  論文  参考訳（メタデータ） (2023-06-05T14:06:35Z)
• Nonparametric Identifiability of Causal Representations from Unknown Interventions [63.1354734978244]
  本研究では, 因果表現学習, 潜伏因果変数を推定するタスク, およびそれらの変数の混合から因果関係を考察する。 我々のゴールは、根底にある真理潜入者とその因果グラフの両方を、介入データから解決不可能なあいまいさの集合まで識別することである。
  論文  参考訳（メタデータ） (2023-06-01T10:51:58Z)
• Provably Learning Object-Centric Representations [25.152680199034215]
  我々は、オブジェクト中心の表現がいつ、監督なしに確実に学習できるかを分析する。 そこで本研究では, 基本構造オブジェクト表現が可逆的, 構成的推論モデルによって識別可能であることを証明した。 我々は、既存の対象中心モデルに対して、我々の理論が予測力を持つ証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-23T16:44:49Z)
• Log-linear Guardedness and its Implications [116.87322784046926]
  線形性を仮定する神経表現から人間の解釈可能な概念を消去する方法は、抽出可能で有用であることが判明した。 この研究は、対数線ガードネスの概念を、敵が表現から直接その概念を予測することができないものとして正式に定義している。 バイナリの場合、ある仮定の下では、下流の対数線形モデルでは消去された概念を復元できないことを示す。
  論文  参考訳（メタデータ） (2022-10-18T17:30:02Z)
• Desiderata for Representation Learning: A Causal Perspective [104.3711759578494]
  我々は表現学習の因果的視点を採り、非純粋性と効率性(教師なし表現学習)と非教師なし表現学習(教師なし表現学習)を定式化する。 これは、関心のデシダータを満たす程度を計算可能なメトリクスで評価し、単一の観測データセットから不純物や不整合表現を学習する。
  論文  参考訳（メタデータ） (2021-09-08T17:33:54Z)
• Contrastive Learning Inverts the Data Generating Process [36.30995987986073]
  一般に使用されるインフォアンスファミリーに属する目標で訓練されたフィードフォワードモデルは、観測データの基底となる生成モデルを暗黙的に反転させることを学習する。 本理論は, コントラスト学習, 生成モデル, 非線形独立成分分析の基本的な関係を明らかにする。
  論文  参考訳（メタデータ） (2021-02-17T16:21:54Z)
• A Sober Look at the Unsupervised Learning of Disentangled Representations and their Evaluation [63.042651834453544]
  モデルとデータの両方に帰納的バイアスを伴わずに,非教師なしの非教師付き表現学習は不可能であることを示す。 異なる手法は、対応する損失によって「強化」された特性を効果的に強制するが、よく見分けられたモデルは監督なしでは特定できないように見える。 以上の結果から,遠絡学習における今後の研究は,帰納的バイアスと(単純に)監督の役割を明確化すべきであることが示唆された。
  論文  参考訳（メタデータ） (2020-10-27T10:17:15Z)
• A Commentary on the Unsupervised Learning of Disentangled Representations [63.042651834453544]
  不整合表現の教師なし学習の目標は、データの変化の独立した説明的要因を、監督にアクセスできることなく分離することである。 本稿では,非教師なしの非教師付き表現の学習が帰納的バイアスなしでは基本的に不可能であることを示す理論的結果について議論する。
  論文  参考訳（メタデータ） (2020-07-28T13:13:45Z)
• Weakly-Supervised Disentanglement Without Compromises [53.55580957483103]
  インテリジェントエージェントは、環境の変化を観察することで、有用な表現を学べるべきである。 変動の要因の少なくとも1つを共有する非I.d.画像のペアとしてそのような観測をモデル化する。 我々は,どの因子が変化したかのみを知るだけで,非絡み合った表現を学ぶのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-02-07T16:39:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。