論文の概要: Weakly Supervised Representation Learning with Sparse Perturbations

• arxiv url: http://arxiv.org/abs/2206.01101v1
• Date: Thu, 2 Jun 2022 15:30:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-03 13:55:45.577882
• Title: Weakly Supervised Representation Learning with Sparse Perturbations
• Title（参考訳）: スパース摂動を用いた弱教師付き表現学習
• Authors: Kartik Ahuja, Jason Hartford, Yoshua Bengio
• Abstract要約: 潜伏変数のスパース摂動によって生じる観測の監督が弱い場合、未知の連続潜伏分布の下で識別が達成可能であることを示す。 本稿では,この理論に基づく自然な推定手法を提案し,それを低次元の合成および画像に基づく実験で説明する。
• 参考スコア（独自算出の注目度）: 82.39171485023276
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The theory of representation learning aims to build methods that provably invert the data generating process with minimal domain knowledge or any source of supervision. Most prior approaches require strong distributional assumptions on the latent variables and weak supervision (auxiliary information such as timestamps) to provide provable identification guarantees. In this work, we show that if one has weak supervision from observations generated by sparse perturbations of the latent variables--e.g. images in a reinforcement learning environment where actions move individual sprites--identification is achievable under unknown continuous latent distributions. We show that if the perturbations are applied only on mutually exclusive blocks of latents, we identify the latents up to those blocks. We also show that if these perturbation blocks overlap, we identify latents up to the smallest blocks shared across perturbations. Consequently, if there are blocks that intersect in one latent variable only, then such latents are identified up to permutation and scaling. We propose a natural estimation procedure based on this theory and illustrate it on low-dimensional synthetic and image-based experiments.
• Abstract（参考訳）: 表現学習の理論は、最小限のドメイン知識を持つデータ生成プロセスを確実に逆転させる手法を構築することを目的としている。 従来のほとんどのアプローチは、証明可能な識別保証を提供するために、潜伏変数に対する強い分布仮定と弱い監督(タイムスタンプのような外部情報)を必要とする。 本研究は,潜伏変数のスパース摂動によって生じる観測から,弱い監督が得られている場合,例えば,個別のスプライトを移動させる強化学習環境における画像は,未知の連続潜伏分布下で識別可能であることを示す。 摂動が相互に排他的な潜在項のブロックにのみ適用される場合、それらのブロックまでの潜在項を識別する。 また、これらの摂動ブロックが重なり合う場合、摂動間で共有される最小のブロックまでの潜伏を識別する。 したがって、1つの潜在変数のみに交差するブロックがある場合、そのような潜在変数は置換とスケーリングまで識別される。 本稿では,この理論に基づく自然推定手法を提案し,低次元合成および画像ベース実験について述べる。

関連論文リスト

• Learning Discrete Latent Variable Structures with Tensor Rank Conditions [30.292492090200984]
  観測されていない離散データは、多くの科学分野においてユビキタスであり、これらの潜伏変数の因果構造を学習する方法は、データパターンを明らかにするために不可欠である。 ほとんどの研究は線形潜在変数モデルに焦点を当てたり、非線型関係や複素潜在構造を含む離散データにおけるケースに対処できない潜在構造に厳密な制約を課す。 観測変数集合 $mathbfX_p$ に対するテンソル階数条件を探索し、その階数が特定の条件集合の最小サポートによって決定されることを示す。 異なる観測変数のランクを探索することで、潜伏変数を特定できる。
  論文  参考訳（メタデータ） (2024-06-11T07:25:17Z)
• On the Identification of Temporally Causal Representation with Instantaneous Dependence [50.14432597910128]
  時間的因果表現学習は時系列観測から潜在因果過程を特定することを目的としている。 ほとんどの方法は、潜在因果過程が即時関係を持たないという仮定を必要とする。 我々は,インスタントtextbfOus textbfLatent dynamics のための textbfIDentification フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-24T08:08:05Z)
• Nonparametric Partial Disentanglement via Mechanism Sparsity: Sparse Actions, Interventions and Sparse Temporal Dependencies [58.179981892921056]
  この研究は、メカニズムのスパーシティ正則化(英語版)と呼ばれる、アンタングルメントの新たな原理を導入する。 本稿では,潜在要因を同時に学習することで,絡み合いを誘発する表現学習手法を提案する。 学習した因果グラフをスパースに規則化することにより、潜伏因子を復元できることを示す。
  論文  参考訳（メタデータ） (2024-01-10T02:38:21Z)
• Stochastic Vision Transformers with Wasserstein Distance-Aware Attention [8.407731308079025]
  自己教師付き学習は、限られたラベル付きデータから知識を得るための最も有望なアプローチの1つである。 我々は、不確実性と距離認識を自己教師付き学習パイプラインに統合する新しいビジョントランスフォーマーを導入する。 提案手法は,多種多様なデータセットを対象とした多種多様な実験において,自己教師付きベースラインを超える精度とキャリブレーションを実現する。
  論文  参考訳（メタデータ） (2023-11-30T15:53:37Z)
• Learning Sparse Latent Representations for Generator Model [7.467412443287767]
  そこで本研究では,ジェネレータモデルの潜在空間に空間空間を強制する教師なし学習手法を提案する。 我々のモデルは1つのトップダウンジェネレータネットワークから成り、潜在変数を観測データにマッピングする。
  論文  参考訳（メタデータ） (2022-09-20T18:58:24Z)
• Learning Conditional Invariance through Cycle Consistency [60.85059977904014]
  本稿では,データセットの変動の有意義な要因と独立な要因を識別する新しい手法を提案する。 提案手法は,対象プロパティと残りの入力情報に対する2つの別個の潜在部分空間を含む。 我々は,より意味のある因子を同定し,よりスペーサーや解釈可能なモデルに導く合成および分子データについて実証する。
  論文  参考訳（メタデータ） (2021-11-25T17:33:12Z)
• Where and What? Examining Interpretable Disentangled Representations [96.32813624341833]
  解釈可能なバリエーションの獲得は、長い間、絡み合い学習の目標の1つだった。 独立性の仮定と異なり、解釈性は教師なしの設定での絡み合いを促進するために使われることは滅多にない。 本論文では, 解釈対象と解釈対象の2つの質問について検討し, 離散表現の解釈可能性を検討する。
  論文  参考訳（メタデータ） (2021-04-07T11:22:02Z)
• Learning Disentangled Representations with Latent Variation Predictability [102.4163768995288]
  本稿では,潜在不整合表現の変動予測可能性について述べる。 逆生成プロセス内では、潜時変動と対応する画像対の相互情報を最大化することにより、変動予測可能性を高める。 本研究では,潜在表現の絡み合いを測るために,基礎的構造的生成因子に依存しない評価指標を開発する。
  論文  参考訳（メタデータ） (2020-07-25T08:54:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。