論文の概要: Properties from Mechanisms: An Equivariance Perspective on Identifiable Representation Learning

• arxiv url: http://arxiv.org/abs/2110.15796v1
• Date: Fri, 29 Oct 2021 14:04:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-01 13:42:15.998638
• Title: Properties from Mechanisms: An Equivariance Perspective on Identifiable Representation Learning
• Title（参考訳）: メカニズムからの特質:同一性表現学習における等分散的視点
• Authors: Kartik Ahuja, Jason Hartford, Yoshua Bengio
• Abstract要約: 教師なし表現学習の主な目標は、データ生成プロセスが潜在プロパティを回復するために「反転」することである。 この論文は「進化を支配するメカニズムの知識を活用して潜伏特性を識別するのか?」と問う。 我々は、可能なメカニズムの集合に関する知識が異なるため、不特定性の原因の完全な特徴づけを提供する。
• 参考スコア（独自算出の注目度）: 79.4957965474334
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A key goal of unsupervised representation learning is "inverting" a data generating process to recover its latent properties. Existing work that provably achieves this goal relies on strong assumptions on relationships between the latent variables (e.g., independence conditional on auxiliary information). In this paper, we take a very different perspective on the problem and ask, "Can we instead identify latent properties by leveraging knowledge of the mechanisms that govern their evolution?" We provide a complete characterization of the sources of non-identifiability as we vary knowledge about a set of possible mechanisms. In particular, we prove that if we know the exact mechanisms under which the latent properties evolve, then identification can be achieved up to any equivariances that are shared by the underlying mechanisms. We generalize this characterization to settings where we only know some hypothesis class over possible mechanisms, as well as settings where the mechanisms are stochastic. We demonstrate the power of this mechanism-based perspective by showing that we can leverage our results to generalize existing identifiable representation learning results. These results suggest that by exploiting inductive biases on mechanisms, it is possible to design a range of new identifiable representation learning approaches.
• Abstract（参考訳）: 教師なし表現学習の鍵となるゴールは、データ生成プロセスが潜在プロパティを回復するために「反転」することである。 この目的を確実に達成する既存の作業は、潜伏変数間の関係(例えば補助情報に基づく独立条件)に関する強い仮定に依存する。 本稿では,問題に対する考え方をまったく異なるものにし,「進化を支配するメカニズムの知識を活用して,潜伏特性を識別するのか?」と問う。 我々は、可能な一連のメカニズムに関する知識が異なるため、非識別可能性の源の完全な特徴付けを提供する。 特に、潜在性が進化する正確なメカニズムを知っていれば、基礎となるメカニズムによって共有される任意の同値性まで識別することができることが証明される。 この特徴を、可能なメカニズム上の仮説クラスのみを知っている設定と、そのメカニズムが確率的である設定に一般化します。 我々は,このメカニズムに基づく視点の力を実演し,既存の識別可能な表現学習結果を一般化できることを示す。 これらの結果は,メカニズムの帰納的バイアスを利用して,新しい表現学習手法を設計できることを示唆している。

関連論文リスト

• Identifiable Representation and Model Learning for Latent Dynamic Systems [0.0]
  本稿では,潜在力学系における表現とモデル学習の問題について検討する。 線形あるいはアフィン非線形潜在力学系に対して、スケーリングまでの表現を同定し、いくつかの単純な変換までモデルを決定できることを証明した。
  論文  参考訳（メタデータ） (2024-10-23T13:55:42Z)
• Identifiable Exchangeable Mechanisms for Causal Structure and Representation Learning [54.69189620971405]
  IEM(Identible Exchangeable Mechanisms)と呼ばれる,表現と構造学習のための統合フレームワークを提供する。 IEMは、交換可能な非i.d.データにおける因果構造同定に必要な条件を緩和する新しい洞察を提供する。 また、認識可能な表現学習における双対性条件の存在を実証し、新たな識別可能性結果をもたらす。
  論文  参考訳（メタデータ） (2024-06-20T13:30:25Z)
• Binding Dynamics in Rotating Features [72.80071820194273]
  本稿では,特徴間のアライメントを明示的に計算し,それに応じて重みを調整する「コサイン結合」機構を提案する。 これにより、自己注意と生物学的神経プロセスに直接接続し、回転する特徴に現れるオブジェクト中心の表現の基本的なダイナミクスに光を当てることができます。
  論文  参考訳（メタデータ） (2024-02-08T12:31:08Z)
• Nonparametric Partial Disentanglement via Mechanism Sparsity: Sparse Actions, Interventions and Sparse Temporal Dependencies [58.179981892921056]
  この研究は、メカニズムのスパーシティ正則化(英語版)と呼ばれる、アンタングルメントの新たな原理を導入する。 本稿では,潜在要因を同時に学習することで,絡み合いを誘発する表現学習手法を提案する。 学習した因果グラフをスパースに規則化することにより、潜伏因子を復元できることを示す。
  論文  参考訳（メタデータ） (2024-01-10T02:38:21Z)
• Attention: Marginal Probability is All You Need? [0.0]
  我々は、注意機構のための代替ベイズ基盤を提案する。 機械学習において、どのように異なる注目アーキテクチャを統合するかを示す。 この研究が、より洗練された直感を注目アーキテクチャの重要な特性に導くことを願っています。
  論文  参考訳（メタデータ） (2023-04-07T14:38:39Z)
• Counterfactual Inference of Second Opinions [13.93477033094828]
  専門家から第二の意見を推測できる自動意思決定支援システムは、リソースのより効率的な割り当てを促進する可能性がある。 本稿では, 対実的推論の観点から, この種の支援システムの設計について考察する。 合成データと実データの両方の実験により、我々のモデルは、その非因果的データよりも正確に第2の意見を推測することができることを示した。
  論文  参考訳（メタデータ） (2022-03-16T14:40:41Z)
• Discovering Latent Causal Variables via Mechanism Sparsity: A New Principle for Nonlinear ICA [81.4991350761909]
  ICA(Independent component analysis)は、この目的を定式化し、実用的な応用のための推定手順を提供する手法の集合を指す。 潜伏変数は、潜伏機構をスパースに正則化すれば、置換まで復元可能であることを示す。
  論文  参考訳（メタデータ） (2021-07-21T14:22:14Z)
• Transformers with Competitive Ensembles of Independent Mechanisms [97.93090139318294]
  隠れた表現とパラメータを複数のメカニズムに分割し、注意を通して情報を交換する新しいトランスフォーマー層を提案する。 TIM を大規模 BERT モデル、画像変換器、および音声強調について研究し、意味的に意味のある専門化とパフォーマンスの向上の証拠を見つけます。
  論文  参考訳（メタデータ） (2021-02-27T21:48:46Z)
• A theory of independent mechanisms for extrapolation in generative models [20.794692397859755]
  生成モデルは複雑な経験的データをエミュレートするために訓練することができるが、以前は観測されていなかった環境の文脈で予測するのに役立つだろうか? 我々は、メカニズムの独立原理に基づいて、より弱い識別可能性の形式を定義することによって、この課題に対処する理論的枠組みを開発する。 おもちゃの例では、古典的な勾配降下がモデルの外挿能力を阻害し、トレーニング中にメカニズムの独立性を明示的に実施すべきであることを示唆している。
  論文  参考訳（メタデータ） (2020-04-01T01:01:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。