論文の概要: On Linear Identifiability of Learned Representations

• arxiv url: http://arxiv.org/abs/2007.00810v3
• Date: Wed, 8 Jul 2020 03:51:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-14 22:16:57.044541
• Title: On Linear Identifiability of Learned Representations
• Title（参考訳）: 学習表現の線形識別性について
• Authors: Geoffrey Roeder, Luke Metz and Diederik P. Kingma
• Abstract要約: 表現学習の文脈における識別可能性について検討する。 微分モデルの大きな族は、函数空間において、線形不確定性まで識別可能であることを示す。 我々は,線形識別可能性の十分な条件を導出し,実世界のシミュレーションデータと実世界のデータの両方で結果に対する実証的支援を提供する。
• 参考スコア（独自算出の注目度）: 26.311880922890843
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Identifiability is a desirable property of a statistical model: it implies that the true model parameters may be estimated to any desired precision, given sufficient computational resources and data. We study identifiability in the context of representation learning: discovering nonlinear data representations that are optimal with respect to some downstream task. When parameterized as deep neural networks, such representation functions typically lack identifiability in parameter space, because they are overparameterized by design. In this paper, building on recent advances in nonlinear ICA, we aim to rehabilitate identifiability by showing that a large family of discriminative models are in fact identifiable in function space, up to a linear indeterminacy. Many models for representation learning in a wide variety of domains have been identifiable in this sense, including text, images and audio, state-of-the-art at time of publication. We derive sufficient conditions for linear identifiability and provide empirical support for the result on both simulated and real-world data.
• Abstract（参考訳）: 同定可能性(identifiability)は、統計モデルの望ましい性質である: 真のモデルパラメータは、十分な計算資源とデータから、任意の所望の精度に推定できることを意味する。 表現学習の文脈における識別可能性について検討する: 下流課題に対して最適である非線形データ表現を発見する。 ディープニューラルネットワークとしてパラメータ化される場合、そのような表現関数は設計によって過度にパラメータ化されるため、パラメータ空間における識別可能性に欠ける。 本稿では, 非線形ICAの最近の進歩を基盤として, 線形不確定性に至るまでの関数空間において, 判別モデルの大きなファミリーが実際に識別可能であることを示すことによって, 識別可能性の回復を目指す。 さまざまなドメインで表現学習を行う多くのモデルは、テキスト、画像、音声、出版時の最先端技術など、この意味で識別されている。 線形同定可能性の十分条件を導出し,シミュレーションデータと実世界データの両方に対して経験的支援を行う。

関連論文リスト

• Identifiability of a statistical model with two latent vectors: Importance of the dimensionality relation and application to graph embedding [2.6651200086513107]
  統計モデルの識別可能性は、教師なし表現学習における鍵となる概念である。 本稿では,非線形ICAを一般化した1つの補助データを持つ2つの潜在ベクトルの統計モデルを提案する。 意外なことに,提案モデルの不確定性は,ある条件下ではEmphlinear ICAと同一であることが証明された。
  論文  参考訳（メタデータ） (2024-05-30T07:11:20Z)
• Flow Factorized Representation Learning [109.51947536586677]
  本稿では、異なる入力変換を定義する潜在確率パスの別個のセットを規定する生成モデルを提案する。 本モデルは,ほぼ同変モデルに近づきながら,標準表現学習ベンチマークにおいて高い確率を達成することを示す。
  論文  参考訳（メタデータ） (2023-09-22T20:15:37Z)
• Beyond Convergence: Identifiability of Machine Learning and Deep Learning Models [0.0]
  本研究では,モデルパラメータ識別可能性の概念を,モーションセンサデータからのパラメータ推定に焦点をあてたケーススタディにより検討する。 我々は、質量、剛性、平衡脚長などの主観的パラメータを推定するために、ディープニューラルネットワークを用いる。 その結果、観測データから特定のパラメータを特定できるが、他のパラメータは未同定のままであることがわかった。
  論文  参考訳（メタデータ） (2023-07-21T03:40:53Z)
• Posterior Collapse and Latent Variable Non-identifiability [54.842098835445]
  柔軟性を犠牲にすることなく識別性を強制する深層生成モデルである,潜時同定可能な変分オートエンコーダのクラスを提案する。 合成および実データ全体にわたって、潜在識別可能な変分オートエンコーダは、後方崩壊を緩和し、データの有意義な表現を提供する既存の方法より優れている。
  論文  参考訳（メタデータ） (2023-01-02T06:16:56Z)
• Indeterminacy in Latent Variable Models: Characterization and Strong Identifiability [3.959606869996233]
  潜在変数モデルの不確定性を解析するための理論的枠組みを構築する。 次に、強く識別可能な潜在変数モデルを特定する方法について検討する。
  論文  参考訳（メタデータ） (2022-06-02T00:01:27Z)
• Information-Theoretic Odometry Learning [83.36195426897768]
  生体計測推定を目的とした学習動機付け手法のための統合情報理論フレームワークを提案する。 提案フレームワークは情報理論言語の性能評価と理解のためのエレガントなツールを提供する。
  論文  参考訳（メタデータ） (2022-03-11T02:37:35Z)
• Data-SUITE: Data-centric identification of in-distribution incongruous examples [81.21462458089142]
  Data-SUITEは、ID(In-distriion)データの不連続領域を特定するためのデータ中心のフレームワークである。 我々は,Data-SUITEの性能保証とカバレッジ保証を実証的に検証する。
  論文  参考訳（メタデータ） (2022-02-17T18:58:31Z)
• It's FLAN time! Summing feature-wise latent representations for interpretability [0.0]
  FLAN(Feature-wise Latent Additive Networks)と呼ばれる構造拘束型ニューラルネットワークの新たなクラスを提案する。 FLANは各入力機能を別々に処理し、それぞれに共通の潜在空間の表現を演算する。 これらの特徴的潜在表現は単純に要約され、集約された表現は予測に使用される。
  論文  参考訳（メタデータ） (2021-06-18T12:19:33Z)
• I Don't Need $\mathbf{u}$: Identifiable Non-Linear ICA Without Side Information [13.936583337756883]
  本稿では,非線形ICAモデルの同定のための新しいアプローチを提案する。 特に、潜在空間でクラスタリングを行う生成モデルに焦点を当てる。
  論文  参考訳（メタデータ） (2021-06-09T17:22:08Z)
• Generative Counterfactuals for Neural Networks via Attribute-Informed Perturbation [51.29486247405601]
  AIP(Attribute-Informed Perturbation)の提案により,生データインスタンスの反事実を生成するフレームワークを設計する。 異なる属性を条件とした生成モデルを利用することで、所望のラベルとの反事実を効果的かつ効率的に得ることができる。 実世界のテキストや画像に対する実験結果から, 設計したフレームワークの有効性, サンプル品質, および効率が示された。
  論文  参考訳（メタデータ） (2021-01-18T08:37:13Z)
• Structural Causal Models Are (Solvable by) Credal Networks [70.45873402967297]
  因果推論は、干潟網の更新のための標準的なアルゴリズムによって得ることができる。 この貢献は, 干潟ネットワークによる構造因果モデルを表現するための体系的なアプローチと見なされるべきである。 実験により, 実規模問題における因果推論には, クレーダルネットワークの近似アルゴリズムがすぐに利用できることがわかった。
  論文  参考訳（メタデータ） (2020-08-02T11:19:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。