論文の概要: On Linear Identifiability of Learned Representations
- arxiv url: http://arxiv.org/abs/2007.00810v3
- Date: Wed, 8 Jul 2020 03:51:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-14 22:16:57.044541
- Title: On Linear Identifiability of Learned Representations
- Title(参考訳): 学習表現の線形識別性について
- Authors: Geoffrey Roeder, Luke Metz and Diederik P. Kingma
- Abstract要約: 表現学習の文脈における識別可能性について検討する。
微分モデルの大きな族は、函数空間において、線形不確定性まで識別可能であることを示す。
我々は,線形識別可能性の十分な条件を導出し,実世界のシミュレーションデータと実世界のデータの両方で結果に対する実証的支援を提供する。
- 参考スコア(独自算出の注目度): 26.311880922890843
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Identifiability is a desirable property of a statistical model: it implies
that the true model parameters may be estimated to any desired precision, given
sufficient computational resources and data. We study identifiability in the
context of representation learning: discovering nonlinear data representations
that are optimal with respect to some downstream task. When parameterized as
deep neural networks, such representation functions typically lack
identifiability in parameter space, because they are overparameterized by
design. In this paper, building on recent advances in nonlinear ICA, we aim to
rehabilitate identifiability by showing that a large family of discriminative
models are in fact identifiable in function space, up to a linear
indeterminacy. Many models for representation learning in a wide variety of
domains have been identifiable in this sense, including text, images and audio,
state-of-the-art at time of publication. We derive sufficient conditions for
linear identifiability and provide empirical support for the result on both
simulated and real-world data.
- Abstract(参考訳): 同定可能性(identifiability)は、統計モデルの望ましい性質である: 真のモデルパラメータは、十分な計算資源とデータから、任意の所望の精度に推定できることを意味する。
表現学習の文脈における識別可能性について検討する: 下流課題に対して最適である非線形データ表現を発見する。
ディープニューラルネットワークとしてパラメータ化される場合、そのような表現関数は設計によって過度にパラメータ化されるため、パラメータ空間における識別可能性に欠ける。
本稿では, 非線形ICAの最近の進歩を基盤として, 線形不確定性に至るまでの関数空間において, 判別モデルの大きなファミリーが実際に識別可能であることを示すことによって, 識別可能性の回復を目指す。
さまざまなドメインで表現学習を行う多くのモデルは、テキスト、画像、音声、出版時の最先端技術など、この意味で識別されている。
線形同定可能性の十分条件を導出し,シミュレーションデータと実世界データの両方に対して経験的支援を行う。
関連論文リスト
- Flow Factorized Representation Learning [109.51947536586677]
本稿では、異なる入力変換を定義する潜在確率パスの別個のセットを規定する生成モデルを提案する。
本モデルは,ほぼ同変モデルに近づきながら,標準表現学習ベンチマークにおいて高い確率を達成することを示す。
論文 参考訳(メタデータ) (2023-09-22T20:15:37Z) - Beyond Convergence: Identifiability of Machine Learning and Deep
Learning Models [0.0]
本研究では,モデルパラメータ識別可能性の概念を,モーションセンサデータからのパラメータ推定に焦点をあてたケーススタディにより検討する。
我々は、質量、剛性、平衡脚長などの主観的パラメータを推定するために、ディープニューラルネットワークを用いる。
その結果、観測データから特定のパラメータを特定できるが、他のパラメータは未同定のままであることがわかった。
論文 参考訳(メタデータ) (2023-07-21T03:40:53Z) - Indeterminacy in Latent Variable Models: Characterization and Strong
Identifiability [3.959606869996233]
潜在変数モデルの不確定性を解析するための理論的枠組みを構築する。
次に、強く識別可能な潜在変数モデルを特定する方法について検討する。
論文 参考訳(メタデータ) (2022-06-02T00:01:27Z) - Information-Theoretic Odometry Learning [83.36195426897768]
生体計測推定を目的とした学習動機付け手法のための統合情報理論フレームワークを提案する。
提案フレームワークは情報理論言語の性能評価と理解のためのエレガントなツールを提供する。
論文 参考訳(メタデータ) (2022-03-11T02:37:35Z) - Privacy-preserving machine learning with tensor networks [50.591267188664666]
テンソルネットワークアーキテクチャは、特にプライバシー保護機械学習に期待できる特性を持つことを示す。
まず、フィードフォワードニューラルネットワークに存在する新たなプライバシ脆弱性を説明し、それを合成および実世界のデータセットで説明する。
このような条件がテンソルネットワークアーキテクチャによって満たされていることを厳密に証明する。
論文 参考訳(メタデータ) (2022-02-24T19:04:35Z) - Data-SUITE: Data-centric identification of in-distribution incongruous
examples [81.21462458089142]
Data-SUITEは、ID(In-distriion)データの不連続領域を特定するためのデータ中心のフレームワークである。
我々は,Data-SUITEの性能保証とカバレッジ保証を実証的に検証する。
論文 参考訳(メタデータ) (2022-02-17T18:58:31Z) - It's FLAN time! Summing feature-wise latent representations for
interpretability [0.0]
FLAN(Feature-wise Latent Additive Networks)と呼ばれる構造拘束型ニューラルネットワークの新たなクラスを提案する。
FLANは各入力機能を別々に処理し、それぞれに共通の潜在空間の表現を演算する。
これらの特徴的潜在表現は単純に要約され、集約された表現は予測に使用される。
論文 参考訳(メタデータ) (2021-06-18T12:19:33Z) - I Don't Need $\mathbf{u}$: Identifiable Non-Linear ICA Without Side
Information [13.936583337756883]
本稿では,非線形ICAモデルの同定のための新しいアプローチを提案する。
特に、潜在空間でクラスタリングを行う生成モデルに焦点を当てる。
論文 参考訳(メタデータ) (2021-06-09T17:22:08Z) - Generative Counterfactuals for Neural Networks via Attribute-Informed
Perturbation [51.29486247405601]
AIP(Attribute-Informed Perturbation)の提案により,生データインスタンスの反事実を生成するフレームワークを設計する。
異なる属性を条件とした生成モデルを利用することで、所望のラベルとの反事実を効果的かつ効率的に得ることができる。
実世界のテキストや画像に対する実験結果から, 設計したフレームワークの有効性, サンプル品質, および効率が示された。
論文 参考訳(メタデータ) (2021-01-18T08:37:13Z) - Structural Causal Models Are (Solvable by) Credal Networks [70.45873402967297]
因果推論は、干潟網の更新のための標準的なアルゴリズムによって得ることができる。
この貢献は, 干潟ネットワークによる構造因果モデルを表現するための体系的なアプローチと見なされるべきである。
実験により, 実規模問題における因果推論には, クレーダルネットワークの近似アルゴリズムがすぐに利用できることがわかった。
論文 参考訳(メタデータ) (2020-08-02T11:19:36Z) - Robust Identifiability in Linear Structural Equation Models of Causal
Inference [14.631031307379931]
線形構造方程式モデル(LSEM)の文脈における観測データからのロバストパラメータ推定の問題点を考察する。
本研究では、ロバストな識別性が保たれるモデルパラメータの条件を提案し、これにより、先行作業に必要なパスの制限を除去する。
論文 参考訳(メタデータ) (2020-07-14T07:32:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。