論文の概要: Controlling for sparsity in sparse factor analysis models: adaptive latent feature sharing for piecewise linear dimensionality reduction

• arxiv url: http://arxiv.org/abs/2006.12369v3
• Date: Sun, 28 Feb 2021 19:38:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-18 05:38:25.907467
• Title: Controlling for sparsity in sparse factor analysis models: adaptive latent feature sharing for piecewise linear dimensionality reduction
• Title（参考訳）: スパース因子分析モデルにおける疎度制御:一方向線形次元削減のための適応潜在特徴共有
• Authors: Adam Farooq and Yordan P. Raykov and Petar Raykov and Max A. Little
• Abstract要約: 本稿では,現在潜伏している特徴分解技術の鍵となる限界に対処できる,シンプルでトラクタブルな特徴割り当てモデルを提案する。 適応型因子分析(aFA)と適応型確率的原理成分分析(aPPCA)を応用し,柔軟な構造発見と次元減少を実現する。 APPCAとaFAは、生のMNISTに適用した場合と、オートエンコーダの特徴を解釈する場合の両方において、高いレベルの特徴を推測できることを示す。
• 参考スコア（独自算出の注目度）: 2.896192909215469
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Ubiquitous linear Gaussian exploratory tools such as principle component analysis (PCA) and factor analysis (FA) remain widely used as tools for: exploratory analysis, pre-processing, data visualization and related tasks. However, due to their rigid assumptions including crowding of high dimensional data, they have been replaced in many settings by more flexible and still interpretable latent feature models. The Feature allocation is usually modelled using discrete latent variables assumed to follow either parametric Beta-Bernoulli distribution or Bayesian nonparametric prior. In this work we propose a simple and tractable parametric feature allocation model which can address key limitations of current latent feature decomposition techniques. The new framework allows for explicit control over the number of features used to express each point and enables a more flexible set of allocation distributions including feature allocations with different sparsity levels. This approach is used to derive a novel adaptive Factor analysis (aFA), as well as, an adaptive probabilistic principle component analysis (aPPCA) capable of flexible structure discovery and dimensionality reduction in a wide case of scenarios. We derive both standard Gibbs sampler, as well as, an expectation-maximization inference algorithms that converge orders of magnitude faster to a reasonable point estimate solution. The utility of the proposed aPPCA model is demonstrated for standard PCA tasks such as feature learning, data visualization and data whitening. We show that aPPCA and aFA can infer interpretable high level features both when applied on raw MNIST and when applied for interpreting autoencoder features. We also demonstrate an application of the aPPCA to more robust blind source separation for functional magnetic resonance imaging (fMRI).
• Abstract（参考訳）: 原理成分分析(PCA)や因子分析(FA)といったユビキタス線形ガウス探索ツールは、探索分析、前処理、データの可視化、関連するタスクのツールとして広く使われている。 しかしながら、高次元データの群集を含む厳密な仮定により、それらは多くの設定でより柔軟でまだ解釈可能な潜在性特徴モデルに置き換えられている。 特徴割り当ては通常、パラメトリックベータ・ベルヌーリ分布またはベイズ非パラメトリック前のいずれかに従うと仮定される離散潜在変数を用いてモデル化される。 本研究では,現在の潜在特徴分解手法の重要な限界に対処できる,単純で扱いやすいパラメトリック特徴割当モデルを提案する。 新しいフレームワークでは、各ポイントを表現するために使用される機能の数を明示的にコントロールすることができ、より柔軟なアロケーション分布のセットを可能にします。 このアプローチは、新しい適応因子分析(afa)や、幅広いシナリオにおいて柔軟な構造発見と次元縮小が可能な適応確率原理成分分析(appca)を導出するために用いられる。 我々は、標準ギブスサンプリングアルゴリズムと、予想最大化推論アルゴリズムの両方を導出し、適度な点推定解よりもはるかに早くオーダーを収束させる。 提案手法は,特徴学習やデータ可視化,データの白化など,標準的なPCAタスクに対して有効である。 APPCAとaFAは、生のMNISTに適用した場合と、オートエンコーダの特徴を解釈する場合の両方において、高いレベルの特徴を推測できることを示す。 機能的磁気共鳴画像(fMRI)における、より堅牢なブラインドソース分離へのAPPCAの適用を実証した。

関連論文リスト

• Variational autoencoder with weighted samples for high-dimensional non-parametric adaptive importance sampling [0.0]
  既存のフレームワークを、新しい目的関数を導入することで、重み付けされたサンプルの場合に拡張する。 モデルに柔軟性を加え、マルチモーダル分布を学習できるようにするため、学習可能な事前分布を考える。 提案手法は,既存の適応的重要度サンプリングアルゴリズムを用いて,目標分布から点を抽出し,高次元で稀な事象確率を推定する。
  論文  参考訳（メタデータ） (2023-10-13T15:40:55Z)
• Symmetric Equilibrium Learning of VAEs [56.56929742714685]
  可変オートエンコーダ(VAE)をデコーダ-エンコーダペアとみなし,データ空間内の分布を潜在空間内の分布にマッピングする。 本研究では,エンコーダとデコーダに対して対称なナッシュ均衡学習手法を提案し,データと潜伏分布の両方がサンプリングによってのみアクセス可能な状況下でのVAEの学習を可能にする。
  論文  参考訳（メタデータ） (2023-07-19T10:27:34Z)
• Latent Space Perspicacity and Interpretation Enhancement (LS-PIE) Framework [0.0]
  本稿では,線形潜在空間の解釈可能性向上のための潜在空間表現を強化するための一般的な枠組みを提案する。 この論文のコンセプトは言語に依存しないが、フレームワークはPythonで記述されている。 ラテント・ランキング(LR)、ラテント・スケーリング(LS)、ラテント・クラスタリング(LC)、ラテント・コンデンシング(LCON)など、いくつかの革新的な拡張が組み込まれている。
  論文  参考訳（メタデータ） (2023-07-11T03:56:04Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Fine-grained Retrieval Prompt Tuning [149.9071858259279]
  微粒な検索プロンプトチューニングは, サンプルプロンプトと特徴適応の観点から, きめの細かい検索タスクを実行するために, 凍結した事前学習モデルを操る。 学習可能なパラメータが少ないFRPTは、広く使われている3つの細粒度データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-07-29T04:10:04Z)
• Data-Driven Reachability analysis and Support set Estimation with Christoffel Functions [8.183446952097528]
  動的システムの前方到達可能な集合を推定するためのアルゴリズムを提案する。 生成された推定は、経験的逆クリストッフェル函数と呼ばれる関数の部分レベル集合である。 到達可能性解析に加えて、確率変数の支持を推定する一般的な問題にも同様のアプローチを適用することができる。
  論文  参考訳（メタデータ） (2021-12-18T20:25:34Z)
• Locally Interpretable Model Agnostic Explanations using Gaussian Processes [2.9189409618561966]
  LIME(Local Interpretable Model-Agnostic Explanations)は、単一インスタンスの予測を説明する一般的なテクニックである。 局所的解釈可能なモデルのガウス過程(GP)に基づくバリエーションを提案する。 提案手法は,LIMEに比べてはるかに少ないサンプルを用いて忠実な説明を生成可能であることを示す。
  論文  参考訳（メタデータ） (2021-08-16T05:49:01Z)
• Sample-Efficient Reinforcement Learning Is Feasible for Linearly Realizable MDPs with Limited Revisiting [60.98700344526674]
  線形関数表現のような低複雑度モデルがサンプル効率のよい強化学習を可能にする上で重要な役割を果たしている。 本稿では,オンライン/探索的な方法でサンプルを描画するが,制御不能な方法で以前の状態をバックトラックし,再訪することができる新しいサンプリングプロトコルについて検討する。 この設定に合わせたアルゴリズムを開発し、特徴次元、地平線、逆の準最適ギャップと実際にスケールするサンプル複雑性を実現するが、状態/作用空間のサイズではない。
  論文  参考訳（メタデータ） (2021-05-17T17:22:07Z)
• Out-of-distribution Generalization via Partial Feature Decorrelation [72.96261704851683]
  本稿では,特徴分解ネットワークと対象画像分類モデルとを協調的に最適化する,PFDL(Partial Feature Deorrelation Learning)アルゴリズムを提案する。 実世界のデータセットを用いた実験により,OOD画像分類データセットにおけるバックボーンモデルの精度が向上することを示した。
  論文  参考訳（メタデータ） (2020-07-30T05:48:48Z)
• Bayesian Sparse Factor Analysis with Kernelized Observations [67.60224656603823]
  多視点問題は潜在変数モデルに直面することができる。 高次元問題と非線形問題は伝統的にカーネルメソッドによって扱われる。 両アプローチを単一モデルにマージすることを提案する。
  論文  参考訳（メタデータ） (2020-06-01T14:25:38Z)
• BasisVAE: Translation-invariant feature-level clustering with Variational Autoencoders [9.51828574518325]
  変分オートエンコーダ(VAE)は、非線形次元削減のための柔軟でスケーラブルなフレームワークを提供する。 崩壊した変分推論スキームがBasisVAEのスケーラブルかつ効率的な推論にどのように寄与するかを示す。
  論文  参考訳（メタデータ） (2020-03-06T23:10:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。