論文の概要: Controlling for sparsity in sparse factor analysis models: adaptive
latent feature sharing for piecewise linear dimensionality reduction
- arxiv url: http://arxiv.org/abs/2006.12369v3
- Date: Sun, 28 Feb 2021 19:38:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-18 05:38:25.907467
- Title: Controlling for sparsity in sparse factor analysis models: adaptive
latent feature sharing for piecewise linear dimensionality reduction
- Title(参考訳): スパース因子分析モデルにおける疎度制御:一方向線形次元削減のための適応潜在特徴共有
- Authors: Adam Farooq and Yordan P. Raykov and Petar Raykov and Max A. Little
- Abstract要約: 本稿では,現在潜伏している特徴分解技術の鍵となる限界に対処できる,シンプルでトラクタブルな特徴割り当てモデルを提案する。
適応型因子分析(aFA)と適応型確率的原理成分分析(aPPCA)を応用し,柔軟な構造発見と次元減少を実現する。
APPCAとaFAは、生のMNISTに適用した場合と、オートエンコーダの特徴を解釈する場合の両方において、高いレベルの特徴を推測できることを示す。
- 参考スコア(独自算出の注目度): 2.896192909215469
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Ubiquitous linear Gaussian exploratory tools such as principle component
analysis (PCA) and factor analysis (FA) remain widely used as tools for:
exploratory analysis, pre-processing, data visualization and related tasks.
However, due to their rigid assumptions including crowding of high dimensional
data, they have been replaced in many settings by more flexible and still
interpretable latent feature models. The Feature allocation is usually modelled
using discrete latent variables assumed to follow either parametric
Beta-Bernoulli distribution or Bayesian nonparametric prior. In this work we
propose a simple and tractable parametric feature allocation model which can
address key limitations of current latent feature decomposition techniques. The
new framework allows for explicit control over the number of features used to
express each point and enables a more flexible set of allocation distributions
including feature allocations with different sparsity levels. This approach is
used to derive a novel adaptive Factor analysis (aFA), as well as, an adaptive
probabilistic principle component analysis (aPPCA) capable of flexible
structure discovery and dimensionality reduction in a wide case of scenarios.
We derive both standard Gibbs sampler, as well as, an expectation-maximization
inference algorithms that converge orders of magnitude faster to a reasonable
point estimate solution. The utility of the proposed aPPCA model is
demonstrated for standard PCA tasks such as feature learning, data
visualization and data whitening. We show that aPPCA and aFA can infer
interpretable high level features both when applied on raw MNIST and when
applied for interpreting autoencoder features. We also demonstrate an
application of the aPPCA to more robust blind source separation for functional
magnetic resonance imaging (fMRI).
- Abstract(参考訳): 原理成分分析(PCA)や因子分析(FA)といったユビキタス線形ガウス探索ツールは、探索分析、前処理、データの可視化、関連するタスクのツールとして広く使われている。
しかしながら、高次元データの群集を含む厳密な仮定により、それらは多くの設定でより柔軟でまだ解釈可能な潜在性特徴モデルに置き換えられている。
特徴割り当ては通常、パラメトリックベータ・ベルヌーリ分布またはベイズ非パラメトリック前のいずれかに従うと仮定される離散潜在変数を用いてモデル化される。
本研究では,現在の潜在特徴分解手法の重要な限界に対処できる,単純で扱いやすいパラメトリック特徴割当モデルを提案する。
新しいフレームワークでは、各ポイントを表現するために使用される機能の数を明示的にコントロールすることができ、より柔軟なアロケーション分布のセットを可能にします。
このアプローチは、新しい適応因子分析(afa)や、幅広いシナリオにおいて柔軟な構造発見と次元縮小が可能な適応確率原理成分分析(appca)を導出するために用いられる。
我々は、標準ギブスサンプリングアルゴリズムと、予想最大化推論アルゴリズムの両方を導出し、適度な点推定解よりもはるかに早くオーダーを収束させる。
提案手法は,特徴学習やデータ可視化,データの白化など,標準的なPCAタスクに対して有効である。
APPCAとaFAは、生のMNISTに適用した場合と、オートエンコーダの特徴を解釈する場合の両方において、高いレベルの特徴を推測できることを示す。
機能的磁気共鳴画像(fMRI)における、より堅牢なブラインドソース分離へのAPPCAの適用を実証した。
関連論文リスト
- rEGGression: an Interactive and Agnostic Tool for the Exploration of Symbolic Regression Models [0.0]
本稿では,電子グラフを用いたシンボル表現の大規模な探索を可能にするツールであるrEGGressionを紹介する。
主な焦点は、調査中に見つかったビルディングブロックの探索であり、専門家が研究された現象についての洞察を見つけるのに役立つ。
論文 参考訳(メタデータ) (2025-01-29T18:57:44Z) - Scalable Bayesian Tensor Ring Factorization for Multiway Data Analysis [24.04852523970509]
非パラメトリック乗算ガンマプロセス(MGP)を前もって組み込んだ新しいBTRモデルを提案する。
離散データを扱うために、クローズドフォーム更新のためのP'olya-Gamma拡張を導入する。
そこで我々は,従来のVIアルゴリズムの計算複雑性を2桁に減らした,一貫した後続シミュレーションのための効率的なギブスサンプリング器を開発した。
論文 参考訳(メタデータ) (2024-12-04T13:55:14Z) - A Refreshed Similarity-based Upsampler for Direct High-Ratio Feature Upsampling [54.05517338122698]
一般的な類似性に基づく機能アップサンプリングパイプラインが提案されている。
本稿では,セマンティック・アウェアとディテール・アウェアの両方の観点から,明示的に制御可能なクエリキー機能アライメントを提案する。
我々は,モーザイクアーティファクトを緩和する上ではシンプルだが有効であるHR特徴に対して,きめ細かな近傍選択戦略を開発する。
論文 参考訳(メタデータ) (2024-07-02T14:12:21Z) - Symmetric Equilibrium Learning of VAEs [56.56929742714685]
可変オートエンコーダ(VAE)をデコーダ-エンコーダペアとみなし,データ空間内の分布を潜在空間内の分布にマッピングする。
本研究では,エンコーダとデコーダに対して対称なナッシュ均衡学習手法を提案し,データと潜伏分布の両方がサンプリングによってのみアクセス可能な状況下でのVAEの学習を可能にする。
論文 参考訳(メタデータ) (2023-07-19T10:27:34Z) - Latent Space Perspicacity and Interpretation Enhancement (LS-PIE)
Framework [0.0]
本稿では,線形潜在空間の解釈可能性向上のための潜在空間表現を強化するための一般的な枠組みを提案する。
この論文のコンセプトは言語に依存しないが、フレームワークはPythonで記述されている。
ラテント・ランキング(LR)、ラテント・スケーリング(LS)、ラテント・クラスタリング(LC)、ラテント・コンデンシング(LCON)など、いくつかの革新的な拡張が組み込まれている。
論文 参考訳(メタデータ) (2023-07-11T03:56:04Z) - Disentanglement via Latent Quantization [60.37109712033694]
本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。
本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
論文 参考訳(メタデータ) (2023-05-28T06:30:29Z) - Fine-grained Retrieval Prompt Tuning [149.9071858259279]
微粒な検索プロンプトチューニングは, サンプルプロンプトと特徴適応の観点から, きめの細かい検索タスクを実行するために, 凍結した事前学習モデルを操る。
学習可能なパラメータが少ないFRPTは、広く使われている3つの細粒度データセットの最先端性能を実現する。
論文 参考訳(メタデータ) (2022-07-29T04:10:04Z) - Data-Driven Reachability analysis and Support set Estimation with
Christoffel Functions [8.183446952097528]
動的システムの前方到達可能な集合を推定するためのアルゴリズムを提案する。
生成された推定は、経験的逆クリストッフェル函数と呼ばれる関数の部分レベル集合である。
到達可能性解析に加えて、確率変数の支持を推定する一般的な問題にも同様のアプローチを適用することができる。
論文 参考訳(メタデータ) (2021-12-18T20:25:34Z) - Sample-Efficient Reinforcement Learning Is Feasible for Linearly
Realizable MDPs with Limited Revisiting [60.98700344526674]
線形関数表現のような低複雑度モデルがサンプル効率のよい強化学習を可能にする上で重要な役割を果たしている。
本稿では,オンライン/探索的な方法でサンプルを描画するが,制御不能な方法で以前の状態をバックトラックし,再訪することができる新しいサンプリングプロトコルについて検討する。
この設定に合わせたアルゴリズムを開発し、特徴次元、地平線、逆の準最適ギャップと実際にスケールするサンプル複雑性を実現するが、状態/作用空間のサイズではない。
論文 参考訳(メタデータ) (2021-05-17T17:22:07Z) - Out-of-distribution Generalization via Partial Feature Decorrelation [72.96261704851683]
本稿では,特徴分解ネットワークと対象画像分類モデルとを協調的に最適化する,PFDL(Partial Feature Deorrelation Learning)アルゴリズムを提案する。
実世界のデータセットを用いた実験により,OOD画像分類データセットにおけるバックボーンモデルの精度が向上することを示した。
論文 参考訳(メタデータ) (2020-07-30T05:48:48Z) - BasisVAE: Translation-invariant feature-level clustering with
Variational Autoencoders [9.51828574518325]
変分オートエンコーダ(VAE)は、非線形次元削減のための柔軟でスケーラブルなフレームワークを提供する。
崩壊した変分推論スキームがBasisVAEのスケーラブルかつ効率的な推論にどのように寄与するかを示す。
論文 参考訳(メタデータ) (2020-03-06T23:10:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。