論文の概要: Neural PCA for Flow-Based Representation Learning
- arxiv url: http://arxiv.org/abs/2208.10753v1
- Date: Tue, 23 Aug 2022 06:18:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-24 12:44:09.723614
- Title: Neural PCA for Flow-Based Representation Learning
- Title(参考訳): フローベース表現学習のためのニューラルPCA
- Authors: Shen Li and Bryan Hooi
- Abstract要約: 本稿では,既存の正規化フローが下流タスクに効果的な表現を提供するかどうかを検討する。
本稿では,主成分を順に捉えながら全次元で動作するニューラルプリンシパル成分分析(Neural-PCA)を提案する。
ラベル情報を利用せずに、回収された主成分は、最も情報に富んだ要素をエンフリーディングの次元に格納し、エンフリーリングの要素に無視できるままにしておく。
- 参考スコア(独自算出の注目度): 42.19990907848274
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Of particular interest is to discover useful representations solely from
observations in an unsupervised generative manner. However, the question of
whether existing normalizing flows provide effective representations for
downstream tasks remains mostly unanswered despite their strong ability for
sample generation and density estimation. This paper investigates this problem
for such a family of generative models that admits exact invertibility. We
propose Neural Principal Component Analysis (Neural-PCA) that operates in full
dimensionality while capturing principal components in \emph{descending} order.
Without exploiting any label information, the principal components recovered
store the most informative elements in their \emph{leading} dimensions and
leave the negligible in the \emph{trailing} ones, allowing for clear
performance improvements of $5\%$-$10\%$ in downstream tasks. Such improvements
are empirically found consistent irrespective of the number of latent trailing
dimensions dropped. Our work suggests that necessary inductive bias be
introduced into generative modelling when representation quality is of
interest.
- Abstract(参考訳): 特に興味深いのは、教師なし生成方法で観察からのみ有用な表現を見つけることである。
しかしながら、既存の正規化フローが下流タスクに効果的な表現を提供するかどうかという問題は、サンプル生成や密度推定の能力が強いにもかかわらず、ほとんど解決されていない。
本稿では、正確な可逆性を持つ生成モデルの族に対するこの問題について検討する。
本稿では,主成分をemph{descending}順に捕獲しながら,全次元で機能するニューラルネットワーク主成分分析(Neural-PCA)を提案する。
ラベル情報を利用せずに、主要なコンポーネントは、最も情報に富んだ要素を \emph{leading} 次元に格納し、無視可能な要素を \emph{trailing} 次元に残し、ダウンストリームタスクで5\%$-10\%$の明確なパフォーマンス改善を可能にする。
このような改善は、減少する遅れた後続次元の数に関係なく、実証的に一貫した結果が得られる。
本研究は,表現品質が注目される場合に,生成モデルに必要となる帰納的バイアスを導入することを示唆する。
関連論文リスト
- Learning with Noisy Foundation Models [95.50968225050012]
本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。
雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
論文 参考訳(メタデータ) (2024-03-11T16:22:41Z) - TDCGL: Two-Level Debiased Contrastive Graph Learning for Recommendation [1.5836776102398225]
実世界におけるKGの実体の長期分布とノイズ問題により、アイテム・エンティリティ依存関係は真の特性を反映しない。
我々はTDCL(Two-Level Debiased Contrastive Learning)を設計し、知識グラフに展開する。
オープンソースデータセットに関する検討実験により,提案手法は優れたアンチノイズ性能を有することが示された。
論文 参考訳(メタデータ) (2023-10-01T03:56:38Z) - Understanding and Mitigating the Label Noise in Pre-training on
Downstream Tasks [91.15120211190519]
本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。
雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
論文 参考訳(メタデータ) (2023-09-29T06:18:15Z) - It Ain't That Bad: Understanding the Mysterious Performance Drop in OOD
Generalization for Generative Transformer Models [6.626501860715937]
生成トランスフォーマーベースのモデルは、多様な問題を解決するための卓越した熟練性を実現している。
しかし、それらの一般化能力は必ずしも完全には理解されておらず、必ずしも満足していない。
論文 参考訳(メタデータ) (2023-08-16T10:09:42Z) - Learning Linear Causal Representations from Interventions under General
Nonlinear Mixing [52.66151568785088]
介入対象にアクセスできることなく、未知の単一ノード介入を考慮し、強い識別可能性を示す。
これは、ディープニューラルネットワークの埋め込みに対する非ペアの介入による因果識別性の最初の例である。
論文 参考訳(メタデータ) (2023-06-04T02:32:12Z) - From Tempered to Benign Overfitting in ReLU Neural Networks [46.38533688506129]
過自明なニューラルネットワーク(NN)は、ノイズの多いデータに完全に適合するように訓練された場合でも、適切に一般化することが観察される。
最近、NNの振舞いは「抑止過剰」と表現されることが多いと推測され、実証的に観察された。
論文 参考訳(メタデータ) (2023-05-24T13:36:06Z) - Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。
本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-06T14:49:59Z) - Understanding Collapse in Non-Contrastive Learning [122.2499276246997]
モデルがデータセットサイズに対して小さすぎる場合,SimSiam表現が部分次元崩壊することを示す。
本稿では,この崩壊の度合いを計測し,微調整やラベルを使わずに下流のタスク性能を予測できる指標を提案する。
論文 参考訳(メタデータ) (2022-09-29T17:59:55Z) - Disentangling Generative Factors of Physical Fields Using Variational
Autoencoders [0.0]
本研究は,非線形次元低減のための変分オートエンコーダ (VAE) の利用について検討する。
不整合分解は解釈可能であり、生成的モデリングを含む様々なタスクに転送することができる。
論文 参考訳(メタデータ) (2021-09-15T16:02:43Z) - Effect of Input Noise Dimension in GANs [7.770973053439527]
入力雑音の寸法がGANの性能に及ぼす影響について検討する。
最適結果に対する入力雑音の適切な次元は、使用するデータセットとアーキテクチャに依存することを示す。
論文 参考訳(メタデータ) (2020-04-15T04:56:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。