論文の概要: Neural PCA for Flow-Based Representation Learning

• arxiv url: http://arxiv.org/abs/2208.10753v1
• Date: Tue, 23 Aug 2022 06:18:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-24 12:44:09.723614
• Title: Neural PCA for Flow-Based Representation Learning
• Title（参考訳）: フローベース表現学習のためのニューラルPCA
• Authors: Shen Li and Bryan Hooi
• Abstract要約: 本稿では,既存の正規化フローが下流タスクに効果的な表現を提供するかどうかを検討する。 本稿では,主成分を順に捉えながら全次元で動作するニューラルプリンシパル成分分析(Neural-PCA)を提案する。 ラベル情報を利用せずに、回収された主成分は、最も情報に富んだ要素をエンフリーディングの次元に格納し、エンフリーリングの要素に無視できるままにしておく。
• 参考スコア（独自算出の注目度）: 42.19990907848274
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Of particular interest is to discover useful representations solely from observations in an unsupervised generative manner. However, the question of whether existing normalizing flows provide effective representations for downstream tasks remains mostly unanswered despite their strong ability for sample generation and density estimation. This paper investigates this problem for such a family of generative models that admits exact invertibility. We propose Neural Principal Component Analysis (Neural-PCA) that operates in full dimensionality while capturing principal components in \emph{descending} order. Without exploiting any label information, the principal components recovered store the most informative elements in their \emph{leading} dimensions and leave the negligible in the \emph{trailing} ones, allowing for clear performance improvements of $5\%$-$10\%$ in downstream tasks. Such improvements are empirically found consistent irrespective of the number of latent trailing dimensions dropped. Our work suggests that necessary inductive bias be introduced into generative modelling when representation quality is of interest.
• Abstract（参考訳）: 特に興味深いのは、教師なし生成方法で観察からのみ有用な表現を見つけることである。 しかしながら、既存の正規化フローが下流タスクに効果的な表現を提供するかどうかという問題は、サンプル生成や密度推定の能力が強いにもかかわらず、ほとんど解決されていない。 本稿では、正確な可逆性を持つ生成モデルの族に対するこの問題について検討する。 本稿では,主成分をemph{descending}順に捕獲しながら,全次元で機能するニューラルネットワーク主成分分析(Neural-PCA)を提案する。 ラベル情報を利用せずに、主要なコンポーネントは、最も情報に富んだ要素を \emph{leading} 次元に格納し、無視可能な要素を \emph{trailing} 次元に残し、ダウンストリームタスクで5\%$-10\%$の明確なパフォーマンス改善を可能にする。 このような改善は、減少する遅れた後続次元の数に関係なく、実証的に一貫した結果が得られる。 本研究は,表現品質が注目される場合に,生成モデルに必要となる帰納的バイアスを導入することを示唆する。

関連論文リスト

• Localized Gaussians as Self-Attention Weights for Point Clouds Correspondence [92.07601770031236]
  本稿では,エンコーダのみのトランスフォーマーアーキテクチャのアテンションヘッドにおける意味的意味パターンについて検討する。 注意重みの修正はトレーニングプロセスの促進だけでなく,最適化の安定性の向上にも寄与する。
  論文  参考訳（メタデータ） (2024-09-20T07:41:47Z)
• SINDER: Repairing the Singular Defects of DINOv2 [61.98878352956125]
  大規模なデータセットでトレーニングされたビジョントランスフォーマーモデルは、抽出したパッチトークンにアーティファクトを表示することが多い。 本稿では,小さなデータセットのみを用いて構造欠陥を補正するスムーズなスムーズな正規化を提案する。
  論文  参考訳（メタデータ） (2024-07-23T20:34:23Z)
• Measuring Orthogonality in Representations of Generative Models [81.13466637365553]
  教師なしの表現学習において、モデルは高次元データから低次元の学習表現に不可欠な特徴を蒸留することを目的としている。 独立した生成過程の切り離しは、長い間、高品質な表現を生み出してきた。 我々は、IWO(Importance-Weighted Orthogonality)とIWR(Importance-Weighted Rank)の2つの新しい指標を提案する。
  論文  参考訳（メタデータ） (2024-07-04T08:21:54Z)
• Uncertainty modeling for fine-tuned implicit functions [10.902709236602536]
  入射関数は、スパースビューから詳細な物体形状を再構成するコンピュータビジョンにおいて重要な役割を担っている。 暗黙関数における不確実性推定手法であるDropsemblesを導入する。 その結果,Dropsemblesは深層アンサンブルの精度とキャリブレーションレベルを達成するが,計算コストは著しく低いことがわかった。
  論文  参考訳（メタデータ） (2024-06-17T20:46:18Z)
• Understanding Optimal Feature Transfer via a Fine-Grained Bias-Variance Analysis [10.79615566320291]
  下流性能の最適化を目標として、トランスファーラーニングについて検討する。 任意の事前学習された特徴を入力として取る単純な線形モデルを導入する。 下流タスクのアンサンブル上で平均される下流リスクを最小化することにより、最適事前学習表現を同定する。
  論文  参考訳（メタデータ） (2024-04-18T19:33:55Z)
• Learning with Noisy Foundation Models [95.50968225050012]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Sample-Efficient Linear Representation Learning from Non-IID Non-Isotropic Data [4.971690889257356]
  コリンズとナイアーとヴァスワニによって提案された交互最小化・退化スキームの適応について紹介する。 iidにおいてもバニラ変動最小化降下は破滅的に失敗するが, 軽度に非等方性データは得られない。 我々の分析は、事前の作業を統一し、一般化し、幅広いアプリケーションに柔軟なフレームワークを提供する。
  論文  参考訳（メタデータ） (2023-08-08T17:56:20Z)
• From Tempered to Benign Overfitting in ReLU Neural Networks [41.271773069796126]
  過自明なニューラルネットワーク(NN)は、ノイズの多いデータに完全に適合するように訓練された場合でも、適切に一般化することが観察される。 最近、NNの振舞いは「抑止過剰」と表現されることが多いと推測され、実証的に観察された。
  論文  参考訳（メタデータ） (2023-05-24T13:36:06Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Disentangling Generative Factors of Physical Fields Using Variational Autoencoders [0.0]
  本研究は,非線形次元低減のための変分オートエンコーダ (VAE) の利用について検討する。 不整合分解は解釈可能であり、生成的モデリングを含む様々なタスクに転送することができる。
  論文  参考訳（メタデータ） (2021-09-15T16:02:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。