Fugu-MT 論文翻訳(概要): Compressing Latent Space via Least Volume

論文の概要: Compressing Latent Space via Least Volume

arxiv url: http://arxiv.org/abs/2404.17773v1
Date: Sat, 27 Apr 2024 04:09:49 GMT
ステータス: 処理完了
システム内更新日: 2024-04-30 19:20:56.685483
Title: Compressing Latent Space via Least Volume
Title（参考訳）: 最小体積による圧縮潜時空間
Authors: Qiuyi Chen, Mark Fuge,
Abstract要約: 本稿では,幾何学的直観にインスパイアされた単純かつ効果的な正規化であるLast Volumeを紹介する。我々は、デコーダのリプシッツ連続性が機能させる鍵であることを示し、PCAが単に線形特殊ケースであることを示すとともに、非線形モデルに適用した場合に類似したPCA様重要順序付け効果があることを明らかにする。
参考スコア（独自算出の注目度）: 1.03590082373586
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper introduces Least Volume-a simple yet effective regularization inspired by geometric intuition-that can reduce the necessary number of latent dimensions needed by an autoencoder without requiring any prior knowledge of the intrinsic dimensionality of the dataset. We show that the Lipschitz continuity of the decoder is the key to making it work, provide a proof that PCA is just a linear special case of it, and reveal that it has a similar PCA-like importance ordering effect when applied to nonlinear models. We demonstrate the intuition behind the regularization on some pedagogical toy problems, and its effectiveness on several benchmark problems, including MNIST, CIFAR-10 and CelebA.
Abstract（参考訳）: 本稿では,自動エンコーダが必要とする潜伏次元を,データセットの固有次元に関する事前の知識を必要とせずに削減することのできる,幾何学的直観から着想を得た,単純かつ効果的な正規化手法であるLeast Volumeを紹介する。我々は、デコーダのリプシッツ連続性が機能させる鍵であることを示し、PCAが単に線形特殊ケースであることを示すとともに、非線形モデルに適用した場合に類似したPCA様重要順序付け効果があることを明らかにする。 MNIST, CIFAR-10, CelebA など, 教育用玩具問題に対する正規化の背景にある直感と, ベンチマーク問題に対する有効性を示す。

関連論文リスト

AsymKV: Enabling 1-Bit Quantization of KV Cache with Layer-Wise Asymmetric Quantization Configurations [36.63586957377984]
大規模な言語モデルは、しばしばかなりのストレージスペースを必要とする。パラメータ数が膨大であるため、これらのモデルは大きなストレージスペースを必要とすることが多い。 1つの研究方向は、浮動小数点数の整数置換を用いてモデルを圧縮することを提案する。
論文参考訳（メタデータ） (2024-10-17T04:35:57Z)
Unlocking Data-free Low-bit Quantization with Matrix Decomposition for KV Cache Compression [87.5604418100301]
キー値(KV)キャッシングは,大規模言語モデルの推論を高速化する重要な手法である。既存の手法はしばしば精度を損なうか、キャリブレーションのために余分なデータを必要とする。テンソル分解法に基づく新しいデータフリー低ビット量子化手法である textbfDecoQuant を導入する。
論文参考訳（メタデータ） (2024-05-21T08:35:10Z)
Disentanglement via Latent Quantization [60.37109712033694]
本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
論文参考訳（メタデータ） (2023-05-28T06:30:29Z)
DBA: Efficient Transformer with Dynamic Bilinear Low-Rank Attention [53.02648818164273]
動的双線形低ランク注意(DBA)という,効率的かつ効果的な注意機構を提案する。 DBAは入力感度の動的射影行列によってシーケンス長を圧縮し、線形時間と空間の複雑さを実現する。様々なシーケンス長条件のタスクに対する実験は、DBAが最先端のパフォーマンスを達成することを示す。
論文参考訳（メタデータ） (2022-11-24T03:06:36Z)
Self-Supervised Training with Autoencoders for Visual Anomaly Detection [61.62861063776813]
我々は, 正規サンプルの分布を低次元多様体で支持する異常検出において, 特定のユースケースに焦点を当てた。我々は、訓練中に識別情報を活用する自己指導型学習体制に適応するが、通常の例のサブ多様体に焦点をあてる。製造領域における視覚異常検出のための挑戦的なベンチマークであるMVTec ADデータセットで、最先端の新たな結果を達成する。
論文参考訳（メタデータ） (2022-06-23T14:16:30Z)
PCA-Boosted Autoencoders for Nonlinear Dimensionality Reduction in Low Data Regimes [0.2925461470287228]
そこで本研究では,PCAを利用して少ない非線形データによく対応できるオートエンコーダを提案する。まず, データの非線形性とサイズが提案手法の性能に及ぼす影響について検討した。
論文参考訳（メタデータ） (2022-05-23T23:46:52Z)
Controlling for sparsity in sparse factor analysis models: adaptive latent feature sharing for piecewise linear dimensionality reduction [2.896192909215469]
本稿では,現在潜伏している特徴分解技術の鍵となる限界に対処できる,シンプルでトラクタブルな特徴割り当てモデルを提案する。適応型因子分析(aFA)と適応型確率的原理成分分析(aPPCA)を応用し,柔軟な構造発見と次元減少を実現する。 APPCAとaFAは、生のMNISTに適用した場合と、オートエンコーダの特徴を解釈する場合の両方において、高いレベルの特徴を推測できることを示す。
論文参考訳（メタデータ） (2020-06-22T16:09:11Z)
Isometric Autoencoders [36.947436313489746]
我々はアイソメトリ(即ち局所距離保存)正則化を提唱する。我々の正規化器は、(つまりデコーダは等尺線、(ii)デコーダはデコーダの擬似逆、すなわち、エンコーダはプロジェクションによりデコーダの逆を周囲空間に拡張する。
論文参考訳（メタデータ） (2020-06-16T16:31:57Z)
Eigendecomposition-Free Training of Deep Networks for Linear Least-Square Problems [107.3868459697569]
我々は、ディープネットワークのトレーニングに固有分解のないアプローチを導入する。この手法は固有分解の明示的な微分よりもはるかに堅牢であることを示す。我々の手法は収束特性が良く、最先端の結果が得られます。
論文参考訳（メタデータ） (2020-04-15T04:29:34Z)
Multilinear Compressive Learning with Prior Knowledge [106.12874293597754]
マルチリニア圧縮学習(MCL)フレームワークは、マルチリニア圧縮センシングと機械学習をエンドツーエンドシステムに統合する。 MCLの背後にある主要なアイデアは、下流学習タスクの信号から重要な特徴を捉えることのできるテンソル部分空間の存在を仮定することである。本稿では、上記の要件、すなわち、関心の信号が分離可能なテンソル部分空間をどうやって見つけるかという、2つの要件に対処する新しい解決策を提案する。
論文参考訳（メタデータ） (2020-02-17T19:06:05Z)
A kernel Principal Component Analysis (kPCA) digest with a new backward mapping (pre-image reconstruction) strategy [0.0]
主成分分析(PCA)は、データが線形構造を持つ場合、非常に効果的である。しかし、データが非線形の低次元多様体に属する場合、次元減少の可能性を特定することに失敗する。非線形次元の削減のために、カーネル主成分分析(kPCA)は、その単純さと実装の容易さから評価されている。
論文参考訳（メタデータ） (2020-01-07T10:30:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。