論文の概要: Least Volume Analysis

• arxiv url: http://arxiv.org/abs/2404.17773v2
• Date: Thu, 25 Sep 2025 00:00:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-26 20:58:12.409281
• Title: Least Volume Analysis
• Title（参考訳）: 最小体積解析
• Authors: Qiuyi Chen, Cashen Diniz, Mark Fuge,
• Abstract要約: 最小体積は幾何学的直観にインスパイアされた単純だが効果的な正規化法である。 LVは非線形モデルにおいてPCAのような重み付けを誘導することを示す。 我々はLVを一般最小ボリューム(GLV)として非ユークリッド設定に拡張し、ラベル情報の潜在表現への統合を可能にする。
• 参考スコア（独自算出の注目度）: 2.799971758656275
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper introduces Least Volume (LV)--a simple yet effective regularization method inspired by geometric intuition--that reduces the number of latent dimensions required by an autoencoder without prior knowledge of the dataset's intrinsic dimensionality. We show that its effectiveness depends on the Lipschitz continuity of the decoder, prove that Principal Component Analysis (PCA) is a linear special case, and demonstrate that LV induces a PCA-like importance ordering in nonlinear models. We extend LV to non-Euclidean settings as Generalized Least Volume (GLV), enabling the integration of label information into the latent representation. To support implementation, we also develop an accompanying Dynamic Pruning algorithm. We evaluate LV on several benchmark problems, demonstrating its effectiveness in dimension reduction. Leveraging this, we reveal the role of low-dimensional latent spaces in data sampling and disentangled representation, and use them to probe the varying topological complexity of various datasets. GLV is further applied to labeled datasets, where it induces a contrastive learning effect in representations of discrete labels. On a continuous-label airfoil dataset, it produces representations that lead to smooth changes in aerodynamic performance, thereby stabilizing downstream optimization.
• Abstract（参考訳）: 本稿では,データセットの内在的次元を事前に知ることなく,オートエンコーダが必要とする潜伏次元の数を減少させる,幾何学的直観にインスパイアされた単純かつ効果的な正規化手法であるLeast Volume(LV)を紹介する。 提案手法の有効性はデコーダのリプシッツ連続性に依存し, 主成分分析(PCA)が線形特殊ケースであることを証明し, 非線形モデルにおいてLVがPCA様の重み付けを誘導することを示す。 我々はLVを一般最小ボリューム(GLV)として非ユークリッド設定に拡張し、ラベル情報の潜在表現への統合を可能にする。 また,実装を支援するために,対応する動的プルーニングアルゴリズムを開発した。 我々は,いくつかのベンチマーク問題に対してLVを評価し,その次元低減効果を実証した。 これを利用して、データサンプリングおよび非交叉表現における低次元潜在空間の役割を明らかにし、それらを用いて様々なデータセットの位相的複雑さを探索する。 GLVはラベル付きデータセットにも適用され、離散ラベルの表現において対照的な学習効果を誘導する。 連続ラベル翼データセット上では、空気力学的性能のスムーズな変化をもたらす表現を生成し、それによって下流の最適化を安定化する。

関連論文リスト

• A Random Matrix Analysis of In-context Memorization for Nonlinear Attention [18.90197287760915]
  非線形注意は、ランダムな入力に対する線形リッジ回帰よりも高い記憶誤差をもたらすことを示す。 その結果,非線形注意の記憶性能を管理するために,非線形性と入力構造がどのように相互作用するかが明らかになった。
  論文  参考訳（メタデータ） (2025-06-23T13:56:43Z)
• AsymKV: Enabling 1-Bit Quantization of KV Cache with Layer-Wise Asymmetric Quantization Configurations [36.63586957377984]
  大規模な言語モデルは、しばしばかなりのストレージスペースを必要とする。 パラメータ数が膨大であるため、これらのモデルは大きなストレージスペースを必要とすることが多い。 1つの研究方向は、浮動小数点数の整数置換を用いてモデルを圧縮することを提案する。
  論文  参考訳（メタデータ） (2024-10-17T04:35:57Z)
• Unlocking Data-free Low-bit Quantization with Matrix Decomposition for KV Cache Compression [87.5604418100301]
  キー値(KV)キャッシングは,大規模言語モデルの推論を高速化する重要な手法である。 既存の手法はしばしば精度を損なうか、キャリブレーションのために余分なデータを必要とする。 テンソル分解法に基づく新しいデータフリー低ビット量子化手法である textbfDecoQuant を導入する。
  論文  参考訳（メタデータ） (2024-05-21T08:35:10Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• DBA: Efficient Transformer with Dynamic Bilinear Low-Rank Attention [53.02648818164273]
  動的双線形低ランク注意(DBA)という,効率的かつ効果的な注意機構を提案する。 DBAは入力感度の動的射影行列によってシーケンス長を圧縮し、線形時間と空間の複雑さを実現する。 様々なシーケンス長条件のタスクに対する実験は、DBAが最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2022-11-24T03:06:36Z)
• Self-Supervised Training with Autoencoders for Visual Anomaly Detection [61.62861063776813]
  我々は, 正規サンプルの分布を低次元多様体で支持する異常検出において, 特定のユースケースに焦点を当てた。 我々は、訓練中に識別情報を活用する自己指導型学習体制に適応するが、通常の例のサブ多様体に焦点をあてる。 製造領域における視覚異常検出のための挑戦的なベンチマークであるMVTec ADデータセットで、最先端の新たな結果を達成する。
  論文  参考訳（メタデータ） (2022-06-23T14:16:30Z)
• PCA-Boosted Autoencoders for Nonlinear Dimensionality Reduction in Low Data Regimes [0.2925461470287228]
  そこで本研究では,PCAを利用して少ない非線形データによく対応できるオートエンコーダを提案する。 まず, データの非線形性とサイズが提案手法の性能に及ぼす影響について検討した。
  論文  参考訳（メタデータ） (2022-05-23T23:46:52Z)
• Controlling for sparsity in sparse factor analysis models: adaptive latent feature sharing for piecewise linear dimensionality reduction [2.896192909215469]
  本稿では,現在潜伏している特徴分解技術の鍵となる限界に対処できる,シンプルでトラクタブルな特徴割り当てモデルを提案する。 適応型因子分析(aFA)と適応型確率的原理成分分析(aPPCA)を応用し,柔軟な構造発見と次元減少を実現する。 APPCAとaFAは、生のMNISTに適用した場合と、オートエンコーダの特徴を解釈する場合の両方において、高いレベルの特徴を推測できることを示す。
  論文  参考訳（メタデータ） (2020-06-22T16:09:11Z)
• Isometric Autoencoders [36.947436313489746]
  我々はアイソメトリ(即ち局所距離保存)正則化を提唱する。 我々の正規化器は、(つまりデコーダは等尺線、(ii)デコーダはデコーダの擬似逆、すなわち、エンコーダはプロジェクションによりデコーダの逆を周囲空間に拡張する。
  論文  参考訳（メタデータ） (2020-06-16T16:31:57Z)
• Eigendecomposition-Free Training of Deep Networks for Linear Least-Square Problems [107.3868459697569]
  我々は、ディープネットワークのトレーニングに固有分解のないアプローチを導入する。 この手法は固有分解の明示的な微分よりもはるかに堅牢であることを示す。 我々の手法は収束特性が良く、最先端の結果が得られます。
  論文  参考訳（メタデータ） (2020-04-15T04:29:34Z)
• Multilinear Compressive Learning with Prior Knowledge [106.12874293597754]
  マルチリニア圧縮学習(MCL)フレームワークは、マルチリニア圧縮センシングと機械学習をエンドツーエンドシステムに統合する。 MCLの背後にある主要なアイデアは、下流学習タスクの信号から重要な特徴を捉えることのできるテンソル部分空間の存在を仮定することである。 本稿では、上記の要件、すなわち、関心の信号が分離可能なテンソル部分空間をどうやって見つけるかという、2つの要件に対処する新しい解決策を提案する。
  論文  参考訳（メタデータ） (2020-02-17T19:06:05Z)
• A kernel Principal Component Analysis (kPCA) digest with a new backward mapping (pre-image reconstruction) strategy [0.0]
  主成分分析(PCA)は、データが線形構造を持つ場合、非常に効果的である。 しかし、データが非線形の低次元多様体に属する場合、次元減少の可能性を特定することに失敗する。 非線形次元の削減のために、カーネル主成分分析(kPCA)は、その単純さと実装の容易さから評価されている。
  論文  参考訳（メタデータ） (2020-01-07T10:30:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。