論文の概要: Preserving Vector Space Properties in Dimensionality Reduction: A Relationship Preserving Loss Framework

• arxiv url: http://arxiv.org/abs/2509.01198v1
• Date: Mon, 01 Sep 2025 07:31:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:03.577867
• Title: Preserving Vector Space Properties in Dimensionality Reduction: A Relationship Preserving Loss Framework
• Title（参考訳）: 次元還元におけるベクトル空間特性の保存:損失枠組の関係保存
• Authors: Eddi Weinwurm, Alexander Kovalenko,
• Abstract要約: 相関保存損失は、高次元データの関係行列と低次元埋め込みとの差を最小限に抑える。 RPLは非線形射影のためのニューラルネットワークを訓練し、行列摂動理論から導かれる誤差境界によって支持される。
• 参考スコア（独自算出の注目度）: 45.88028371034407
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dimensionality reduction can distort vector space properties such as orthogonality and linear independence, which are critical for tasks including cross-modal retrieval, clustering, and classification. We propose a Relationship Preserving Loss (RPL), a loss function that preserves these properties by minimizing discrepancies between relationship matrices (e.g., Gram or cosine) of high-dimensional data and their low-dimensional embeddings. RPL trains neural networks for non-linear projections and is supported by error bounds derived from matrix perturbation theory. Initial experiments suggest that RPL reduces embedding dimensions while largely retaining performance on downstream tasks, likely due to its preservation of key vector space properties. While we describe here the use of RPL in dimensionality reduction, this loss can also be applied more broadly, for example to cross-domain alignment and transfer learning, knowledge distillation, fairness and invariance, dehubbing, graph and manifold learning, and federated learning, where distributed embeddings must remain geometrically consistent.
• Abstract（参考訳）: 次元の減少は直交性や線形独立性などのベクトル空間特性を歪ませることができ、これはクロスモーダル検索、クラスタリング、分類といったタスクに必須である。 本稿では,高次元データの関係行列(例えば,グラム,コサイン)と低次元埋め込みとの相違を最小化することにより,これらの特性を保存できる損失関数であるRelation Preserving Loss(RPL)を提案する。 RPLは非線形射影のためのニューラルネットワークを訓練し、行列摂動理論から導かれる誤差境界によって支持される。 最初の実験では、RPLは埋め込み次元を減らし、下流のタスクの性能を保っていることが示唆された。 例えば、ドメイン間のアライメントと移動学習、知識の蒸留、公平性と不変性、デフビング、グラフと多様体の学習、および分散埋め込みが幾何的に整合したままであるフェデレート学習などである。

関連論文リスト

• Regularizing Subspace Redundancy of Low-Rank Adaptation [54.473090597164834]
  本稿では、マッピング部分空間間の冗長性を明示的にモデル化し、低ランク適応のサブスペース冗長性を適応的に正規化する手法であるReSoRAを提案する。 提案手法は、視覚言語検索や標準的な視覚分類ベンチマークにおいて、様々なバックボーンやデータセットにまたがる既存のPETL手法を一貫して促進する。 トレーニングの監督として、ReSoRAは追加の推論コストなしで、プラグイン・アンド・プレイ方式で既存のアプローチにシームレスに統合することができる。
  論文  参考訳（メタデータ） (2025-07-28T11:52:56Z)
• Finsler Multi-Dimensional Scaling: Manifold Learning for Asymmetric Dimensionality Reduction and Embedding [41.601022263772535]
  次元化の削減は、データ分析や可視化における中心的な応用とともに、重要なパターンを保ちながら、特徴的次元を減らし、複雑なデータを単純化することを目的としている。 基礎となるデータ構造を維持するため、多次元スケーリング(MDS)法は距離などの対等な相似性を保存することに重点を置いている。
  論文  参考訳（メタデータ） (2025-03-23T10:03:22Z)
• Adversarial Dependence Minimization [78.36795688238155]
  この研究は、線形対のデコリレーションを超越した依存最小化のための微分可能でスケーラブルなアルゴリズムを提供する。 我々は,PCAを非線形デコリレーションに拡張し,画像分類法の一般化を改良し,自己教師あり表現学習における次元的崩壊を防止する3つのアプリケーションでその実用性を実証する。
  論文  参考訳（メタデータ） (2025-02-05T14:43:40Z)
• Thinner Latent Spaces: Detecting Dimension and Imposing Invariance with Conformal Autoencoders [8.743941823307967]
  ネットワークの潜在層内の直交関係を利用して、非線形多様体データセットの内在次元性を推定できることを示す。 微分幾何学に依拠する関係理論を概説し、対応する勾配偏光最適化アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2024-08-28T20:56:35Z)
• Distributional Reduction: Unifying Dimensionality Reduction and Clustering with Gromov-Wasserstein [56.62376364594194]
  教師なし学習は、潜在的に大きな高次元データセットの基盤構造を捉えることを目的としている。 本研究では、最適輸送のレンズの下でこれらのアプローチを再検討し、Gromov-Wasserstein問題と関係を示す。 これにより、分散還元と呼ばれる新しい一般的なフレームワークが公開され、DRとクラスタリングを特別なケースとして回復し、単一の最適化問題内でそれらに共同で対処することができる。
  論文  参考訳（メタデータ） (2024-02-03T19:00:19Z)
• On Linear Separability under Linear Compression with Applications to Hard Support Vector Machine [0.0]
  内部積の歪みが元のデータ生成分布の2乗辺よりも小さい限り線形分離性が維持されることを示す。 応用として、ランダムなガウス行列の(i)圧縮長と(ii)ハードSVMを用いた圧縮学習における一般化誤差を導出する。
  論文  参考訳（メタデータ） (2022-02-02T16:23:01Z)
• A Local Similarity-Preserving Framework for Nonlinear Dimensionality Reduction with Neural Networks [56.068488417457935]
  本稿では,Vec2vecという新しい局所非線形手法を提案する。 ニューラルネットワークを訓練するために、マトリックスの近傍類似度グラフを構築し、データポイントのコンテキストを定義します。 8つの実データセットにおけるデータ分類とクラスタリングの実験により、Vec2vecは統計仮説テストにおける古典的な次元削減法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-03-10T23:10:47Z)
• Invertible Manifold Learning for Dimension Reduction [44.16432765844299]
  次元減少(DR)は,重要情報の保存により高次元データの低次元表現を学習することを目的としている。 Inv-ML(invertible manifold learning)と呼ばれる新しい2段階DR法を提案し、理論的な情報損失のないDRと実用的なDRのギャップを埋める。 実験は、i-ML-Encと呼ばれる、inv-MLのニューラルネットワーク実装による7つのデータセットで実施される。
  論文  参考訳（メタデータ） (2020-10-07T14:22:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。