論文の概要: Concatenated Matrix SVD: Compression Bounds, Incremental Approximation, and Error-Constrained Clustering

• arxiv url: http://arxiv.org/abs/2601.11626v1
• Date: Mon, 12 Jan 2026 18:15:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:22.219354
• Title: Concatenated Matrix SVD: Compression Bounds, Incremental Approximation, and Error-Constrained Clustering
• Title（参考訳）: Concatenated Matrix SVD: Compression bounds, Incremental Approximation, Error-Constrained Clustering
• Authors: Maksym Shamrai,
• Abstract要約: 予測された共同SVD圧縮誤差がユーザ指定しきい値以下である場合にのみ、行列をマージする3つのクラスタリングアルゴリズムを提案する。 アルゴリズムは、スピード、証明可能な精度、スケーラビリティのトレードオフにまたがっており、明示的なエラー制御を備えた圧縮対応クラスタリングを可能にしている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large collections of matrices arise throughout modern machine learning, signal processing, and scientific computing, where they are commonly compressed by concatenation followed by truncated singular value decomposition (SVD). This strategy enables parameter sharing and efficient reconstruction and has been widely adopted across domains ranging from multi-view learning and signal processing to neural network compression. However, it leaves a fundamental question unanswered: which matrices can be safely concatenated and compressed together under explicit reconstruction error constraints? Existing approaches rely on heuristic or architecture-specific grouping and provide no principled guarantees on the resulting SVD approximation error. In the present work, we introduce a theory-driven framework for compression-aware clustering of matrices under SVD compression constraints. Our analysis establishes new spectral bounds for horizontally concatenated matrices, deriving global upper bounds on the optimal rank-$r$ SVD reconstruction error from lower bounds on singular value growth. The first bound follows from Weyl-type monotonicity under blockwise extensions, while the second leverages singular values of incremental residuals to yield tighter, per-block guarantees. We further develop an efficient approximate estimator based on incremental truncated SVD that tracks dominant singular values without forming the full concatenated matrix. Therefore, we propose three clustering algorithms that merge matrices only when their predicted joint SVD compression error remains below a user-specified threshold. The algorithms span a trade-off between speed, provable accuracy, and scalability, enabling compression-aware clustering with explicit error control. Code is available online.
• Abstract（参考訳）: 行列の大規模なコレクションは、現代の機械学習、信号処理、科学計算を通じて発生し、連結によって一般的に圧縮され、次に切り離された特異値分解(SVD)が続く。 この戦略はパラメータ共有と効率的な再構成を可能にし、多視点学習や信号処理からニューラルネットワーク圧縮まで幅広い領域で採用されている。 しかし、どの行列が明示的に再構成エラーの制約の下で安全に連結され、圧縮されるのかという根本的な疑問が残されている。 既存のアプローチはヒューリスティックあるいはアーキテクチャ固有のグループ化に依存しており、結果として生じるSVD近似誤差に原則化された保証を与えていない。 本稿では,SVD圧縮制約下での行列の圧縮対応クラスタリングのための理論駆動型フレームワークを提案する。 解析により,水平連結行列に対する新しいスペクトル境界が確立され,最大階数-r$SVD再構成誤差のグローバル上界が特異値成長の下位境界から導出される。 第1の境界は、ブロックワイズ拡張の下でのワイル型単調性から従い、第2の境界は増分残差の特異値を利用してより厳密でブロック単位の保証を得る。 さらに、全連結行列を形成することなく、支配的な特異値を追跡するインクリメンタル・トランキャットSVDに基づく効率的な近似推定器を開発する。 そこで本研究では,予測された共同SVD圧縮誤差がユーザ指定しきい値以下である場合にのみ,行列をマージする3つのクラスタリングアルゴリズムを提案する。 アルゴリズムは、スピード、証明可能な精度、スケーラビリティのトレードオフにまたがっており、明示的なエラー制御を備えた圧縮対応クラスタリングを可能にしている。 コードはオンラインで入手できる。

関連論文リスト

• NeuMatC: A General Neural Framework for Fast Parametric Matrix Operation [75.91285900600549]
  我々は、一般的なパラメトリック行列演算タスクをエレガントに扱うtextbftextitNeural Matrix Computation Framework (NeuMatC)を提案する。 NeuMatCは、パラメータから対応する行列演算結果への低ランクかつ連続的なマッピングを教師なしで学習する。 合成と実世界の両方のデータセットの実験結果は、NeuMatCの有望な性能を示している。
  論文  参考訳（メタデータ） (2025-11-28T07:21:17Z)
• CPSVD: Enhancing Large Language Model Compression via Column-Preserving Singular Value Decomposition [20.302975265084964]
  textbfColumn-textbfPreserving textbfSingular textbfValue textbfDecomposition (CPSVD)を提案する。 CPSVDは、パラメータ行列をインテリジェントにセグメント化することで、SVDベースのLarge Language Models圧縮を洗練する。 最先端のSVDベースのLLM圧縮手法を一貫して上回り、ゼロショットタスクにおいて低いパープレキシティと高い精度を達成する。
  論文  参考訳（メタデータ） (2025-10-22T09:02:37Z)
• COSPADI: Compressing LLMs via Calibration-Guided Sparse Dictionary Learning [5.595343998068235]
  CoSpaDiは、低ランクの分解をより柔軟な構造化されたスパース分解に置き換える、トレーニング不要の圧縮フレームワークである。 複数のLlamaモデルとQwenモデルにまたがるCoSpaDiを,20～50%の圧縮比で層間および群間設定で評価した。
  論文  参考訳（メタデータ） (2025-09-26T08:55:09Z)
• Perturbation Analysis of Singular Values in Concatenated Matrices [0.0]
  特異値スペクトルと特異摂動行列は個々の成分のスペクトルとどのように関係するのか? サブマトリクスにおける小さな摂動の下での値の安定性を定量化する解析的境界を設定する。 結果、行列がノルムに近ければ、特異行列の支配的な特異値は安定であり、精度と圧縮のトレードオフを制御できることが証明された。
  論文  参考訳（メタデータ） (2025-03-11T09:28:57Z)
• DBA: Efficient Transformer with Dynamic Bilinear Low-Rank Attention [53.02648818164273]
  動的双線形低ランク注意(DBA)という,効率的かつ効果的な注意機構を提案する。 DBAは入力感度の動的射影行列によってシーケンス長を圧縮し、線形時間と空間の複雑さを実現する。 様々なシーケンス長条件のタスクに対する実験は、DBAが最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2022-11-24T03:06:36Z)
• Semi-Supervised Subspace Clustering via Tensor Low-Rank Representation [64.49871502193477]
  本稿では,初期監視情報を同時に拡張し,識別親和性行列を構築することのできる,新しい半教師付きサブスペースクラスタリング手法を提案する。 6つの一般的なベンチマークデータセットの総合的な実験結果から,本手法が最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-21T01:47:17Z)
• Solving weakly supervised regression problem using low-rank manifold regularization [77.34726150561087]
  我々は弱い教師付き回帰問題を解く。 weakly"の下では、いくつかのトレーニングポイントではラベルが知られ、未知のものもあれば、無作為なノイズの存在やリソースの欠如などの理由によって不確かであることが分かっています。 数値的な節ではモンテカルロモデルを用いて提案手法を人工と実のデータセットに適用した。
  論文  参考訳（メタデータ） (2021-04-13T23:21:01Z)
• A Scalable, Adaptive and Sound Nonconvex Regularizer for Low-rank Matrix Completion [60.52730146391456]
  そこで我々は,適応的かつ音質の高い"核フロベニウスノルム"と呼ばれる新しい非スケーラブルな低ランク正規化器を提案する。 特異値の計算をバイパスし、アルゴリズムによる高速な最適化を可能にする。 既存の行列学習手法では最速でありながら、最先端の回復性能が得られる。
  論文  参考訳（メタデータ） (2020-08-14T18:47:58Z)
• Multi-Objective Matrix Normalization for Fine-grained Visual Recognition [153.49014114484424]
  双線形プールは細粒度視覚認識(FGVC)において大きな成功を収める 近年,行列パワー正規化は双線形特徴量において2次情報を安定化させることができることが示されている。 両線形表現を同時に正規化できる効率的な多目的行列正規化法(MOMN)を提案する。
  論文  参考訳（メタデータ） (2020-03-30T08:40:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。