論文の概要: Low-Rank Tensor Approximation of Weights in Large Language Models via Cosine Lanczos Bidiagonalization
- arxiv url: http://arxiv.org/abs/2601.17112v1
- Date: Fri, 23 Jan 2026 18:37:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-27 15:23:07.290872
- Title: Low-Rank Tensor Approximation of Weights in Large Language Models via Cosine Lanczos Bidiagonalization
- Title（参考訳）: Cosine Lanczos双対角化による大規模言語モデルの低ランクテンソル近似
- Authors: A. El Ichi, K. Jbilou,
- Abstract要約: 低階近似計算のためのcproductに基づくテンソル圧縮フレームワークを提案する。
これにより、従来のSVD法を超える多次元相関を利用した計算効率のよい圧縮が可能となる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) have demonstrated remarkable capabilities across diverse natural language tasks but suffer from extremely large memory footprints and computational costs. In this paper, we introduce a tensor compression framework based on the cproduct for computing low rank approximation In the first part of our approach, we leverage the algebraic structure of the cproduct to represent weight tensors such as those in embedding layers, attention projections, and feed forward networks in a transform domain where frontal slices can be jointly approximated by low rank tensor factors. This enables computationally efficient compression that exploits multidimensional correlations beyond traditional SVD methods.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、様々な自然言語タスクにまたがる顕著な能力を示しているが、非常に大きなメモリフットプリントと計算コストに悩まされている。
本稿では, 低階数近似を計算するためのcproductに基づくテンソル圧縮フレームワークを提案する。本手法の第一部では, cproduct の代数的構造を利用して, 低階数テンソル因子によって正面スライスを共同で近似できる変換領域において, 埋め込み層やアテンションプロジェクション, フィードフォワードネットワークなどの重みテンソルを表現する。
これにより、従来のSVD法を超える多次元相関を利用した計算効率の良い圧縮が可能となる。
関連論文リスト
- Personalized Federated Learning with Heat-Kernel Enhanced Tensorized Multi-View Clustering [2.538209532048867]
マルチビューファジィc平均クラスタリングのための頑健なパーソナライズされた学習フレームワークを提案する。
量子場理論から適応した熱核係数とタッカー分解と正準多進分解を統合する。
論文 参考訳（メタデータ） (2025-09-19T15:45:02Z) - Unified Scaling Laws for Compressed Representations [69.72517034565467]
各種圧縮表現上でのトレーニングにおいて,統合スケーリングフレームワークがモデル性能を正確に予測できるかどうかを検討する。
我々の主な発見は、単純な「容量」計量が存在するという理論と経験の両方を実証することである。
我々は、圧縮されたフォーマットの精度を直接比較し、スパース量子化されたフォーマットのトレーニングのためのより良いアルゴリズムを導出するために、定式化を拡張した。
論文 参考訳（メタデータ） (2025-06-02T16:52:51Z) - Tensor Convolutional Network for Higher-Order Interaction Prediction in Sparse Tensors [74.31355755781343]
我々は,トップk相互作用を予測するTF法とシームレスに統合する,正確で互換性のあるテンソル畳み込みネットワークTCNを提案する。
TF法と統合されたTNは,TF法やハイパーエッジ予測法などの競合よりも優れていることを示す。
論文 参考訳（メタデータ） (2025-03-14T18:22:20Z) - tCURLoRA: Tensor CUR Decomposition Based Low-Rank Parameter Adaptation and Its Application in Medical Image Segmentation [1.3037269687250654]
伝達学習は、事前訓練されたモデルからの知識を活用することで、目標タスクの性能を大幅に向上させた。
ディープニューラルネットワークのスケールアップに伴って、フル微調整によって、計算とストレージの大幅な課題がもたらされる。
テンソルCUR分解に基づく新しい微調整法であるtCURLoRAを提案する。
論文 参考訳（メタデータ） (2025-01-04T08:25:32Z) - Quantization of Large Language Models with an Overdetermined Basis [73.79368761182998]
本稿では,嘉心表現の原理に基づくデータ量子化アルゴリズムを提案する。
以上の結果から, カシ量子化はモデル性能の競争力や優れた品質を達成できることが示唆された。
論文 参考訳（メタデータ） (2024-04-15T12:38:46Z) - Data-free Weight Compress and Denoise for Large Language Models [96.68582094536032]
パラメータ行列を圧縮する手法として,データフリーなジョイントランクk近似を提案する。
キャリブレーションデータなしで、元の性能の93.43%を維持しながら80%のパラメータのモデルプルーニングを実現する。
論文 参考訳（メタデータ） (2024-02-26T05:51:47Z) - Scaling Pre-trained Language Models to Deeper via Parameter-efficient
Architecture [68.13678918660872]
行列積演算子(MPO)に基づくより有能なパラメータ共有アーキテクチャを設計する。
MPO分解はパラメータ行列の情報を再編成し、2つの部分に分解することができる。
私たちのアーキテクチャは、モデルのサイズを減らすために、すべてのレイヤで中央テンソルを共有しています。
論文 参考訳（メタデータ） (2023-03-27T02:34:09Z) - Quantized Sparse Weight Decomposition for Neural Network Compression [12.24566619983231]
このアプローチは,重み付きSVD,ベクトル量子化,スパースPCAの統一であると考えられる。
本手法は,ベクトル量子化法や極端圧縮法とは異なり,中等度圧縮法にも適用可能である。
論文 参考訳（メタデータ） (2022-07-22T12:40:03Z) - Lower and Upper Bounds on the VC-Dimension of Tensor Network Models [8.997952791113232]
ネットワーク法は凝縮物質物理学の進歩の重要な要素である。
これらは指数関数的に大きな特徴空間で線形モデルを効率的に学習するのに使うことができる。
本研究では,大きなテンソルネットワークモデルのVC次元と擬次元の上下境界を導出する。
論文 参考訳（メタデータ） (2021-06-22T14:39:25Z) - Tensor-Train Networks for Learning Predictive Modeling of
Multidimensional Data [0.0]
有望な戦略は、物理的および化学的用途で非常に成功したテンソルネットワークに基づいています。
本研究では, 多次元回帰モデルの重みをテンソルネットワークを用いて学習し, 強力なコンパクト表現を実現することを示した。
TT形式の重みを計算力の低減で近似するための最小二乗を交互に行うアルゴリズムが提案されている。
論文 参考訳（メタデータ） (2021-01-22T16:14:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。