論文の概要: Globally optimized SVD compression of LLMs via Fermi-function-based rank selection and gauge fixing

• arxiv url: http://arxiv.org/abs/2512.03062v1
• Date: Wed, 26 Nov 2025 10:54:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-04 20:02:54.925853
• Title: Globally optimized SVD compression of LLMs via Fermi-function-based rank selection and gauge fixing
• Title（参考訳）: フェルミ関数に基づくランク選択とゲージ固定によるLLMのグローバル最適化SVD圧縮
• Authors: Roman Rausch, David Jansen, Sukhbinder Singh, Román Orús,
• Abstract要約: LLM(Large Language Models)の低ランク分解は、計算資源の観点から非常に要求される。 我々はSVD圧縮に物理に着想を得た2つの改良点を提示する: textbfFermiGrad, 世界的最適層次数を決定する勾配差アルゴリズム, textbfPivGa, そして低ランク因子の余分な圧縮である textbfPivGa。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) are very demanding in terms of their computational resources. Low-rank decompositions of LLM weights, e.g. via Singular Value Decomposition (SVD), is a promising approach for LLM compression, but presents several practical hurdles, e.g. selecting appropriate layer-wise ranks and getting rid of its parameter redundancy. In this work, we present two physics-inspired improvements to SVD LLM compression: (1) \textbf{FermiGrad}, a gradient-descent algorithm that determines globally optimal layer-wise ranks by relaxing the discrete singular-value truncation into a continuous optimization using the Fermi function; (2) \textbf{PivGa}, an additional \textit{lossless} compression of the low-rank factors that exploits the intrinsic gauge freedom in their parametrization.
• Abstract（参考訳）: 大規模言語モデル (LLM) は計算資源の面で非常に要求されている。 LLM重みの低ランク分解(例: Singular Value Decomposition (SVD))は, LLM圧縮において有望なアプローチであるが, 適切な層次数の選択やパラメータ冗長性の排除など, 実用上のハードルがいくつかある。 本研究は, SVD LLM圧縮の物理に着想を得た2つの改良を提示する: (1) 微分特異値のトランケーションをフェルミ関数を用いて連続的な最適化に緩和することにより, 最大階数を決定する勾配差分アルゴリズムである \textbf{FermiGrad} ; (2) パラメータ化における内在ゲージ自由を生かした低ランク因子を付加した \textbf{PivGa} 圧縮。

関連論文リスト

• 1+1>2: A Synergistic Sparse and Low-Rank Compression Method for Large Language Models [15.798945727818753]
  大規模言語モデル(LLM)のためのアンダーラインSynergistic UnderlineSparseとアンダーライン圧縮(SSLC)メソッドを導入する。 低ランク近似は、その必須構造を最小限の情報損失で保持することでモデルを圧縮するが、スパース最適化は非決定的な重みを排除し、一般化に不可欠なものを保存する。 LLaMAとQwen2.5モデル(7B-70B)の実験では、SSLCは追加のトレーニングステップなしで、スタンドアロンメソッドを一貫して上回り、最先端の結果が得られている。
  論文  参考訳（メタデータ） (2025-10-30T12:50:30Z)
• MGAA: Multi-Granular Adaptive Allocation fof Low-Rank Compression of LLMs [9.244526043014098]
  MGAA (Multi-Granular Adaptive Allocation) 法は, 圧縮過程においてタスク固有の評価を伴わずに, サブレイヤ内およびサブレイヤ間のパラメータを適応的に割り当てることができる。 複数のLLMのバックボーンモデルとベンチマークデータセットによるMGAAの総合評価は、その優れた性能を示している。
  論文  参考訳（メタデータ） (2025-07-04T04:54:01Z)
• Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [63.10833446782114]
  言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。 Zeroth-order (ZO) 最適化手法はメモリ効率の良い代替手段を提供する。 本稿では,高次元摂動によって生じる課題に対処するために,部分空間ゼロ次最適化を提案する。
  論文  参考訳（メタデータ） (2024-10-11T17:01:43Z)
• Sketch to Adapt: Fine-Tunable Sketches for Efficient LLM Adaptation [33.05581803204543]
  事前訓練された大規模言語モデル(LLM)の適応は極めて重要であるが、その巨大なサイズのため困難である。 スケッチチューン(SketchTune)は、重みをコンパクトな微調整可能なスケッチに圧縮する圧縮適応戦略である。 SketchTuneは、低ランクメソッドではなくスケッチによって近似された行列クラスに関する数学的洞察によってサポートされている。
  論文  参考訳（メタデータ） (2024-10-08T20:58:24Z)
• Adaptive Feature-based Low-Rank Compression of Large Language Models via Bayesian Optimization [42.53133823994923]
  低ランク圧縮は、大規模言語モデルにおける非必須パラメータを減らすための有望な手法である。 大型モデルの低ランク特性に関する実証的研究を行う。 大規模言語モデルに適した低ランク圧縮手法を提案する。
  論文  参考訳（メタデータ） (2024-05-17T08:27:12Z)
• Revisiting Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning: A Benchmark [166.40879020706151]
  本稿では、微調整時のメモリコスト低減のためのソリューションとして、BPフリーゼロオーダー最適化(ZO)への移行を提案する。 従来のZO-SGD法とは異なり、我々の研究はより広い範囲のZO最適化手法に探索を広げる。 本研究は,タスクアライメントの重要性,前方勾配法の役割,アルゴリズムの複雑さと微調整性能のバランスについて,これまで見過ごされてきた最適化原理を明らかにした。
  論文  参考訳（メタデータ） (2024-02-18T14:08:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。