論文の概要: Optimal Brain Decomposition for Accurate LLM Low-Rank Approximation

• arxiv url: http://arxiv.org/abs/2604.00821v1
• Date: Wed, 01 Apr 2026 12:28:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-02 16:44:31.985545
• Title: Optimal Brain Decomposition for Accurate LLM Low-Rank Approximation
• Title（参考訳）: 高精度LLM低ランク近似のための最適脳分解法
• Authors: Yuhang Li, Donghyun Lee, Ruokai Yin, Priyadarshini Panda,
• Abstract要約: 低ランクの分解は、Large Language Model (LLM) の微調整と推論において重要な問題となっている。 モデル空間における分解問題を2次ヘッセン情報を用いて研究する最適脳分解LSM(OBD-LLM)を提案する。
• 参考スコア（独自算出の注目度）: 19.710403142085102
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Low-rank decomposition has emerged as an important problem in Large Language Model (LLM) fine-tuning and inference. Through Singular Value Decomposition (SVD), the weight matrix can be factorized into low-rank spaces optimally. Previously, a common practice was to decompose the weight in the activation-whitened space, and then achieve satisfying results. In this work, we propose Optimal Brain Decomposition LLM (OBD-LLM), which studies the decomposition problem in the model space by utilizing second-order Hessian information. Through a rigorous Kronecker-factorization of the Hessian, we show that the decomposition needs to consider both input and output information of the layer, and achieves much better decomposition results compared to input only method. Our loss-aware decomposition method involves a bi-directional whitening on the weight matrix. As a result, OBD-LLM is a closed-form solution for the optimal decomposition of weights in the language model. Remarkably, we achieve ~20-40\% better results than previous state-of-the-art decomposition methods, the SVD-LLM.
• Abstract（参考訳）: 低ランクの分解は、Large Language Model (LLM) の微調整と推論において重要な問題となっている。 Singular Value Decomposition (SVD) により、重み行列は最適に低ランク空間に分解できる。 以前は、活性化白色空間の重量を分解し、満足な結果を得るのが一般的であった。 本研究では,2次ヘッセン情報を用いてモデル空間の分解問題を解析する最適脳分解LSM(OBD-LLM)を提案する。 ヘシアンの厳密なKronecker-factorizationを通じて、分解は層の入力情報と出力情報の両方を考慮する必要があり、入力のみの手法よりもはるかに優れた分解結果が得られることを示す。 我々の損失認識分解法は、重み行列上の双方向の白化を含む。 その結果、OBD-LLMは言語モデルにおける重みの最適分解のための閉形式解である。 注目すべきは、従来の最先端分解手法であるSVD-LLMよりも20～40倍よい結果が得られることである。

関連論文リスト

• Automatic Rank Determination for Low-Rank Adaptation via Submodular Function Maximization [56.78271181959529]
  SubLoRAは、サブモジュール関数に基づくローランド適応(LoRA)のランク決定方法である。 提案手法は, 理論的基礎, 2次精度, 実用計算効率の両立を図っている。
  論文  参考訳（メタデータ） (2025-07-02T15:56:40Z)
• Assigning Distinct Roles to Quantized and Low-Rank Matrices Toward Optimal Weight Decomposition [4.119890956388359]
  我々は,低ランク成分をアクティベーションに敏感な重みを捕捉する特定の役割に割り当てる,ODLRI(Outlier-Driven Low-Rank Initialization)を導入する。 Llama2 (7B, 13B, 70B)、Llama3-8B、Mistral-7Bの実験は、ODLRIが一貫してアクティベーション・アウェア・エラーを低減し、量子化スケールを最小化し、低ビット設定におけるパープレキシティとゼロショット精度を改善することを示した。
  論文  参考訳（メタデータ） (2025-06-02T09:15:13Z)
• Efficient algorithms for the Hadamard decomposition [14.653207365119796]
  アダマール分解はデータ解析と行列圧縮の強力な技術である。 本稿では、与えられた行列を2つ以上の低ランク近似の積に分解するフレームワークを開発する。 本研究では,アダマール分解に対する既存の降下法との比較実験を行った。
  論文  参考訳（メタデータ） (2025-04-18T11:14:25Z)
• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [63.10833446782114]
  言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。 Zeroth-order (ZO) 最適化手法はメモリ効率の良い代替手段を提供する。 本稿では,高次元摂動によって生じる課題に対処するために,部分空間ゼロ次最適化を提案する。
  論文  参考訳（メタデータ） (2024-10-11T17:01:43Z)
• Small Language Models Fine-tuned to Coordinate Larger Language Models improve Complex Reasoning [41.03267013352519]
  大きな言語モデル(LLM)は、印象的な推論能力を示すチェーン・オブ・シントを生成するように促された。 本稿では、分解生成器を用いて複雑な問題をより少ない推論ステップを必要とするサブプロブレムに分解するDaSLaMを紹介する。 本稿では,DaSLaMがスケール関数としての解の能力に制限されないことを示す。
  論文  参考訳（メタデータ） (2023-10-21T15:23:20Z)
• Decomposed Diffusion Sampler for Accelerating Large-Scale Inverse Problems [64.29491112653905]
  本稿では, 拡散サンプリング法とクリロフ部分空間法を相乗的に組み合わせた, 新規で効率的な拡散サンプリング手法を提案する。 具体的には、ツイーディの公式による分母化標本における接空間がクリロフ部分空間を成すならば、その分母化データによるCGは、接空間におけるデータの整合性更新を確実に維持する。 提案手法は,従来の最先端手法よりも80倍以上高速な推論時間を実現する。
  論文  参考訳（メタデータ） (2023-03-10T07:42:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。