論文の概要: COEC: Calibrated Orthogonal-Equivalence Compensation for Structured Pruning of Large Language Models
- arxiv url: http://arxiv.org/abs/2608.21142v1
- Date: Fri, 21 Aug 2026 14:20:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-24 14:49:32.580168
- Title: COEC: Calibrated Orthogonal-Equivalence Compensation for Structured Pruning of Large Language Models
- Title（参考訳）: COEC:大規模言語モデルの構造化プルーニングのための校正直交等価補償
- Abstract要約: 構造化プルーニングのためのトレーニングフリー補償フレームワークとしてCOEC(Calibrated Orthogonal-Equivalence Compensation)を提案する。
Llama-3、Llama-3.1、Qwen2.5のモデルファミリーの実験では、COECは全てのモデルにおけるパープレキシティを改善し、ほとんどの設定においてゼロショット精度を向上している。
- 参考スコア（独自算出の注目度）: 13.501861808796873
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Structured pruning reduces the size and inference cost of large language models (LLMs) by removing weight columns, but the resulting output error can degrade accuracy. Existing training-free compensation methods use an additive bias or a single orthogonal rotation on the output side of the retained weight. These corrections leave its input singular frame unchanged and therefore limit how the retained weight can adapt after column removal. We propose COEC (Calibrated Orthogonal-Equivalence Compensation), a training-free compensation framework that applies alternating left and right orthogonal rotations to the retained weight. The right rotation is optimized on a reduced Stiefel manifold, while singular values are rescaled using generalized cross-validation to select the regularization strength for each layer. COEC further tempers the calibration Gram matrix to reduce the dominance of high-energy activation directions and introduces an alignment penalty that preserves the geometric relation between adjacent attention projections.All components use second-order statistics from a small calibration set and require neither backpropagation through the LLM nor retraining of the model parameters. COEC is independent of the column pruning criterion and can be applied to multiple structured pruning methods. Experiments on the Llama-3, Llama-3.1, and Qwen2.5 model families across multiple structured sparsity levels show that COEC improves perplexity on every model and zero-shot accuracy in most settings over existing compensation methods, with larger gains at higher sparsity. These results show that post-pruning compensation can recover part of the performance lost to column removal.
- Abstract（参考訳）: 構造化プルーニングは重み列を除去することで大きな言語モデル(LLM)のサイズと推論コストを削減するが、結果として出力エラーは精度を低下させる。
既存のトレーニング不要補償法では、保持重量の出力側で加算バイアスまたは単一の直交回転を用いる。
これらの補正は入力特異フレームをそのまま残し、したがって保持された重量がカラム除去後にどのように適応するかを制限する。
左右の直交回転を重みに交互に適用する訓練自由補償フレームワークであるCOEC(Calibrated Orthogonal-Equivalence Compensation)を提案する。
右回転は縮小されたスティーフェル多様体に最適化され、特異値は一般化されたクロスバリデーションを用いて再スケールされ、各層に対する正規化強度が選択される。
COECはさらに、キャリブレーショングラム行列を誘引して、高エネルギー活性化方向の優位性を低下させ、隣り合うアライメントプロジェクション間の幾何学的関係を保存するアライメントペナルティを導入し、全てのコンポーネントは小さなキャリブレーションセットから2次統計を用いており、LLMによるバックプロパゲーションもモデルパラメータの再調整も必要としない。
COECはカラムプルーニング基準とは独立であり、複数の構造化プルーニング法に適用できる。
Llama-3, Llama-3.1, Qwen2.5 モデルファミリを複数の構造的空間レベルにわたって実験した結果、COEC は既存の補償法よりも多くの設定において全てのモデルにおけるパープレキシティとゼロショット精度を改善し、より高頻度で向上した。
これらの結果から, 減算後の補償は, カラム除去で失われる性能の一部を回復できることがわかった。
関連論文リスト
- SHIFT-LLM: Distribution Shift Correction in Depth-Pruned LLMs [18.494055578192015]
本稿では,各プルーニングサイトに線形残差アダプタを挿入するトレーニング不要なポストプルーニング修正フレームワークShift-LLMを紹介する。
各LRAは元の残基の同一性経路を保持し、軽量なアフィン残基補正を追加する。
5つのモデルファミリ,6つの層選択基準,および7つのゼロショットベンチマーク実験により,ShiFT-LLMは深絞りによって失われる精度を常に回復することを示した。
論文 参考訳（メタデータ） (2026-08-25T19:01:58Z) - KALE: Kernel Alignment with Loss Equilibration for Stable CLIP-DINOv2 Alignment at Web Scale [0.0]
カーネルベースのCLIPのDINOv2(KUEA)のようなビジョン中心の教師へのアライメントは、テキストエンコーダの互換性を維持しながらCLIPの視覚的表現を改善している。
本稿では,損失とアライメント重みを目標比に適応的に再スケールする損失平衡制御系であるKALEを紹介する。
3.3MイメージのCC12Mサブセットでは、アライメントモデルは画像テキストの検索を保存し、再現的にSVHN線形探索を改善する。
論文 参考訳（メタデータ） (2026-07-21T09:14:33Z) - Improving Neural Network Training by Decoupling the Magnitude and Direction of Weight Vectors [110.10775872372047]
EmphMagnitude-Direction-Direction (MD) Decouplingを提案する。
これは、各重量をハイパースフィア上の固定ノルム方向に分解し、学習可能な1ローとカラムごとのマグニチュードゲインを、別々の学習速度で更新する。
アダムとムーンの双方で、MD Decouplingはよく調整されたベースラインを改善し、モデルの幅を調整せずに最適なLRを転送し、大規模なMixture-of-Expertsモデルのスケールに役立っている。
論文 参考訳（メタデータ） (2026-06-24T15:40:26Z) - HARP: Hadamard-Preconditioned Adaptive Rotation Processor for Extreme LLM Quantization [48.87937677659571]
本稿では, HARP (Hadamard-preconditioned Adaptive Rotation Processor) を導入する。
1Bから70Bまでのモデルの2-4ビット設定では、HARPは固定RHTよりもパープレキシティとゼロショット精度を改善している。
HarPはデプロイ効率を保ち、FP16では128トン/秒、61トン/秒に達する。
論文 参考訳（メタデータ） (2026-05-28T12:24:15Z) - Diffusion Controller: Framework, Algorithms and Parameterization [54.82539154511621]
本稿では,逆拡散サンプリングを(一般化された)線形解法マルコフ決定過程における状態のみの制御として活用する統一的な制御理論的視点を提案する。
このフレームワークでは、制御はトレーニング済みのリバースタイムのトランジションカーネルを再重み付けし、端末の目的と$f$分割コストのバランスをとる。
安定拡散v1.4の実験では、選好調整の勝利率が一貫した上昇を示し、品質効率のトレードオフを改善した。
論文 参考訳（メタデータ） (2026-03-07T01:49:59Z) - Correctness-Optimized Residual Activation Lens (CORAL): Transferrable and Calibration-Aware Inference-Time Steering [3.7758197704962835]
重み付きデカイプローブを用いて、モデル内部のアクティベーションから正当性信号を捕捉する正規化時間ステアリング法であるCORALを導入する。
コラルは、常に精度を10%改善し、期待キャリブレーション誤差(ECE)を平均50%改善する。
本結果は,個々のニューロンが不十分な場合,正規化プローブを用いてモデル内部の分散情報を抽出できるという仮説を支持する。
論文 参考訳（メタデータ） (2026-02-05T18:55:56Z) - A Unified View of Attention and Residual Sinks: Outlier-Driven Rescaling is Essential for Transformer Training [86.64715217940274]
外接線は正規化と共に機能する。
アウトリーチは、コントリビュータではなく、再スケール要因として役立ちます。
外乱は学習可能なパラメータに吸収されるか、明示的なゲート再スケーリングによって緩和される。
論文 参考訳（メタデータ） (2026-01-30T13:29:45Z) - RCPU: Rotation-Constrained Error Compensation for Structured Pruning of a Large Language Model [4.7618979083425215]
大規模言語モデル(LLM)の構造化プルーニングによる誤りに対処する回転制限補償法を提案する。
LLMは大量のデータセットに基づいて訓練され、表現空間に豊富なセマンティック知識を蓄積する。
実験では,提案手法をLLaMA-7Bに適用し,WikiText-2および複数の言語理解ベンチマーク上で評価する。
論文 参考訳（メタデータ） (2025-10-09T04:54:09Z) - 3-Dimensional CryoEM Pose Estimation and Shift Correction Pipeline [2.009945677846956]
正確なポーズ推定とシフト補正は、非常に低いSNRが3次元再構成の忠実性に直接影響を及ぼすため、Cryo-EMの鍵となる課題である。
本稿では,多次元スケーリング(MDS)手法を頑健に活用したCryo-EMにおけるポーズ推定手法を提案し,各粒子の3次元回転行列を2面角対から推定する。
論文 参考訳（メタデータ） (2025-07-20T11:46:17Z) - UPCORE: Utility-Preserving Coreset Selection for Balanced Unlearning [57.081646768835704]
ユーザ仕様や法的フレームワークは、しばしば、大きな言語モデル(LLM)を含む、事前訓練されたモデルから削除される情報を必要とする。
これは、既に訓練済みのモデルからデータポイントのセットを削除または"偽造"する必要がある。
本研究では,非学習時の副次的損傷を軽減するための手法に依存しないデータ選択フレームワークUPCOREを提案する。
論文 参考訳（メタデータ） (2025-02-20T22:51:10Z) - RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models [53.571195477043496]
本稿では,RoSTE (Rotated Straight-Through-Estimator) というアルゴリズムを提案する。
RoSTEは、量子化を意識した微調整(QA-SFT)と適応的な回転戦略を組み合わせることで、アクティベーションアウトリーを減少させる。
その結果, 予測誤差は収束重みの量子化誤差と直接比例し, 最適化された回転構成により効果的に管理できることが判明した。
論文 参考訳（メタデータ） (2025-02-13T06:44:33Z) - Semi-Supervised Coupled Thin-Plate Spline Model for Rotation Correction and Beyond [84.56978780892783]
制御点が限られている複数のTPSを、より柔軟で強力な変換に繰り返し結合するCoupledTPSを提案する。
注記コストを考慮に入れた半教師付き学習手法を開発し、ラベルのないデータを活用することにより、ワープ品質を向上させる。
実験は、回転補正のための既存の最先端解よりもCoupledTPSの優位性と普遍性を示す。
論文 参考訳（メタデータ） (2024-01-24T13:03:28Z) - Classifier Calibration with ROC-Regularized Isotonic Regression [0.0]
等方性回帰を用いてモノトン変換による校正集合上のクロスエントロピーを最小化する。
IRは適応的なバイナリ処理として機能し、キャリブレーション誤差をゼロにすることができるが、性能への影響は未解決である。
この一般単調な基準は、クロスエントロピー損失の低減と校正セットの過度な適合の回避のバランスを打つのに有効であることを示す。
論文 参考訳（メタデータ） (2023-11-21T08:45:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。