論文の概要: Activation-Weighted Seeded Residual Coding for Low-Bit LLM Weight Repair

• arxiv url: http://arxiv.org/abs/2608.23144v1
• Date: Mon, 24 Aug 2026 11:49:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:44.038739
• Title: Activation-Weighted Seeded Residual Coding for Low-Bit LLM Weight Repair
• Title（参考訳）: 低ビットLLM重み修復のための活性化重み付き残差符号化
• Abstract要約: Activation-Weighted Seeded Residual Coding (AWSRC)は、既存の量子化バックボーンのコンパクトな修復である。 一致する49.25MBのサイドカー、BF16モデルの重量ペイロードの約0.8%で、AWSRCは最も複雑で平均的なタスク精度を提供する。
• 参考スコア（独自算出の注目度）: 5.606117282929355
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-bit weight quantization saves storage but leaves errors that degrade language-model quality. We introduce Activation-Weighted Seeded Residual Coding (AWSRC), a compact repair codec for an existing quantization backbone. Given a reconstructed weight $W_0$, AWSRC encodes the residual $W-W_0$ using deterministic seed-generated bases. The sidecar stores seed selectors, low-bit coefficients, and scales rather than an explicit codebook. Activation statistics prioritize errors that affect layer outputs. On Qwen2.5-3B-Instruct, adding 0.162 scope-bits/weight to an INT4 RTN backbone closes 88.2%, 78.9%, and 71.3% of the matched PPL, KL, and accuracy gaps to BF16. Repairing a matched strong low-bit backbone also improves all measured quality metrics. With a matched 49.25 MB sidecar, about 0.8% of the BF16 model-weight payload, AWSRC gives the best perplexity and mean task accuracy among sparse, low-rank, and vector-quantized codecs.
• Abstract（参考訳）: 低ビット量量子化はストレージを節約するが、言語モデルの品質を低下させるエラーを残している。 本稿では,既存の量子化バックボーン用のコンパクトな修復コーデックである Activation-Weighted Seeded Residual Coding (AWSRC) を紹介する。 再構成された重量$W_0$を与えられたAWSRCは、決定論的シード生成ベースを使用して残高$W-W_0$を符号化する。 サイドカーは、明示的なコードブックではなく、シードセレクタ、低ビット係数、スケールを格納する。 アクティベーション統計は、レイヤ出力に影響を与えるエラーを優先順位付けする。 Qwen2.5-3B-インストラクタでは、INT4 RTNのバックボーンに0.162のスコープビット/重みを追加し、マッチしたPPL、KLの88.2%、78.9%、71.3%を閉じ、BF16の精度のギャップを埋める。 一致した強い低ビットのバックボーンを修復することで、測定されたすべての品質指標も改善される。 一致する49.25MBのサイドカー、BF16モデルの重量ペイロードの約0.8%で、AWSRCはスパース、ローランク、ベクトル量子化されたコーデックの中で最高のパープレキシティと平均タスク精度を提供する。

関連論文リスト

• Low-Rank Ternary Adaptation for Fine-Tuning Transformers [54.3230438745856]
  3次変換器は、極端なメモリと計算効率を提供する。 既存のロービットのLoRAベースの手法では、3次重みを直接微調整することはできない。 3次重みの離散的な更新を表す3次乗法適応を提案する。
  論文  参考訳（メタデータ） (2026-08-25T12:15:56Z)
• SparseKAN: Compressing Kolmogorov--Arnold Networks Across Basis Functions, Neurons, and Bits [6.860988566886594]
  基本関数,ニューロン/チャネル,数値精度の3つの相補的軸に沿ってkanを圧縮する統一的アプローチである textbfSparseKAN を提案する。 SparseKANは、基本分岐、非線形基底分岐、および個別基底項に、異なるアクティブコストの目的の下で訓練された階層的な学習可能なゲートを装備する。
  論文  参考訳（メタデータ） (2026-08-01T20:42:41Z)
• BWLA: Breaking the Barrier of W1AX Post-Training Quantization for LLMs [10.07268309735318]
  大規模言語モデル(LLM)は、NLPに大きな進歩をもたらしたが、そのかなりのメモリと計算要求は、まだ実用的なデプロイメントを妨げている。 我々は,1ビットの重み量子化を達成しつつ,高精度な学習後量子化フレームワークであるBWLAを提案する。 Qwen3-32Bでは、BWLAは6ビットアクティベーションでWikitext2の難易度11.92に達し、5つのゼロショットタスクを70%以上改善し、3.26倍の推論速度を提供する。
  論文  参考訳（メタデータ） (2026-05-01T05:42:57Z)
• AdaLoRA-QAT: Adaptive Low-Rank and Quantization-Aware Segmentation [3.7529248291177404]
  AdaLoRA-QATは、適応型低ランクエンコーダ適応とフル量子化対応トレーニングを組み合わせた2段階の微調整フレームワークである。 95.6%のDiceを実現し、完全精度のSAMデコーダを微調整し、トレーニング可能なパラメータを16.6倍減らし、2.24倍のモデル圧縮が得られる。 これらの結果から,AdaLoRA-QATは精度,効率,構造的信頼性を効果的にバランスさせ,医用画像セグメンテーションのためのコンパクトで展開可能な基礎モデルを実現できることが示された。
  論文  参考訳（メタデータ） (2026-04-01T17:18:46Z)
• Kernelized Sparse Fine-Tuning with Bi-level Parameter Competition for Vision Models [80.50996301430108]
  スパースチューニングは、下流タスクに最も関係のある重みだけを調整することで、顕著なパフォーマンスを達成する。 上述の制限を克服する一段法SNELLAを提案する。 SNELLAは低メモリ使用量でSOTA性能を達成する。
  論文  参考訳（メタデータ） (2025-10-28T03:39:18Z)
• Enhancing Fault-Tolerant Surface Code Decoding with Iterative Lattice Reweighting [12.330043396100635]
  本稿では,Iterative Reweighting Minimum-Weight Perfect Matching (IRMWPM)デコーダを提案する。 IRMWPMは論理誤差率を僅かな距離で20倍以上に下げることを示す。 また、精度の閾値を1%から1.16%に引き上げ、短期リアルタイムデコードに実用的である。
  論文  参考訳（メタデータ） (2025-09-08T14:45:59Z)
• Squeeze10-LLM: Squeezing LLMs' Weights by 10 Times via a Staged Mixed-Precision Quantization Method [37.70474075872739]
  我々は16ビット言語モデルの重み付けを10倍にするためにSqueeze10-LLMを提案する。 重量の80%を1ビットに、20%から4ビットに定量化することで、重量当たり平均1.6ビットを達成する。 LLaMAとLLaMA2の実験により、Squeeze10-LLMは2ビット以下の重みのみの量子化に対して最先端の性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-07-24T03:55:19Z)
• LoTA-QAF: Lossless Ternary Adaptation for Quantization-Aware Fine-Tuning [50.89500210372827]
  リソース制約のあるエッジデバイスに大規模言語モデル(LLM)をデプロイするには、量子化と微調整が不可欠である。 LoTA-QAFは量子化LDM用に特別に設計された新しい微調整法である。 MMLUベンチマークでは,16ビットLORAを最大5.14%越えて,量子化モデルの性能を効果的に回復する。
  論文  参考訳（メタデータ） (2025-05-24T14:47:28Z)
• Task-Circuit Quantization: Leveraging Knowledge Localization and Interpretability for Compression [55.323397702682506]
  後トレーニング量子化(PTQ)は、コストのかかる再トレーニングなしに全精度重みを低ビット重みにマッピングすることで、モデルのメモリフットプリントを削減する。 我々は,自動回路発見に並列性を持つ新しい混合精度PTQ手法であるTask-Circuit Quantization (TaCQ)を開発した。
  論文  参考訳（メタデータ） (2025-04-10T02:19:03Z)
• OneBit: Towards Extremely Low-bit Large Language Models [66.29839811207617]
  本稿では, LLMの重量行列を1ビットに大胆に定量化し, LLMの極低ビット幅展開への道を開く。 実験によると、OneBitは(LLaMAモデルの非量子化性能の少なくとも81%)優れたパフォーマンスを、堅牢なトレーニングプロセスで達成している。
  論文  参考訳（メタデータ） (2024-02-17T14:26:57Z)
• Quantized Neural Networks for Low-Precision Accumulation with Guaranteed Overflow Avoidance [68.8204255655161]
  本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。 本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
  論文  参考訳（メタデータ） (2023-01-31T02:46:57Z)
• Non-Parametric Adaptive Network Pruning [125.4414216272874]
  アルゴリズム設計を簡略化するノンパラメトリックモデリングを導入。 顔認識コミュニティに触発されて,メッセージパッシングアルゴリズムを用いて,適応的な例示数を求める。 EPrunerは「重要」フィルタを決定する際にトレーニングデータへの依存を壊します。
  論文  参考訳（メタデータ） (2021-01-20T06:18:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。