論文の概要: GateTrim: Adaptive-Rank Quantization for Large Language Models
- arxiv url: http://arxiv.org/abs/2611.00654v1
- Date: Sat, 31 Oct 2026 05:34:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-13 17:27:03.126824
- Title: GateTrim: Adaptive-Rank Quantization for Large Language Models
- Title(参考訳): GateTrim: 大規模言語モデルの適応型量子化
- Abstract要約: GateTrimは、量子化された低ランクの残差表現の低ランク要素を標準化する。
ターゲットの重み行列ごとに別々のゲートベクトルを学習し、共有しきい値を使用してその保持ランクを自動的に決定する。
- 参考スコア(独自算出の注目度): 5.329362445777807
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce GateTrim, an adaptive-rank post-training quantization method for large language models that learns matrix-specific ranks through gate optimization and threshold-based rank selection. GateTrim standardizes the low-rank factors of a quantized low-rank--residual representation, learns a separate gate vector for each target weight matrix, and uses a shared threshold to automatically determine its retained rank. The resulting ranks can differ across matrices, and the compact quantized representations are subsequently reconstructed. We evaluate GateTrim under W4A8 on Qwen3-4B/8B/14B, Llama-3.2-3B-Instruct, and Llama-3.1-8B-Instruct. Across all five models, we observe a counterintuitive finding: increasing the threshold from $τ=0.3$ to $τ=0.7$ reduces the mean retained rank by 46.60%--67.89% while simultaneously lowering WikiText-2 perplexity by 0.59%--5.17%. Threshold 0.7 achieves the lowest mean retained rank and final perplexity among the three tested thresholds, 0.3, 0.5, and 0.7, and reduces measured target-export size by 1.50%--4.25% relative to 0.3. GateTrim uses an $8\times512$-token fitting pool and a separate development pool of the same size. Its Qwen3-4B/8B/14B perplexities at $τ=0.7$ are numerically below TwinQuant's published W4A8 values, reported with a $128\times2048$-token calibration pool, in a cross-study comparison. On Qwen3-8B, the threshold-0.7 configuration already has the lowest perplexity before reconstruction under both tested initialization seeds; reconstruction improves it further without increasing retained rank or export size.
- Abstract(参考訳): 本稿では,ゲート最適化としきい値に基づくランク選択を通じて行列固有ランクを学習する大規模言語モデルの適応格後量子化手法であるGateTrimを紹介する。
GateTrimは、量子化された低ランクの残留表現の低ランク要素を標準化し、ターゲットの重み行列ごとに別々のゲートベクトルを学習し、共有しきい値を使用して、その保持ランクを自動的に決定する。
結果のランクは行列によって異なり、コンパクトな量子化表現は後に再構成される。
我々は,Qwen3-4B/8B/14B,Llama-3.2-3B-Instruct,Llama-3.1-8B-Instructにおいて,W4A8の下でGateTrimを評価する。
閾値を$τ=0.3$から$τ=0.7$に引き上げると、平均保持ランクは46.60%--67.89%減少し、同時にWikiText-2の難易度は0.59%--5.17%低下する。
Threshold 0.7は、試験された3つのしきい値0.3、0.5、0.7のうち、最低平均保持ランクと最終パープレキシティを達成し、測定された目標輸出サイズを0.3に対して1.50%〜4.25%削減する。
GateTrimは、$8\times512$-tokenのフィッティングプールと、同じサイズの別の開発プールを使っている。
Qwen3-4B/8B/14B Perplexities at $τ=0.7$は、TwinQuantが公表したW4A8値より数値的に低い。
Qwen3-8Bでは、しきい値-0.7の構成は、試験された初期化シードの両方で再現される前に既に最低のパープレキシティを有しており、維持されたランクや輸出サイズを増すことなく、さらに改善されている。
関連論文リスト
- Zero-Gated Cross-Attention [0.0]
Inductively Gated Cross-Attention (IGCA) は、事前訓練されたモデル動作を保存するゼロdクロスアテンションブリッジである。
フリーズされたFalcon-40B、open_llama_30b、Bloom-7b1の6つのデコーダ層で統合された。
ホールドアウト評価では、最良ゲートオンチェックポイントは、ゲートオフベースラインの4.3469に対して2.2201の損失を達成する。
論文 参考訳(メタデータ) (2026-10-31T17:03:01Z) - Learning Functional Subspaces for Neural Network Compression [79.78451551969097]
Learnable Subspace Projections (LSP) は、エンドツーエンドを捨てるためにサブスペースを学習する。
LSPは、小さなバッチサイズで高密度モデルよりも1.6倍高速にデコードする。
論文 参考訳(メタデータ) (2026-09-30T16:47:35Z) - GroupMask: Layer-Adaptive Group-wise Sparsity for Semi-Structured LLM Pruning [46.51908529519816]
層適応型スパシティアロケーションは非構造的プルーニングを改善するが、N:Mスパシティでは効果が低いと報告されている。
本稿では,軽量なハイパーネットワークで全レイヤのグループセレクタを生成するGroupMaskを提案する。
GroupMaskはLLaMA-2-7B上でのWikiText-2の難易度が最も低く、Alpacaキャリブレーションによるゼロショットの精度が最も高い。
論文 参考訳(メタデータ) (2026-09-27T22:17:35Z) - Modular Norm RandOpt: Population-Efficient Ensembling through Architecture-Aware Perturbations [0.0]
RandOptは重み付き言語モデルをサンプリングし、複数の投票を通じて上位候補をアンサンブルする。
モジュールワイズ自然ノルムと校正スケールを用いたアーキテクチャ対応サンプリング手法であるModular Norm RandOptを提案する。
RandOptはCountdownで$3times、GSM8Kで$12times($12times)で$2B($12times)で、ウォールタイムでは$3times($3/$)で上回る。
論文 参考訳(メタデータ) (2026-09-22T06:31:00Z) - Per-Matrix Optimality Is Not Enough: Three-Level Optimization for Low-Rank LLM Compression [8.890261387138215]
本稿では,各行列からトランスフォーマーブロックへ最適化範囲を広げる3レベルチェーンを提案する。
LLaMA-7Bの60%圧縮では、WikiText-2の難易度は42.1から19.1から11.4に減少する。
ブロックレベルのステージをスキップすると、オフラインの計算-データトレードオフが明らかになる。
論文 参考訳(メタデータ) (2026-09-14T16:36:46Z) - On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。
トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
論文 参考訳(メタデータ) (2026-08-31T06:35:07Z) - Block-Level Weight-Space Structure Persists Under Post-Training: An Empirical Study Across LLM Families [3.556355987197792]
ポストトレーニングが重み空間幾何学をどう変えるかを研究する。
当社はLinkerLLMという遅延ローダを開発しています。
論文 参考訳(メタデータ) (2026-08-23T05:15:25Z) - Querit-Reranker: Training Compact Multilingual Rerankers via Efficient Label-Free Distribution Adaptation [43.66118282567413]
データ中心のパイプラインでトレーニングされた多言語クロスエンコーダリランカのファミリーであるQuarit-Rerankerを紹介します。
我々のパイプラインはまず、大規模ランキング指向データから一般的な関連性モデリングを学び、次にターゲット分布に適応する。
Querit-Reranker-A0.4B 平均 nDCG@10 は BEIR では 54.11 から 59.28 に、MIRACL では 59.87 から 67.70 に改善されている。
論文 参考訳(メタデータ) (2026-06-17T13:06:47Z) - ActQuant: Sub-4-bit Action-Guided Quantization for Vision-Language-Action Models [45.62029693245481]
本稿では,アクション誘導型混合精度PTQフレームワークであるActQuantを紹介する。
ActQuant は、(1) エージェントの動作の予測にどの程度貢献するかに基づいて、各重み行列に1ビット幅を割り当てるテンソル間ビットアロケータである。
我々はまた、効率的な低ビットカーネルを持つネイティブC/C++にポートするエージェント変換パイプラインであるOmniModelも導入した。
論文 参考訳(メタデータ) (2026-05-19T19:57:26Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳(メタデータ) (2026-05-15T17:08:27Z) - Benchmarking Linguistic Adaptation in Comparable-Sized LLMs: A Study of Llama-3.1-8B, Mistral-7B-v0.1, and Qwen3-8B on Romanized Nepali [0.0]
ネパール語はラテン文字で書かれたネパール語であり、ネパールにおける非公式なデジタルコミュニケーションの主流となっている。
本研究では、3つの同等サイズのオープンウェイトモデルにまたがる言語適応の系統的ベンチマークを示す。
論文 参考訳(メタデータ) (2026-03-25T07:02:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。