論文の概要: RoleQ: Role-Aligned Scales for Converting Language Models to Ternary

• arxiv url: http://arxiv.org/abs/2610.21808v1
• Date: Thu, 15 Oct 2026 12:56:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.084564
• Title: RoleQ: Role-Aligned Scales for Converting Language Models to Ternary
• Title（参考訳）: RoleQ: 言語モデルを3次に変換するためのロール指向のスケール
• Abstract要約: RoleQは、ウェイトマトリックスのレイアウトではなく、Transformerユニットの機能的な役割によってスケールする。 トレーニング後のパイプラインは、いくつかのGPU時間で既存のチェックポイントを1重量あたり1.59ビットに変換する。 単位当たりのフィッシャー塩分によって配置された第2の三次平面は、行列乗法を不要に保つ。
• 参考スコア（独自算出の注目度）: 29.912254631757474
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Weight quantization below four bits shrinks memory and bandwidth at a perplexity that looks acceptable, but often at the cost of factual knowledge and task accuracy. Ternary weights have mostly been obtained by training from scratch or long fine-tuning. We introduce RoleQ, a quantization framework that places scales by the functional roles of Transformer units rather than by the layout of the weight matrix, as conventional formats do. Vectors that read from the residual stream take one scale per output unit; those that write to it, one per input unit. The rule is structural, needs no search, calibration or stored state, and holds on integer and ternary grids. In a rotated basis it matches a per-layer axis search at half the solver work, and at ternary it cuts perplexity by up to half against layout-based placement in two families at every size from 0.6B to 14B, where per-row scales leave MMLU at chance. Our lightweight post-training pipeline converts an existing checkpoint to 1.59 bits per weight in a few GPU-hours, a fraction of the cost of learned ternarization, and leads every post-training ternary method at matched or lower memory-resident bits on perplexity, zero-shot accuracy and MMLU, most widely on knowledge. A sparse second ternary plane placed by a per-unit Fisher saliency keeps the matmul multiplication-free and recovers what ternary loses first: at 8B, a fraction of a bit returns about half the MMLU that conversion costs, well ahead of random or Hessian-based placement at equal bits.
• Abstract（参考訳）: 4ビット以下の重み量子化はメモリと帯域幅を複雑に縮小するが、実際的な知識とタスクの正確さの犠牲になることが多い。 第三級重量は、主にスクラッチや長い微調整の訓練によって得られる。 従来のフォーマットのように重み行列のレイアウトではなく、トランスフォーマーユニットの機能的役割によってスケールを配置する量子化フレームワークであるRoleQを紹介する。 残ストリームから読み取ったベクトルは出力単位ごとに1つのスケール、入力単位ごとに1つのスケールを取る。 このルールは構造的であり、サーチ、キャリブレーション、ストアドステートを必要としない。 回転ベースでは、各層の軸を半分の解法で探索し、第3段階では、各サイズが0.6Bから14Bの2つのファミリーにおけるレイアウトベースの配置に対して、パープレキシティを最大半分カットする。 我々の軽量な後トレーニングパイプラインは、既存のチェックポイントをGPU時間で1.59ビットに変換し、学習した3値化のコストのごく一部を処理し、暗黙性、ゼロショット精度、MMLUにおいて、一致するまたは低いメモリ常駐ビットにおいて、トレーニング後の3値法を導く。 1ユニット当たりのフィッシャー・サリエンシによって配置されるスパースな第2三次平面は、母数乗算を不要に保ち、三次平面が最初に失うものを回復する: 8Bでは、ビットのごく一部がMMLUの約半分を返す。

関連論文リスト

• CentriQ: Calibration-Free Quantization of Diffusion Transformers via Exact Mean Centering [45.88028371034407]
  拡散変換器(DiT)は最先端の画像生成を実現するが、サンプリングコストは配置を制限する。 我々は、回転前に各トークンを集中し、平均を正確に復元するキャリブレーションフリーの量子化器であるCentriQを紹介する。 2ビットのアクティベーションで使用可能な画質を維持する最初のキャリブレーションフリー方式である。
  論文  参考訳（メタデータ） (2026-10-05T12:54:46Z)
• Transforms for LLM Quantization: The Great Inversion and Format Co-Design [0.38073142980733005]
  我々は、それを組織する原則であるグレート・インバージョンを特定し、形式化する。 43の変換手法を,構造・データ認識・検索・構築・実行コストで分類する。
  論文  参考訳（メタデータ） (2026-08-25T22:01:51Z)
• Low-Rank Ternary Adaptation for Fine-Tuning Transformers [54.3230438745856]
  3次変換器は、極端なメモリと計算効率を提供する。 既存のロービットのLoRAベースの手法では、3次重みを直接微調整することはできない。 3次重みの離散的な更新を表す3次乗法適応を提案する。
  論文  参考訳（メタデータ） (2026-08-25T12:15:56Z)
• High-Rate Quantized Matrix Multiplication II [29.75700570685703]
  我々は, 実用的なLCM量子化アルゴリズム(GPTQ)を改良するために, 給水をどのように利用できるかを示す。 スカラーINT量子化器のみを使用する最近のスキーム(WaterSIC')を解析し、そのハイレート性能をベースフリー(つまり、$_X$の行列式を特徴とする)として示す。
  論文  参考訳（メタデータ） (2026-05-13T16:47:25Z)
• MLPMoE: Zero-Shot Architectural Metamorphosis of Dense LLM MLPs into Static Mixture-of-Experts [0.0]
  大規模言語モデル(LLM)は、主に高密度トランスフォーマーとしてデプロイされ、すべてのトークンに対してフィードフォワードブロック内の全てのパラメータがアクティブになる。 MoEfication、CMoE、ToMoE、MoOREといった最近のアップサイクリング手法は、高密度フィードフォワードネットワーク内の疎小で半モジュラーなサブ構造に有用な計算の大部分が存在していることを明らかにしている。 本稿では,高密度の変圧器ブロックを静的な高心性混合体に再構成する学習自由変換であるMoE(MLP-Experts)を紹介する。
  論文  参考訳（メタデータ） (2025-11-26T06:14:26Z)
• What Layers When: Learning to Skip Compute in LLMs with Residual Gates [66.23658560048241]
  GateSkipは、デコーダのみのLMにおけるトークンワイド層スキップを可能にする残差ストリームゲーティング機構である。 各Attention/MLPブランチは、残ストリームに再入力する前に、ブランチの出力を凝縮するシグモイドリニアゲートを備えている。
  論文  参考訳（メタデータ） (2025-10-13T16:31:50Z)
• FlatQuant: Flatness Matters for LLM Quantization [58.28221892035609]
  重みとアクティベーションの平坦性を高める新しいポストトレーニング量子化手法であるFlatQuantを提案する。 本手法では, 線形層毎の最適アフィン変換を, 軽量な目的により数時間で調整する。 LLaMA-3-70BモデルでのW4A4量子化の精度は1%以下で、SpinQuantを7.5%上回る。
  論文  参考訳（メタデータ） (2024-10-12T08:10:28Z)
• QuaRot: Outlier-Free 4-Bit Inference in Rotated LLMs [72.26197676852958]
  ローテーションに基づく新しい量子化方式であるQuaRotを紹介する。 QuaRotは、すべての重み、アクティベーション、KVキャッシュを含むエンドツーエンドを4ビットで量子化する。 我々の4ビット量子化LLaMa2-70Bモデルは、少なくとも0.47 WikiText-2パープレキシティが失われ、ゼロショット性能の99%を維持している。
  論文  参考訳（メタデータ） (2024-03-30T19:20:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。