Fugu-MT 論文翻訳(概要): LoopQ: Quantization for Recursive Transformers

論文の概要: LoopQ: Quantization for Recursive Transformers

arxiv url: http://arxiv.org/abs/2605.16343v1
Date: Fri, 08 May 2026 01:45:28 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-25 12:34:33.899283
Title: LoopQ: Quantization for Recursive Transformers
Title（参考訳）: LoopQ: 再帰変換器の量子化
Abstract要約: 本稿では,LoopLMにおける量子化に関する最初の体系的研究について述べる。ループ対応のPTQフレームワークであるLoopQを提案する。実験によると、W4A4量子化の下では、LoopQは平均下流の精度を68.8%改善し、最強の静的PTQベースラインと比較して平均パープレキシティを87.7%低減している。
参考スコア（独自算出の注目度）: 14.001192614503807
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Looped language models (LoopLMs) improve parameter efficiency by recursively reusing Transformer blocks, enabling deeper computation under a fixed model size. However, this reuse makes LoopLMs more fragile under post-training quantization (PTQ). We present the first systematic study of quantization in LoopLMs and identify three challenges: distribution shift across roles, state reuse across loop transitions, and recursive error accumulation. To address these challenges, we propose LoopQ, a loop-aware PTQ framework that preserves a shared quantized backbone while introducing lightweight adaptations. LoopQ combines activation scaling, selective transformation, cross-loop state alignment, and trajectory-aware optimization to reduce distributional mismatch within loops and error accumulation across loops. Experiments across seven benchmarks show that, under W4A4 quantization, LoopQ improves average downstream accuracy by 68.8% and reduces average perplexity by 87.7% compared with the strongest static PTQ baseline.
Abstract（参考訳）: ループ言語モデル(LoopLM)は、Transformerブロックを再帰的に再利用することでパラメータ効率を改善し、固定モデルサイズでのより深い計算を可能にする。しかし、この再利用により、後トレーニング量子化(PTQ)の下でLoopLMsはより脆弱になる。本稿では,LoopLMにおける量子化に関する最初の体系的研究を行い,役割間の分散シフト,ループ遷移間の状態再利用,再帰的エラー蓄積の3つの課題について述べる。これらの課題に対処するため,ループ対応のPTQフレームワークであるLoopQを提案する。 LoopQは、アクティベーションスケーリング、選択的変換、クロスループ状態アライメント、トラジェクトリ対応最適化を組み合わせて、ループ内の分散ミスマッチとループ間のエラー蓄積を削減する。 7つのベンチマークの実験では、W4A4量子化の下で、LoopQは平均ダウンストリーム精度を68.8%改善し、最強の静的PTQベースラインと比較して平均パープレキシティを87.7%低減した。

関連論文リスト

KronQ: LLM Quantization via Kronecker-Factored Hessian [19.710403142085102]
後学習量子化(PTQ)は、大規模言語モデル(LLM)を再学習せずに圧縮する手法として広く採用されている。我々は、量子化パイプラインに勾配共分散を導入することで仮定に挑戦するPTQフレームワークであるKronQを提案する。
論文参考訳（メタデータ） (2026-07-08T22:34:52Z)
Stabilizing Extrapolation in Looped Transformers via Learned Stochastic Stopping [56.14767235650558]
共有トランスブロックを繰り返し適用するLooped Transformerは、可変長の計算タスクに自然に適合するアーキテクチャである。この差分を、列長とループ数の間の単純なアルゴリズムタスクにおける突発的相関に追従する。私たちの研究は、"停止する時"は単なる推論時間割当ルールではなく、トレーニング設計の選択として扱われるべきであることを示唆しています。
論文参考訳（メタデータ） (2026-06-29T08:58:09Z)
LoopCoder-v2: Only Loop Once for Efficient Test-Time Computation Scaling [72.71005779366162]
本研究では,ゲインコストの観点から,ループ数選択について検討する。この研究は18Tトークンのスクラッチからループ数が異なるループ数でLoopCoder-v2をトレーニングし、それにマッチした命令チューニングと評価を行う。実証的には、この2ループ版はコード生成、コード推論、エージェントソフトウェアエンジニアリング、ツールスベンチマークなど、非ループベースラインよりも幅広い利益をもたらしている。
論文参考訳（メタデータ） (2026-06-16T15:03:05Z)
RUQuant: Towards Refining Uniform Quantization for Large Language Models [17.258420059228808]
ポストトレーニング量子化(PTQ)は、再トレーニングを必要とせずにモデルを圧縮することで、実用的なソリューションとして登場した。既存の方法は、アクティベーション分布の非一様性により、かなりの精度の劣化に悩まされることが多い。本研究では,ロイド-マックス最適条件に基づく理論的な観点から,活性化量子化問題を再考する。
論文参考訳（メタデータ） (2026-04-05T08:04:39Z)
BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models [56.504879072674015]
本稿では,ビットプレーンとスカラー係数による可変量子化グリッドを構成するビットプレーン分解量子化(BPDQ)を提案する。 BPDQは、1つのGTX 3090上でQwen2.5-72Bを83.85%のGSM8Kの精度で提供できる(ただし16ビットでは90.83%)。
論文参考訳（メタデータ） (2026-02-04T02:54:37Z)
MergeQuant: Accurate 4-bit Static Quantization of Large Language Models by Channel-wise Calibration [23.752021919501207]
本稿では,チャネルごとの静的量子化フレームワークであるMergeQuantを提案する。 MergeQuantは、量子化ステップマイグレーション(QSM)メソッドを通じて、チャネルごとの量子化ステップと対応するスケーリングと線形マッピングを統合する。 Llama-2-7Bモデルでは、MergeQuantはFP16ベースラインと比較してデコードで最大1.77倍、エンドツーエンドで最大2.06倍のスピードアップを達成する。
論文参考訳（メタデータ） (2025-03-07T04:52:28Z)
TesseraQ: Ultra Low-Bit LLM Post-Training Quantization with Block Reconstruction [20.903193906931687]
後学習量子化(PTQ)は、メモリフットプリントを減らし、大規模言語モデル(LLM)の推論スループットを向上させるデファクト手法になりつつある。我々は,LLMの重みを超低ビットに定量化するために,最新のPTQ技術であるTesseraQを提案する。我々は、TesseraQが既存のスケーリングやクリッピングベースのPTQアルゴリズムとシームレスに統合できることを実証した。
論文参考訳（メタデータ） (2024-10-24T19:06:51Z)
PTQ4DiT: Post-training Quantization for Diffusion Transformers [52.902071948957186]
ポストトレーニング量子化(PTQ)は、計算とメモリフットプリントを大幅に削減できる高速でデータ効率のソリューションとして登場した。提案するPTQ4DiTは,DiTのための特別に設計されたPTQ手法である。 PTQ4DiTは8ビットの精度でDiTの量子化に成功した。
論文参考訳（メタデータ） (2024-05-25T02:02:08Z)
AffineQuant: Affine Transformation Quantization for Large Language Models [58.45460102764]
ポストトレーニング量子化(PTQ)は、その圧縮効率とトレーニングの文脈における費用対効果により、かなりの関心を集めている。既存の大規模言語モデル(LLM)のPTQ手法は、事前量子化重みと後量子化重みの間の変換のスケーリングに最適化範囲を制限している。本稿では,PTQ(AffineQuant)における等価アフィン変換を用いた直接最適化を提唱する。
論文参考訳（メタデータ） (2024-03-19T08:40:21Z)
CBQ: Cross-Block Quantization for Large Language Models [66.82132832702895]
ポストトレーニング量子化(PTQ)は、超低コストで大規模言語モデル(LLM)を圧縮する上で重要な役割を果たしている。 LLMのためのクロスブロック再構成に基づくPTQ手法CBQを提案する。 CBQはリコンストラクションスキームを使用してクロスブロック依存関係を採用し、エラーの蓄積を最小限に抑えるために複数のブロックにまたがる長距離依存関係を確立する。
論文参考訳（メタデータ） (2023-12-13T07:56:27Z)
LLM-FP4: 4-Bit Floating-Point Quantized Transformers [38.23587031169402]
大規模言語モデル(LLM)における重みとアクティベーションを4ビット浮動小数点値まで定量化するLLM-FP4を提案する。整数量子化と比較すると、浮動小数点(FP)量子化はより柔軟であり、長い尾や鐘のような分布を扱うことができる。 LLaMA-13Bの重みとアクティベーションの両方を4ビットに定量化し,平均スコア63.1を得る。
論文参考訳（メタデータ） (2023-10-25T17:59:32Z)
Distribution-Flexible Subset Quantization for Post-Quantizing Super-Resolution Networks [68.83451203841624]
本稿では,超高分解能ネットワークのためのポストトレーニング量子化手法であるDFSQを提案する。 DFSQは活性化のチャネルワイド正規化を行い、分布フレキシブルなサブセット量子化(SQ)を適用する 6ビットの量子化と8ビットの量子化では完全精度に匹敵する性能を達成し、4ビットの量子化では0.1dBのPSNR低下しか生じない。
論文参考訳（メタデータ） (2023-05-10T04:19:11Z)
RPTQ: Reorder-based Post-training Quantization for Large Language Models [46.03754730678076]
大規模言語モデル(LLM)は目覚ましいパフォーマンスを示しているが、そのデプロイメントはメモリ使用量が非常に多いため、課題を呈している。本稿では、リオーダーベースのアプローチを用いたRTTQと呼ばれる量子化手法を提案する。実験では,LPMの3ビットアクティベーションを初めて利用し,メモリ使用量の大幅な削減を実現した。
論文参考訳（メタデータ） (2023-04-03T15:46:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。