Fugu-MT 論文翻訳(概要): QTALE: Quantization-Robust Token-Adaptive Layer Execution for LLMs

論文の概要: QTALE: Quantization-Robust Token-Adaptive Layer Execution for LLMs

arxiv url: http://arxiv.org/abs/2602.10431v1
Date: Wed, 11 Feb 2026 02:19:11 GMT
ステータス: 翻訳完了
システム内更新日: 2026-02-12 21:44:01.387628
Title: QTALE: Quantization-Robust Token-Adaptive Layer Execution for LLMs
Title（参考訳）: QTALE:LLMのための量子化ロバストなトケン適応層実行
Authors: Kanghyun Noh, Jinheon Choi, Yulwha Kim,
Abstract要約: 大規模言語モデル(LLM)は、かなりの計算資源とメモリ資源を必要とする。トークン適応型実行と量子化をシームレスに統合する新しいフレームワークであるQTALEを提案する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Large language models (LLMs) demand substantial computational and memory resources, posing challenges for efficient deployment. Two complementary approaches have emerged to address these issues: token-adaptive layer execution, which reduces floating-point operations (FLOPs) by selectively bypassing layers, and quantization, which lowers memory footprint by reducing weight precision. However, naively integrating these techniques leads to additional accuracy degradation due to reduced redundancy in token-adaptive models. We propose QTALE (Quantization-Robust Token-Adaptive Layer Execution for LLMs), a novel framework that enables seamless integration of token-adaptive execution with quantization while preserving accuracy. Conventional token-adaptive methods reduce redundancy in two ways: (1) by limiting the diversity of training paths explored during fine-tuning, and (2) by lowering the number of parameters actively involved in inference. To overcome these limitations, QTALE introduces two key components: (1) a training strategy that ensures diverse execution paths are actively explored during fine-tuning, and (2) a post-training mechanism that allows flexible adjustment of the execution ratio at inference to reintroduce redundancy when needed. Experimental results show that QTALE enables seamless integration of token-adaptive layer execution with quantization, showing no noticeable accuracy difference, with the gap to quantization-only models kept below 0.5% on CommonsenseQA benchmarks. By combining token-adaptive execution for FLOPs reduction and quantization for memory savings, QTALE provides an effective solution for efficient LLM deployment.
Abstract（参考訳）: 大規模言語モデル(LLM)は計算資源とメモリ資源をかなり必要としており、効率的なデプロイの難しさを浮き彫りにしている。トークン適応層実行は、層を選択的にバイパスすることで浮動小数点演算(FLOP)を減らす。しかし、これらの手法を間接的に統合すると、トークン適応モデルにおける冗長性の低減によるさらなる精度低下につながる。本稿では,量子化によるトークン適応実行のシームレスな統合を実現する新しいフレームワークであるQTALE(Quantization-Robust Token-Adaptive Layer Execution for LLMs)を提案する。従来のトークン適応手法では,(1)微調整時に探索される訓練経路の多様性を制限すること,(2)推論に積極的に関与するパラメータの数を減らすこと,の2つの方法により冗長性を減少させる。これらの制限を克服するために、QTALEは、(1)微調整中に多様な実行パスを積極的に探索するトレーニング戦略、(2)推論時の実行比率の柔軟な調整と、必要に応じて冗長性の再導入を可能にするポストトレーニングメカニズムの2つの重要な要素を導入している。実験結果から,QTALEはトークン適応層実行と量子化のシームレスな統合を可能にし,量子化のみのモデルとのギャップをCommonsenseQAベンチマークで0.5%以下に抑えることができることがわかった。 FLOPの削減のためのトークン適応実行とメモリ節約のための量子化を組み合わせることで、QTALEは効率的なLLMデプロイメントのための効果的なソリューションを提供する。

関連論文リスト

RaBiT: Residual-Aware Binarization Training for Accurate and Efficient LLMs [5.782015253162346]
残留バイナライゼーションは、バイナリ層を積み重ねることで、マットルフリーな推論を可能にする。本稿では,残差階層をアルゴリズム的に強制することでコダプタ化を解決する新しい量子化フレームワークであるRaBiTを提案する。 RaBiTは最先端のパフォーマンスを実現し、ハードウェア集約型ベクトル量子化(VQ)の手法と競合する。
論文参考訳（メタデータ） (2026-02-05T06:41:11Z)
OTARo: Once Tuning for All Precisions toward Robust On-Device LLMs [21.55040910903597]
OTARoはデバイス上の大規模言語モデルで量子化精度を柔軟に切り替えることができる新しい手法である。すべての精度で一貫して強固で堅牢なパフォーマンスを達成する。
論文参考訳（メタデータ） (2025-11-17T08:56:27Z)
PT$^2$-LLM: Post-Training Ternarization for Large Language Models [52.4629647715623]
大きな言語モデル(LLM)は、様々なタスクにまたがる印象的な機能を示しているが、その大きなメモリと計算能力は、デプロイメントを妨げている。 PT$2$-LLMを提案する。その中核は2段精製パイプラインを備えた非対称3次量子化器である。
論文参考訳（メタデータ） (2025-09-27T03:01:48Z)
End-to-End On-Device Quantization-Aware Training for LLMs at Inference Cost [53.25965863436039]
量子化対応トレーニング(QAT)は、より原則化されたソリューションを提供するが、バックプロパゲーションに依存しているため、メモリコストは禁じられている。重み付けとアクティベーション量子化の両方をサポートするゼロオーダー最適化ベースのQATフレームワークであるZeroQATを提案する。実験の結果、ZeroQATはPTQとQATのベースラインを一貫して上回り、メモリは大幅に削減された。
論文参考訳（メタデータ） (2025-08-21T01:18:27Z)
HAFLQ: Heterogeneous Adaptive Federated LoRA Fine-tuned LLM with Quantization [55.972018549438964]
LLM(Federated Fine-tuning of Pre-trained Large Language Models)は、さまざまなデータセットにまたがるタスク固有の適応を可能にすると同時に、プライバシの保護を可能にする。本研究では, HAFLQ (Heterogeneous Adaptive Federated Low-Rank Adaptation Fine-tuned LLM with Quantization) を提案する。テキスト分類タスクの実験結果から,HAFLQはメモリ使用量を31%削減し,通信コストを49%削減し,精度を50%向上し,ベースライン法よりも高速な収束を実現している。
論文参考訳（メタデータ） (2024-11-10T19:59:54Z)
PikeLPN: Mitigating Overlooked Inefficiencies of Low-Precision Neural Networks [4.827161693957252]
非量子化要素演算は、低精度モデルの推論コストを支配している。 PikeLPNモデルは、要素演算と乗算累積演算の両方に量子化を適用することで、これらの問題に対処する。
論文参考訳（メタデータ） (2024-03-29T18:23:34Z)
CBQ: Cross-Block Quantization for Large Language Models [66.82132832702895]
ポストトレーニング量子化(PTQ)は、超低コストで大規模言語モデル(LLM)を圧縮する上で重要な役割を果たしている。 LLMのためのクロスブロック再構成に基づくPTQ手法CBQを提案する。 CBQはリコンストラクションスキームを使用してクロスブロック依存関係を採用し、エラーの蓄積を最小限に抑えるために複数のブロックにまたがる長距離依存関係を確立する。
論文参考訳（メタデータ） (2023-12-13T07:56:27Z)
Neural Networks with Quantization Constraints [111.42313650830248]
量子化学習における制約付き学習手法を提案する。結果の問題は強い双対であり、勾配推定は不要であることを示す。提案手法は画像分類タスクにおける競合性能を示す。
論文参考訳（メタデータ） (2022-10-27T17:12:48Z)
Fully Quantized Image Super-Resolution Networks [81.75002888152159]
効率と精度を両立させるためのフル量子化画像超解像フレームワーク(FQSR)を提案する。我々は、SRResNet、SRGAN、EDSRを含む複数の主流超解像アーキテクチャに量子化スキームを適用した。低ビット量子化を用いたFQSRは、5つのベンチマークデータセットの完全精度と比較すると、パー性能で実現できる。
論文参考訳（メタデータ） (2020-11-29T03:53:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。