論文の概要: A Target-Centric Survey of Quantization-Aware Training

• arxiv url: http://arxiv.org/abs/2608.29667v1
• Date: Sun, 30 Aug 2026 09:04:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.041454
• Title: A Target-Centric Survey of Quantization-Aware Training
• Title（参考訳）: 量子化アウェアトレーニングの目標中心調査
• Abstract要約: 量子化アウェアトレーニング(QAT)技術は、これらの課題に対処するための有望なソリューションとして登場した。 QAT技術は、モデルトレーニング中に量子化効果を明示的にシミュレートし、完全精度に匹敵する精度を達成する低ビットモデルを生成する。
• 参考スコア（独自算出の注目度）: 53.52583463060327
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid development of LLMs incurs prohibitive memory footprints and intensive computational demands. Quantization-Aware Training (QAT) techniques have emerged as a promising solution to address these challenges by explicitly simulating quantization effects during model training, yielding low-bit models that achieve accuracy comparable to their full-precision counterparts. In this work, we provide a target-centric survey of QAT, aimed at clarifying both its theoretical foundations and its evolving implementation landscape. We systematically review existing QAT methods through a target-centric taxonomy and synthesize cross-target differences in error characteristics, numerical formats, and strategy transferability. We further summarize QAT evaluation paradigms and discuss challenges in optimization and deployment, outlining potential directions for future research.
• Abstract（参考訳）: LLMの急速な開発は、禁止されたメモリフットプリントと集中的な計算要求を引き起こす。 QAT(Quantization-Aware Training)技術は、モデルトレーニング中に量子化効果を明示的にシミュレートすることで、これらの課題に対処するための有望なソリューションとして登場した。 本研究は,QATの理論的基礎と,その発展する実装の展望を明らかにすることを目的とした,目標中心のQAT調査である。 我々は,既存のQAT手法を対象中心の分類法を用いて体系的にレビューし,エラー特性,数値形式,戦略伝達可能性の相互ターゲット差を合成する。 さらに、QAT評価パラダイムを要約し、最適化と展開の課題について論じ、今後の研究の方向性を概説する。

関連論文リスト

• What Makes Low-Bit Quantization-Aware Training Work for Reasoning LLMs? A Systematic Study [59.44848132298657]
  ポストトレーニング量子化(PTQ)は通常、特に低ビット設定でのタスクの推論において、大きな精度低下のコストが伴う。 本研究では,推論モデルに対する量子化認識学習(QAT)の体系的研究について述べる。
  論文  参考訳（メタデータ） (2026-01-21T11:22:29Z)
• End-to-End On-Device Quantization-Aware Training for LLMs at Inference Cost [53.25965863436039]
  量子化対応トレーニング(QAT)は、より原則化されたソリューションを提供するが、バックプロパゲーションに依存しているため、メモリコストは禁じられている。 重み付けとアクティベーション量子化の両方をサポートするゼロオーダー最適化ベースのQATフレームワークであるZeroQATを提案する。 実験の結果、ZeroQATはPTQとQATのベースラインを一貫して上回り、メモリは大幅に削減された。
  論文  参考訳（メタデータ） (2025-08-21T01:18:27Z)
• Q-Ponder: A Unified Training Pipeline for Reasoning-based Visual Quality Assessment [10.701522670464463]
  MLLM(Multimodal large language model)は、解釈可能な評価によって視覚的品質を評価する。 冷間開始段階と強化学習に基づく微調整段階からなる統合された2段階訓練枠組みを提案する。 これら2つの段階から派生したモデルをQ-Ponder-CIとQ-Ponderと呼ぶ。
  論文  参考訳（メタデータ） (2025-06-03T10:11:51Z)
• Merge-Friendly Post-Training Quantization for Multi-Target Domain Adaptation [7.193483612237862]
  本研究では,誤差障壁のレンズを通したモデルマージにおける量子化の影響を解析する。 マルチターゲット領域適応のためのモデルマージを考慮に入れた,新しい学習後量子化 HDRQ - Hessian および遠方正則化量子化を提案する。 提案手法は, 損失面を平坦化し, モデルマージの円滑化を図っている。
  論文  参考訳（メタデータ） (2025-05-29T17:00:56Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• Self-Supervised Quantization-Aware Knowledge Distillation [5.4714555711042]
  本稿では,SQAKD(Self-Supervised Quantization-Aware Knowledge Distillation)フレームワークを提案する。 SQAKDは、様々な量子化関数の前方と後方のダイナミクスを統一し、様々なQAT処理を組み込むのに柔軟である。 包括的な評価では、SQAKDは最先端のQATやKDよりも大幅に優れており、様々なモデルアーキテクチャで機能している。
  論文  参考訳（メタデータ） (2024-03-17T06:20:28Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)
• Let's reward step by step: Step-Level reward model as the Navigators for Reasoning [64.27898739929734]
  Process-Supervised Reward Model (PRM)は、トレーニングフェーズ中にステップバイステップのフィードバックをLLMに提供する。 LLMの探索経路を最適化するために,PRMからのステップレベルのフィードバックを応用した欲求探索アルゴリズムを提案する。 提案手法の汎用性を探るため,コーディングタスクのステップレベル報酬データセットを自動生成する手法を開発し,コード生成タスクにおける同様の性能向上を観察する。
  論文  参考訳（メタデータ） (2023-10-16T05:21:50Z)
• Poster: Self-Supervised Quantization-Aware Knowledge Distillation [6.463799944811755]
  量子化対応トレーニング(QAT)は、事前トレーニングされた完全精度モデルから始まり、再トレーニング中に量子化を実行する。 既存のQATの作業にはラベルの監督が必要であり、精度の低下による精度の低下に悩まされている。 本稿では,SQAKD(Self-Supervised Quantization-Aware Knowledge Distillation framework)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T23:52:58Z)
• Cross Learning in Deep Q-Networks [82.20059754270302]
  本稿では、値に基づく強化学習手法において、よく知られた過大評価問題を緩和することを目的とした、新しいクロスQ-ラーニングアルゴリズムを提案する。 本アルゴリズムは,並列モデルの集合を維持し,ランダムに選択されたネットワークに基づいてQ値を算出することによって,二重Q-ラーニングに基づいて構築する。
  論文  参考訳（メタデータ） (2020-09-29T04:58:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。