論文の概要: AutoQS: Automated Quantization Strategy Design with Large Language Models
- arxiv url: http://arxiv.org/abs/2611.11975v2
- Date: Wed, 11 Nov 2026 05:23:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.880172
- Title: AutoQS: Automated Quantization Strategy Design with Large Language Models
- Title(参考訳): AutoQS: 大規模言語モデルによる量子化戦略の自動設計
- Abstract要約: 量子化はデプロイメントコストを削減するが、効果的な戦略はモデルの品質とストレージのバランスを取る必要がある。
提案するAutoQS, textbf Automated textbfQuantization textbfStrategy Design with LLMs。
AutoQSは重みを固定し、デプロイ制約の下でレイヤやオペレータ間でグループサイズのアロケーションを検索する。
- 参考スコア(独自算出の注目度): 25.575154336902163
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Quantization reduces LLM deployment costs, but effective strategies must balance model quality and storage. LLM-driven search can automate strategy design through repeated proposal and evaluation. This process must identify useful strategies within a limited evaluation budget. The key challenge is that \textit{actual quantization is expensive, while inexpensive proxies may not reflect quantized-model performance.} To address this challenge, we present AutoQS, an \textbf{Auto}mated \textbf{Q}uantization \textbf{S}trategy Design with LLMs. AutoQS keeps weight precision fixed and searches group-size allocations across layers and operators under deployment constraints. Evaluation history guides coordinated LLM proposals, while deterministic validation ensures compatible allocations. An inexpensive quality proxy evaluates candidates, and an candidate repository retains alternative allocations to inform subsequent proposals. Periodic actual quantization complements these proxy evaluations with measured quality and checkpoint storage, providing feedback for further search within the evaluation budget. Experiments on Qwen2.5-7B-Instruct show that AutoQS improves seven-task average accuracy over uniform-group GPTQ and AWQ by 0.70 and 1.12 percentage points, respectively, at four-bit weight precision.
- Abstract(参考訳): 量子化はLCMのデプロイメントコストを削減するが、効果的な戦略はモデルの品質とストレージのバランスをとる必要がある。
LLMによる探索は、繰り返し提案と評価によって戦略設計を自動化することができる。
このプロセスは、限られた評価予算内で有用な戦略を特定しなければなりません。
鍵となる課題は、 \textit{actual Quantization は高価であるが、安価なプロキシは量子化されたモデルの性能を反映していないことである。
この課題に対処するため、LLMを用いたAutoQS, a \textbf{Auto}mated \textbf{Q}uantization \textbf{S}trategy Designを提案する。
AutoQSは重みを固定し、デプロイ制約の下でレイヤやオペレータ間でグループサイズのアロケーションを検索する。
評価履歴はLLMの提案を調整し、決定論的検証は互換性のあるアロケーションを保証する。
安価な品質プロキシが候補を評価し、候補リポジトリが代替のアロケーションを保持して、その後の提案を通知する。
周期的な実際の量子化は、これらのプロキシ評価を測定された品質とチェックポイントストレージで補完し、評価予算内でさらなる探索のためのフィードバックを提供する。
Qwen2.5-7B-Instructの実験では、AutoQSは、一様群 GPTQ と AWQ の7タスク平均精度を、それぞれ0.70 と 1.12 のパーセンテージで4ビットの重量精度で改善している。
関連論文リスト
- LLM-as-a-Verifier: A General-Purpose Verification Framework [74.40111651545979]
本稿では,汎用検証フレームワーク LLM-as-a-Verifier を紹介する。
追加のトレーニングを必要とせずに、エージェントタスクに対してきめ細かいフィードバックを提供する。
いくつかのベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2026-07-06T17:59:35Z) - AutoQResearch: LLM-Guided Closed-Loop Policy Search for Adaptive Variational Quantum Optimization [3.652509571098291]
AutoQResearchは、このタスクを、キュレートされたデザイン空間上のシーケンシャルなポリシー検索とみなしている。
単一の静的設定の代わりに、フレームワークは適応的なソルバ制御ポリシーを検索する。
我々は、最大独立セットと容量化車両ルーティング問題に関する枠組みを評価する。
論文 参考訳(メタデータ) (2026-04-27T10:16:25Z) - Learning Partial Action Replacement in Offline MARL [11.861550409939818]
部分アクション置換(Partial Action Replacement)は、アクションをデータセットするエージェントのサブセットをアンカーすることで、これを緩和する。
PLCQLは、PARサブセット選択を文脈的帯域幅問題として定式化するフレームワークである。
本研究では,推定誤差が予測されるエージェント数と線形にスケールすることを示す値エラー境界を証明した。
論文 参考訳(メタデータ) (2026-03-30T15:28:13Z) - Quantifying the Accuracy and Cost Impact of Design Decisions in Budget-Constrained Agentic LLM Search [0.7243632426715941]
Agentic Retrieval-Augmented Generation (RAG) システムは反復検索、計画プロンプト、検索を組み合わせるが、配置設定はツールコールと完了トークンに明確な予算を課している。
本研究では, 探索深度, 検索戦略, 完成予算が, 一定の制約下での精度とコストに与える影響について, 制御された測定結果を示す。
論文 参考訳(メタデータ) (2026-03-09T19:42:21Z) - Design and Evaluation of Cost-Aware PoQ for Decentralized LLM Inference [4.254924788681319]
本稿では,分散型大規模言語モデル (LLM) 推論のためのコストアウェアな品質証明 (PoQ) フレームワークを提案する。
この設計は、基底真理トークンレベルF1、軽量学習評価器、GPTに基づく判定を統一評価パイプライン内で組み合わせる。
モンテカルロの5000回以上のPoQラウンドのシミュレーションでは、コスト認識報酬スキームは高品質の低コスト推論モデルに常に高い平均報酬を割り当てることを示した。
論文 参考訳(メタデータ) (2025-12-18T08:57:17Z) - End-to-End On-Device Quantization-Aware Training for LLMs at Inference Cost [53.25965863436039]
量子化対応トレーニング(QAT)は、より原則化されたソリューションを提供するが、バックプロパゲーションに依存しているため、メモリコストは禁じられている。
重み付けとアクティベーション量子化の両方をサポートするゼロオーダー最適化ベースのQATフレームワークであるZeroQATを提案する。
実験の結果、ZeroQATはPTQとQATのベースラインを一貫して上回り、メモリは大幅に削減された。
論文 参考訳(メタデータ) (2025-08-21T01:18:27Z) - A Survey of LLM-based Automated Program Repair: Taxonomies, Design Paradigms, and Applications [12.409034344742768]
大規模言語モデル (LLM) は自動プログラム修復 (APR) を再構築している
我々は2022年1月から2025年6月までに発行された63 LLMベースのAPRシステムを4つのパラダイムに分類した。
微調整は高いトレーニングコストで強力なタスクアライメントを提供する。迅速なデプロイメントを可能にするが、迅速な設計とコンテキストウィンドウによって制限される。
我々は,軽量な人的フィードバック,リポジトリ対応検索,コード解析,コスト対応計画を組み合わせることで,信頼性と効率的なLDMベースのAPRを向上する研究の方向性を概説する。
論文 参考訳(メタデータ) (2025-06-30T11:46:01Z) - SPARE: Single-Pass Annotation with Reference-Guided Evaluation for Automatic Process Supervision and Reward Modelling [58.05959902776133]
私たちはSingle-Passを紹介します。
Reference-Guided Evaluation (SPARE)は、効率的なステップごとのアノテーションを可能にする新しい構造化フレームワークである。
数学的推論(GSM8K, MATH)、マルチホップ質問応答(MuSiQue-Ans)、空間推論(SpaRP)にまたがる4つの多様なデータセットにおけるSPAREの有効性を実証する。
ProcessBenchでは、SPAREがデータ効率のよいアウト・オブ・ディストリビューションの一般化を実証し、トレーニングサンプルの$sim$16%しか使用していない。
論文 参考訳(メタデータ) (2025-06-18T14:37:59Z) - SCAN: Structured Capability Assessment and Navigation for LLMs [54.54085382131134]
textbfSCAN (Structured Capability Assessment and Navigation) は、大規模言語モデルの詳細な特徴付けを可能にする実用的なフレームワークである。
SCANには4つの重要なコンポーネントが含まれている。
TaxBuilder – クエリから機能表示タグを抽出して階層的な分類構造を構築する。
RealMixは、各機能タグに対する十分な評価データを保証するクエリ合成とフィルタリングのメカニズムである。
PC$2$ベースのLCM-as-a-Judge法は従来のLCM-as-a-Judge法と比較して大幅に精度が向上する
論文 参考訳(メタデータ) (2025-05-10T16:52:40Z) - Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。
我々はLSMに答えを自己評価するように指示する。
自己評価に基づくスコアリング手法をベンチマークする。
論文 参考訳(メタデータ) (2023-12-14T19:09:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。