論文の概要: Context-Aware Precision Scheduling for Small Language Models
- arxiv url: http://arxiv.org/abs/2610.15640v1
- Date: Sun, 11 Oct 2026 14:16:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-19 17:29:03.608876
- Title: Context-Aware Precision Scheduling for Small Language Models
- Title（参考訳）: 文脈認識による小言語モデルの高精度スケジューリング
- Abstract要約: デバイス上のエージェントとして使用される小さな言語モデル(SLM)は、コンテキストが大きくなるにつれて正確性とレイテンシのバランスをとる必要がある。
混合精度は、その大きさと感度に応じて異なる精度を重みテンソルに割り当てることで、このトレードオフを管理するのに役立つ。
我々は、異なる精度とコンテキスト長の測定からタイミングモデルを組み合わせて、レイテンシや精度の予算の下で構成を選択する。
- 参考スコア（独自算出の注目度）: 3.6940301462288185
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Small language models (SLMs) used as on-device agents must balance accuracy and latency as their context grows. Mixed precision helps manage this tradeoff by assigning different precisions to weight tensors according to their size and sensitivity. However, these choices depend on the operating conditions, so a configuration selected for a short context may no longer provide the best tradeoff at a longer one. We calibrate a timing model from measurements at different precisions and context lengths, and combine it with tensor sensitivities to choose configurations under a latency or accuracy budget. We argue that fewer bits do not always mean faster execution, so our predictor estimates latency from calibrated execution costs rather than weight bytes alone. Under a latency budget, reading the larger key-value (KV) cache leaves less time for weight operations, leading the allocator to select lower precisions. This gives a schedule of tensor changes that can be prepared before execution. Our runtime follows the schedule while retaining the session's KV cache. We evaluate executed schedules on a laptop GPU, including a longer-context schedule with three weight formats and a tool-use benchmark measuring full response time and correctness. Under an accuracy budget, measured error from a quantized KV cache determines the budget left for weights. The allocator can raise or lower weight precision as this estimate changes. These experiments show where context-aware precision helps and where accuracy recovery remains limited.
- Abstract（参考訳）: デバイス上のエージェントとして使用される小さな言語モデル(SLM)は、コンテキストが大きくなるにつれて正確性とレイテンシのバランスをとる必要がある。
混合精度は、その大きさと感度に応じて異なる精度を重みテンソルに割り当てることで、このトレードオフを管理するのに役立つ。
しかし、これらの選択は動作条件に依存するため、短いコンテキストで選択された構成は、より長い条件で最良のトレードオフを提供しない可能性がある。
我々は、異なる精度とコンテキスト長の測定からタイミングモデルを調整し、テンソル感度と組み合わせて、レイテンシや精度の予算の下で構成を選択する。
より少ないビットは、必ずしも高速な実行を意味するわけではないので、予測器は、重みのみではなく、調整された実行コストからレイテンシを推定します。
レイテンシの予算の下では、より大きなキー値(KV)キャッシュを読み取ると、ウェイト操作の時間が減り、アロケータはより低い精度を選択する。
これにより、実行前に準備できるテンソル変更のスケジュールが提供される。
私たちのランタイムはセッションのKVキャッシュを保持しながらスケジュールに従っています。
3つの重み付き長コンテキストスケジュールと、完全な応答時間と正しさを計測するツール使用ベンチマークを含む、ラップトップGPU上での実行スケジュールを評価した。
精度の予算では、量子化されたKVキャッシュから測定された誤差が重みのために残された予算を決定する。
アロケータは、この推定が変わるにつれて、重量の精度を上げたり下げたりすることができる。
これらの実験は、文脈認識の精度がどの点に役立つか、そして精度の回復が制限されているかを示す。
関連論文リスト
- The Price of Precision: A Calibrated Cost Model for Mixed-Precision LLM Serving [3.6940301462288185]
平均ビット幅またはメモリ予算をスピードプロキシとして使用するアロケータは、実行を制限するリソースの変更を見逃す可能性がある。
サービス速度は、フェーズ、バッチサイズ、コンテキストの長さによって、計算、重み付け、キー値キャッシュアクセスによって制限される。
論文 参考訳（メタデータ） (2026-10-11T13:59:30Z) - TASQ: Temporal-Adaptive Bit Sparsification Quantization for Diffusion Models [23.880006390519622]
時間適応型ビットスカラー化量子化(TASQ)を導入する。
TASQは1つの共有最大精度重みバッファを格納し、各層に対して低い有効精度を選択し、最小のビットをトラッカーすることでステージを劣化させるテンポラル空間LSBマスクを学習する。
PixArt-Sigma、SANA-1.6B、SDXL-Turboでは、TASQはより少ない計算で静的量子化に匹敵する品質を達成する。
論文 参考訳（メタデータ） (2026-08-04T03:14:48Z) - Don't Waste Bits! Adaptive KV-Cache Quantization for Lightweight On-Device LLMs [8.332279450103151]
大規模言語モデル (LLM) は、推論、生成、意思決定のタスクで顕著な進歩を遂げた。
オンデバイスLSM推論は、キー値(KV)キャッシュのメモリと帯域幅のオーバーヘッドによって大きく制約される。
本稿では,トークンの重要度に比例したビット幅を割り当てる学習ポリシである適応KV-cache量子化を提案する。
論文 参考訳（メタデータ） (2026-04-06T14:45:49Z) - The Forecast After the Forecast: A Post-Processing Shift in Time Series [17.131164796761446]
本稿では,デプロイされた時系列予測器を再トレーニングせずに強化する軽量でアーキテクチャに依存しない手法を提案する。
$$-Adapterは2つのインターフェイスで小さな有界モジュールを学習する。
入力を介して粗い水平対応マスクを学習して重要な特徴を選択することで、機能セレクタとして機能する。
また、不確実性を測定するために分布校正器としても使用できる。
論文 参考訳（メタデータ） (2026-01-28T05:55:04Z) - Compute-Optimal Quantization-Aware Training [50.98555000360485]
量子化対応トレーニング(QAT)は、量子化されたニューラルネットワークの精度を向上させるための主要な技術である。
従来の研究では、トレーニングを完全精度(FP)フェーズに分解し、QATフェーズが続くと、より優れた精度が得られることが示されている。
最終性能に及ぼすQAT時間の影響について検討する。
論文 参考訳（メタデータ） (2025-09-26T21:09:54Z) - $\texttt{SPECS}$: Faster Test-Time Scaling through Speculative Drafts [55.231201692232894]
$textttSPECS$は、投機的デコードにインスパイアされた遅延対応のテスト時間スケーリングメソッドである。
我々の結果は、$textttSPECS$matchはビームサーチの精度を上回り、最大$sim$19.1%のレイテンシを削減していることを示している。
論文 参考訳（メタデータ） (2025-06-15T05:50:05Z) - Scaling Laws for Precision [73.24325358259753]
トレーニングと推論の両方に"精度対応"のスケーリング法則を考案する。
推論では,学習後の量子化によって生じる劣化が,モデルがより多くのデータに基づいて訓練されるにつれて増加することが分かる。
トレーニングのために、我々のスケーリング法則は、異なるパーツの異なるモデルの損失を、異なる精度で予測することができる。
論文 参考訳（メタデータ） (2024-11-07T00:10:10Z) - Training with Mixed-Precision Floating-Point Assignments [8.5323697848377]
より少ないメモリを使用する畳み込みニューラルネットワークの精度割当を生成する。
CIFAR-10, CIFAR-100, ImageNet上で, 畳み込みネットワークを訓練し, 画像分類タスクの評価を行った。
論文 参考訳（メタデータ） (2023-01-31T08:01:35Z) - How Low Can We Go: Trading Memory for Error in Low-Precision Training [52.94003953419242]
低精度算術は、少ないエネルギー、少ないメモリ、少ない時間でディープラーニングモデルを訓練する。
私たちは貯金の代償を支払っている: 精度の低い方がラウンドオフエラーが大きくなり、したがって予測エラーが大きくなる可能性がある。
私たちはメタラーニングのアイデアを借りて、メモリとエラーのトレードオフを学びます。
論文 参考訳（メタデータ） (2021-06-17T17:38:07Z) - Information-Theoretic Probing with Minimum Description Length [74.29846942213445]
我々は,最小記述長 (MDL) を持つ情報理論探索法である標準プローブの代替案を提案する。
MDL Probingでは、ラベルを予測するためのプローブのトレーニングが、データを効果的に送信するための教えとして再キャストされる。
これらの手法は結果に一致し、標準プローブよりも情報的かつ安定であることを示す。
論文 参考訳（メタデータ） (2020-03-27T09:35:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。