論文の概要: RAMP: Recurrent Adaptive Mixed Precision for Efficient Prefill in Recurrent-Depth Language Models

• arxiv url: http://arxiv.org/abs/2610.13041v1
• Date: Fri, 09 Oct 2026 05:57:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.415092
• Title: RAMP: Recurrent Adaptive Mixed Precision for Efficient Prefill in Recurrent-Depth Language Models
• Title（参考訳）: RAMP: Recurrent-Depth言語モデルにおける効率的なプレフィルのための逐次適応混合精度
• Abstract要約: そこで我々は,RAMP (Recurrent Adaptive Mixed Precision) を導入し,低精度ウェイト・アンド・アクティベーション計算を用いて早期のリカレント・リカレント・リカレント・リカレント・リカレント・リカレント・リカレント・リカレント・リカレント・リカレント・リカレント・リカレント・リカレント・リカレント・リカレント・リカレント・リカレント・リカレント・リカレント・リカレント・リカクションを行い, 終端リカレント・リカレント・リカレント・リカレント・リカレント・リカレント・リカレント・リカレント RAMPは最大4Kまでの長さで、ほぼ完全精度のプリフィル品質を維持し、NVIDIA H100の1.16倍の1次プリフィルスピードアップを実現している。
• 参考スコア（独自算出の注目度）: 4.667009647193296
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recurrent-depth language models improve inference-time reasoning by repeatedly applying a shared network to refine internal representations, but the additional recurrent computation also increases inference cost. This overhead is particularly pronounced during long-context prefill, where the full input sequence is repeatedly processed across recurrent depth. Weight-and-activation quantization offers a natural way to accelerate this computation through lower-precision arithmetic, yet repeatedly applying quantized computation introduces numerical perturbations that accumulate along the recurrent trajectory. We systematically analyze how such errors propagate across recurrent depth and show that quantization errors introduced earlier are attenuated by more subsequent recurrent steps and therefore have a smaller effect on the final representation. Matched-budget experiments strongly support this prediction, showing that placing quantized computation earlier in recurrent depth consistently yields the best fidelity. Based on this insight, we introduce RAMP (Recurrent Adaptive Mixed Precision), which performs early recurrent refinement using low-precision weight-and-activation computation and restores high precision for terminal refinement. Across context lengths up to 4K, RAMP preserves near-full-precision prefill quality while achieving up to 1.16x end-to-end first-prefill speedup on an NVIDIA H100, corresponding to a 13.9% latency reduction.
• Abstract（参考訳）: リカレント深度言語モデルは、内部表現を洗練させるために共有ネットワークを繰り返し適用することで、推論時間推論を改善するが、追加のリカレント計算により推論コストも増大する。 このオーバーヘッドは、フル入力シーケンスが反復的な深さにわたって繰り返し処理される長文プリフィル時に特に顕著である。 ウェイト・アンド・アクティベーション・量子化(英語版)は、この計算を低精度の算術によって高速化する自然な方法を提供するが、量子化された計算を繰り返すと、繰り返し発生する軌道に沿って蓄積する数値摂動を導入する。 このような誤差が再帰的な深さにわたってどのように伝播するかを系統的に解析し、それ以前に導入された量子化誤差がその後の繰り返しステップによって減衰していることを示す。 マッチング予算実験はこの予測を強く支持し、再帰的な深さに量子化された計算を配置すると、常に最良の忠実度が得られることを示した。 そこで本研究では,RAMP(Recurrent Adaptive Mixed Precision)を導入し,低精度ウェイト・アンド・アクティベーション計算を用いて早期の繰り返し精錬を行い,終端精錬の高精度を復元する。 RAMPは最大4Kまでの長さで、ほぼ完全精度のプリフィル品質を維持し、NVIDIA H100の1.16倍の1次プリフィルスピードアップを実現している。

関連論文リスト

• Q-PACE: Dynamic Precision Allocation for Quantization-Aware Training [84.42814959140664]
  一般的な治療法は混合精度トレーニング(mixed-precision training)であり、コストの制約を保ちながらパフォーマンスを維持するために高い精度をいくつかのレイヤに割り当てる。 本稿では,Q-PACEと呼ばれる2次感度モデルを用いて,各層曲率係数の重み付けによる量子化雑音MSEの和として損失増加を予測する手法を提案する。 最大4BパラメータのLLMの事前トレーニングおよび教師付き微調整実験により、Q-PACEは既存の混合精度トレーニングレシピよりも一貫して改善されていることが示された。
  論文  参考訳（メタデータ） (2026-10-06T22:34:48Z)
• Penelope: Localized Latent Recurrence for Efficient Structured Reasoning [26.549641831847982]
  Penelopeは、事前訓練されたデコーダのみのトランスフォーマーのための効率的な潜時推論フレームワークである。 再帰計算を選択されたデコーダ間隔にローカライズする。 確立された潜在推論モデルと比較して、競争精度が向上する。
  論文  参考訳（メタデータ） (2026-07-28T16:06:46Z)
• Mix-Quant: Quantized Prefilling, Precise Decoding for Agentic LLMs [78.01752802974855]
  高速エージェント推論のための簡易かつ効果的な位相認識量子化フレームワークであるMix-Quantを提案する。 我々は,Mix-Quantがタスク性能を保ち,高い効率向上を実現し,プリフィル時に最大3倍の高速化を実現していることを示す。
  論文  参考訳（メタデータ） (2026-05-19T17:50:17Z)
• MPQ-DMv2: Flexible Residual Mixed Precision Quantization for Low-Bit Diffusion Models with Temporal Distillation [74.34220141721231]
  我々は,textbfMixed textbfPrecision textbfQuantizationフレームワークを改良したMPQ-DMv2を提案する。
  論文  参考訳（メタデータ） (2025-07-06T08:16:50Z)
• Dual Precision Quantization for Efficient and Accurate Deep Neural Networks Inference [3.7687375904925484]
  本稿では,ハードウェアの利点を最小限の精度で生かした,ハードウェア効率の量子化と推論手法を提案する。 本研究では,新たな推定オーバーヘッドを伴わずに,新たな量子化アルゴリズムであるDual Precision Quantization (DPQ) を開発した。
  論文  参考訳（メタデータ） (2025-05-20T17:26:12Z)
• HALO: Hadamard-Assisted Lower-Precision Optimization for LLMs [48.55966021231297]
  本稿では,トランスフォーマーのための新しい量子化学習手法HALOを提案する。 提案手法により, 前方・後方パスにおける行列乗算の精度が低くなることが保証される。 LLAMAファミリーモデルに適用すると、HALOは様々なタスクの微調整中にほぼ完全精度に等しい結果が得られる。
  論文  参考訳（メタデータ） (2025-01-05T18:41:54Z)
• TMPQ-DM: Joint Timestep Reduction and Quantization Precision Selection for Efficient Diffusion Models [40.5153344875351]
  我々はTMPQ-DMを導入し、タイムステップの削減と量子化を共同で最適化し、優れた性能・効率のトレードオフを実現する。 時間段階の削減のために、デノナイジング過程の非一様性に合わせた非一様グルーピングスキームを考案する。 量子化の観点では、最終的な生成性能に対するそれぞれの貢献に基づいて、異なる層に異なるビット幅を割り当てる、きめ細かいレイヤーワイズアプローチを採用する。
  論文  参考訳（メタデータ） (2024-04-15T07:51:40Z)
• Quantized Neural Networks for Low-Precision Accumulation with Guaranteed Overflow Avoidance [68.8204255655161]
  本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。 本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
  論文  参考訳（メタデータ） (2023-01-31T02:46:57Z)
• Deep Equilibrium Optical Flow Estimation [80.80992684796566]
  最近のSOTA(State-of-the-art)光フローモデルでは、従来のアルゴリズムをエミュレートするために有限ステップの更新操作を使用する。 これらのRNNは大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するために直接訓練されていない。 暗黙的層の無限レベル固定点として直接流れを解く手法として,Deep equilibrium Flow estimatorを提案する。
  論文  参考訳（メタデータ） (2022-04-18T17:53:44Z)
• Age-Based Coded Computation for Bias Reduction in Distributed Learning [57.9123881133818]
  コード計算は、分散学習の高速化に使用することができる。 勾配ベクトルの部分回復は、各反復時の計算時間をさらに短縮することができる。 重なり合う行動が時間とともに相関すると、推定バイアスが特に顕著になる。
  論文  参考訳（メタデータ） (2020-06-02T17:51:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。