論文の概要: Fewer Bits, More Tries: Recovering Capability Under Memory Constraints

• arxiv url: http://arxiv.org/abs/2610.15372v1
• Date: Sun, 11 Oct 2026 05:52:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.204916
• Title: Fewer Bits, More Tries: Recovering Capability Under Memory Constraints
• Title（参考訳）: メモリ制約下での能力回復
• Abstract要約: 大規模な言語モデルは一般的に小さな言語よりも能力が高いが、そのメモリ要件はローカルなデプロイメントを困難にしている。 複数回圧縮されたモデルを実行し、パブリックまたはモデル生成テストを使用して出力の中から選択することで、この能力ギャップの一部を回復できるかどうかを問う。 モデルキャパシティは、適度な再試行予算内で正しい解が到達可能であれば、検証されたテスト時間計算のために交換可能であることを示す。
• 参考スコア（独自算出の注目度）: 24.10993461071607
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models are generally more capable than smaller ones, but their memory requirements can make local deployment difficult. We ask whether part of this capability gap can instead be recovered by running a smaller or more compressed model multiple times and selecting among its outputs using public or model-generated tests. Single-user local inference can leave hardware underutilized, allowing parallel candidate generation to trade additional test-time computation for accuracy at modest latency cost. Across four code-generation benchmarks, verified retry recovers substantial accuracy lost to model size or compression. A 7B Qwen model with eight parallel attempts essentially matches a 32B model on MBPP+ and exceeds it on the other three benchmarks, while using about $4\times$ less model memory, running up to $6\times$ faster, and using less energy, as measured on Nvidia GPU. We observe similar tradeoff across model sizes, compression levels and hardware choices, although exact benefit depends on the hardware profile and problem setting. These results show that model capacity can be traded for verified test-time computation when correct solutions remain reachable within a modest retry budget.
• Abstract（参考訳）: 大規模な言語モデルは一般的に小さな言語よりも能力が高いが、そのメモリ要件はローカルなデプロイメントを困難にしている。 より小さく圧縮されたモデルを複数回実行し、パブリックテストやモデル生成テストを使用して出力の中から選択することで、この能力ギャップの一部を回復できるかどうかを問う。 単一ユーザローカル推論はハードウェアを未使用のまま残すことができ、並列候補生成は、わずかなレイテンシコストで、さらなるテスト時間計算を正確に交換することができる。 4つのコード生成ベンチマークで、検証された再試行は、モデルサイズや圧縮に失われる相当な精度を回復する。 8つの並列試行を備えた7B Qwenモデルは、基本的にMBPP+上の32Bモデルと一致し、他の3つのベンチマークでそれを上回る。 モデルサイズ、圧縮レベル、ハードウェア選択にまたがる同様のトレードオフを観察するが、正確な利点はハードウェアのプロファイルと問題設定に依存する。 これらの結果から,適度な再試行予算内に正しい解が到達可能な場合,モデルキャパシティを検証されたテスト時間計算のために交換できることが示唆された。

関連論文リスト

• AlignQuant: Tile-Aligned Mixed-Precision Quantization for Efficient LLM Generation [16.837647774787772]
  本稿では,2次元重みタイルを精度割当,コンパクトストレージ,実行の共通単位として用いた後学習量子化手法AlignQuantを紹介する。 位相正規化スコアは、モデル全体の重量貯蔵予算の下で、いずれのフェーズにおいても重要なタイルの高精度化を優先する。 3Bから14Bのパラメータにまたがる4つのLSMで、AlignQuantはBF16よりも2.50times$ジェネレーションスピードアップを達成している。
  論文  参考訳（メタデータ） (2026-10-05T22:06:04Z)
• Replay the Curvature: Accurate and Scalable NVFP4 Quantization for Large Language Model Inference [26.657115303065485]
  本稿では,各ブロックスケールによるGPTQ更新を再現し,不定格列からの補償を考慮した結果のブロックエラーをスコアするスケール選択であるemphSchur Replayを紹介する。
  論文  参考訳（メタデータ） (2026-09-29T03:55:29Z)
• Lossless but Not Free: An Empirical Anatomy of Speculative Decoding on Consumer Hardware [0.0]
  大規模言語モデルのシングルストリーム自動回帰復号化は、メモリ帯域幅によって制限される。 小さなドラフトモデルは、自動回帰的に$K$トークンを提案し、ターゲットモデルは、これらすべてを1回のバッチパスでスコアする。 本稿では、CUDA/MPS/CPUの実装と、5つのドラフト/ターゲットバックエンド構成に関する実証的研究を紹介する。
  論文  参考訳（メタデータ） (2026-07-19T15:01:35Z)
• Memory-Efficient Acceleration of Block Low-Rank Foundation Models on Resource Constrained GPUs [11.45717904490388]
  トランスフォーマーベースの基盤モデルの最近の進歩は、多くのタスクのデフォルト選択となった。 その急速に成長するサイズは、単一のGPUに完全なモデルを適合させることがますます難しくなり、計算コストが禁じられる。 ブロック低ランク(BLR)圧縮技術は、重み行列のコンパクト表現を学習することでこの問題に対処する。
  論文  参考訳（メタデータ） (2025-12-24T00:41:13Z)
• OverFill: Two-Stage Models for Efficient Language Model Decoding [68.68408155020568]
  大規模言語モデル(LLM)は多様なタスクにまたがって優れていますが、高い推論コストのため、デプロイメント上の大きな課題に直面しています。 プリフィルとデコードステージを分離し,精度と効率のトレードオフを最適化するOverFillを提案する。 我々の3B-to-1B OverFill構成は1Bプルーニングモデルを83.2%上回り、8B-to-3B構成は3Bプルーニングモデルを79.2%上回った。
  論文  参考訳（メタデータ） (2025-08-11T20:07:34Z)
• QMoE: Practical Sub-1-Bit Compression of Trillion-Parameter Models [64.34635279436054]
  Mixture-of-Experts (MoE)アーキテクチャは、スパースルーティングによる大規模言語モデル(LLM)の高推論コストに対する一般的な解決策を提供する。 本稿では,QMoEと呼ばれる新しい圧縮実行フレームワークの形で,このメモリ問題に対する解決策を提案する。
  論文  参考訳（メタデータ） (2023-10-25T17:24:53Z)
• SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
  LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。 学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。 本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
  論文  参考訳（メタデータ） (2023-06-13T08:57:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。