論文の概要: Behavioral Capacity Certificates for Quantized Language Models

• arxiv url: http://arxiv.org/abs/2609.37887v1
• Date: Tue, 29 Sep 2026 15:55:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.715276
• Title: Behavioral Capacity Certificates for Quantized Language Models
• Title（参考訳）: 量子化言語モデルのための行動能力証明書
• Abstract要約: 行動能力証明書(BCC)は、完全な実装の前の総量を用いて行動に課金する。 BCCは3段階のデプロイメントワークフローをサポートします。
• 参考スコア（独自算出の注目度）: 18.639735118389186
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Activation and key-value cache precision change what a quantized language model computes without altering its stored weights. Direct weight-code bounds, however, assign identical complexity to deployments that behave differently and charge separately for weight codes that behave identically. Behavioral Capacity Certificates (BCC) charge for behavior using the aggregate prior mass of complete implementations---weights, scales, activation and cache rules---that induce the same bounded loss. When quantization merges implementations, this shared mass lowers the complexity penalty, and a break-even law determines when the saving survives the cost of validating it. BCC supports a three-step deployment workflow, and our experiments verify each step. First, a forward-only screen shortlists per-layer bit-widths by how often candidate perturbations preserve the reference predictions, with quality comparable to Hessian-guided selection at lower preprocessing cost. Second, margin-certified cells identify weights that can be pruned or sign-flipped without changing the deployed behavior: every permitted combination preserves all declared predictions, and on OLMoE-1B-7B and SmolLM2-1.7B, independent probes bound the probability that any permitted combination changes a prediction on new text. Third, BCC bounds the population loss of the deployed model, nonvacuously for complete decoders and more tightly than the compressed-code route. At equal cache memory, giving keys higher precision than values yields lower NLL and higher prediction agreement on GPT-2, Qwen2.5, and SmolLM2, together with a tighter complexity bound in the GPT-2 audit.
• Abstract（参考訳）: アクティベーションとキー値キャッシュの精度は、量子化された言語モデルが格納された重みを変更することなく計算したものを変える。 しかし、直接重みコード境界は、異なる振る舞いをするデプロイメントに同じ複雑さを割り当て、同じ振る舞いをする重みコードに対して別々に課金する。 動作能力証明書(BCC)は、完全な実装の前の総量(重み付け、スケール、アクティベーション、キャッシュルール)を使って振る舞いに課金する。 量子化が実装をマージすると、この共有質量は複雑性のペナルティを低下させ、保存が有効であるかどうかを不均一な法則が決定する。 BCCは3段階のデプロイメントワークフローをサポートします。 第一に、フォワードオンリーのスクリーンショートリストは、候補の摂動が基準予測を保存する頻度でビット幅当たりのショートリストであり、より低い前処理コストでヘッセン誘導選択に匹敵する品質である。 そして、OLMoE-1B-7BとSmolLM2-1.7Bでは、任意の許可された組み合わせが新しいテキストの予測を変える確率を制限している。 第三に、BCCはデプロイされたモデルの人口損失を、完全なデコーダには無用であり、圧縮されたコード経路よりも厳密に制限している。 等価キャッシュメモリでは、キーが値よりも精度が高くなると、GPT-2、Qwen2.5、SmolLM2での低いNLLと高い予測合意が得られ、GPT-2監査ではより複雑になる。

関連論文リスト

• Quantization-Triggered Backdoors in Language Models: Cross-Quantizer Transferability and the Validation--Deployment Gap [0.0]
  学習後の量子化はしばしば、大規模言語モデルのエッジ展開に対する意味的に中立な最適化として扱われる。 バックドア翻訳モデルは、修復されたFP16におけるゼロの友情の腐敗から、量子化後の最大85.02%の逆転へと移行していることを示す。 我々は、量子化行動等価クラス(QBEC)を通してこのギャップを形式化し、QBECのメンバーシップが振る舞い等価性を含まないことを証明した。
  論文  参考訳（メタデータ） (2026-08-27T08:34:10Z)
• Conformal Cascade: Distribution-Free Accuracy Guarantees for Multi-Tier LLM Inference [6.094431019524038]
  大規模言語モデル(LLM)のカスケードは、簡単なクエリを小さなモデルにルーティングし、ハードクエリを大きなモデルに遅延することで、推論コストを削減する。 我々は,多層推論フレームワークであるtextbfConformal Cascade (CC) を導入する。
  論文  参考訳（メタデータ） (2026-07-27T19:19:58Z)
• SelKV: Selective KV Cache Merging with Per-Token Merge-or-Drop and Attention Compensation [0.0]
  大規模言語モデルは、メモリフットプリントがコンテキスト長とともに線形に増加するキー値(KV)キャッシュに依存して、テキストを自動回帰的に生成する。 最近の圧縮法はトークンマージによるコストを軽減している。 これらの制約に対処するKVキャッシュ圧縮のためのトレーニングフリーでデュアルコンポーネントのフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-19T17:44:56Z)
• Correction and Corruption: A Two-Rate View of Error Flow in LLM Protocols [51.56484100374058]
  そこで本研究では,単一プロトコルステップを正確なマッチングタスクで監査するためのペアアウトカム計測インタフェースを提案する。 各インスタンスについて、インターフェースはベースラインの正当性ビットと後ステップの正当性ビットを記録する。 これらのレートは精度の変化を予測し、種、混合物、パイプライン間でテスト可能な再利用可能な経験的インターフェースを定義する。
  論文  参考訳（メタデータ） (2026-04-20T13:25:40Z)
• Unsupervised Conformal Inference: Bootstrapping and Alignment to Control LLM Uncertainty [49.19257648205146]
  生成のための教師なし共形推論フレームワークを提案する。 我々のゲートは、分断されたUPPよりも厳密で安定した閾値を提供する。 その結果は、ラベルのない、API互換の、テスト時間フィルタリングのゲートになる。
  論文  参考訳（メタデータ） (2025-09-26T23:40:47Z)
• One Sample is Enough to Make Conformal Prediction Robust [53.78604391939934]
  共形予測は, 1つのランダムな摂動入力に対して前方通過しても, ある程度の堅牢性が得られることを示す。 提案手法は,入力毎に多数のパス(例えば100回程度)を使用するSOTA法と比較して,平均セットサイズが小さいロバストな集合を返す。
  論文  参考訳（メタデータ） (2025-06-19T19:14:25Z)
• Robust Conformal Prediction with a Single Binary Certificate [58.450154976190795]
  コンフォーマル予測(CP)は、任意のモデルの出力を、真のラベルを(調整可能な)高い確率でカバーすることを保証した予測セットに変換する。 我々は,MCサンプルが著しく低い場合でも,より小さな集合を生成する頑健な共形予測を提案する。
  論文  参考訳（メタデータ） (2025-03-07T08:41:53Z)
• Robust Yet Efficient Conformal Prediction Sets [53.78604391939934]
  コンフォーマル予測(CP)は、任意のモデルの出力を真のラベルを含むことが保証された予測セットに変換することができる。 整合性スコアの最悪のケース変化をバウンドすることで、証明可能なロバストな集合を導出する。
  論文  参考訳（メタデータ） (2024-07-12T10:59:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。