Fugu-MT 論文翻訳(概要): How Divergence Becomes Decision Flips in Compressed Language Models

論文の概要: How Divergence Becomes Decision Flips in Compressed Language Models

arxiv url: http://arxiv.org/abs/2610.00694v1
Date: Wed, 30 Sep 2026 20:37:18 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-03 01:19:23.761098
Title: How Divergence Becomes Decision Flips in Compressed Language Models
Title（参考訳）: 圧縮言語モデルにおけるディバージェンスが決定フリップとなる方法
Abstract要約: 我々は、KLではなく総変分が直接答えることを示した。 5つのコーパスと9つの機械的無関係な摂動ファミリーに19のオープンモデルの圧縮および摂動コピーが802を越えると、arg-maxトークンが変更される速度は、中央値の1.05ドルであり、不整合定数はない。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Compression reports summarize how far a compressed language model moved from the dense one, usually by a KL divergence; a deployment that relies on the dense model's outputs needs to know how many of its decisions changed. We show that total variation, not KL, answers this directly. Across 802 compressed and perturbed copies of 19 open models on five corpora and nine mechanically unrelated perturbation families, the rate at which the arg-max token changes (the \emph{flip rate}) tracks total variation at a ratio with median $1.05$, with no fitted constant. KL converts into flips only through its square root and a factor that varies fourfold across models and corpora, because KL averages over tokens before the root is taken; first-order statistics averaged per token, such as Hellinger distance, avoid this, but reports rarely give them. As a result, of two compressors reported on different models and corpora whose flip rates differ by at least $10%$, KL assigns the smaller divergence to the one that changes more decisions in $11%$ of cases, total variation in $1%$. Two pre-registered tests mark the limits: on a held-out code corpus the ratio held for all eight models while three predictions about KL each failed for half of them or more, and on three new models with real kernels it stayed in its band for 37 of 38 checkpoints but fell below one on code for two models. In vLLM speculative decoding, total variation measured under teacher forcing predicts greedy draft acceptance with a mean relative error of $1.1$--$2.4%$, without the task-specific calibration that KL needs.
Abstract（参考訳）: 圧縮レポートでは、圧縮された言語モデルが、一般的にはKLの発散によって、密集した言語モデルからどこまで移動したかが要約されている。我々は、KLではなく総変分が直接答えることを示した。 5つのコーパスと9つの機械的無関係な摂動系上の19個のオープンモデルの圧縮および摂動コピーの802回にわたって、arg-maxトークンが変化する速度(emph{flip rate})は、中央値の1.05$の比率で、不飽和定数を持たない。 KLはフリップを正方形根と、モデルとコーパスの間で4倍に変化する因子にのみ変換するが、これはKLがルートを取る前にトークンを平均的に上回るためである。その結果、フリップレートが10%以上異なる異なるモデルとコーパスで報告された2つの圧縮機のうち、KLは11%以上のケースでより多くの決定を変更した場合に、より小さなばらつきを割り当てる。事前登録された2つのテストでは、ホールドアウトされたコードコーパスで8つのモデルすべてに対して保持される比率、KLに関する3つの予測が半分以上失敗し、実際のカーネルを持つ3つの新しいモデルでは、37のチェックポイントでバンドに留まったが、2つのモデルのコードでは1以下になった。 vLLMの投機的復号法では、教師の強制で測定された総変分は、KLが必要とするタスク固有の校正なしで、平均1.1$--2.4%の相対誤差でgreedyドラフトの受理を予測している。

関連論文リスト

SoftWater: Class-Aware Rate Allocation for Softmax Quantization [5.213778368155993]
訓練後の量子化パイプラインは、通常、ソフトマックス出力層を高精度に残す。現代の語彙を持つ小さなLLMでは、頭部は全パラメータの15-30%を占めており、fp16ヘッドを持つ名目2ビットのモデルは重量の何倍ものビットを格納することができる。我々は、元の出力分布と量子化された出力分布のKL分散の下で、レート歪み問題としてソフトマックス層量子化を仮定する。
論文参考訳（メタデータ） (2026-08-12T13:06:50Z)
Saturation Makes Quantization Error Additive: A Coverage Model with a Certificate [0.0]
混合精度量子化は、モデルのどの部分がより高い精度を維持するかを決定する必要がある。本研究は, 層単位での定量化による損失を, 層ごとの感性や, 対方向の感性から再現可能であることを示す。本稿では, 測定値の差分プロファイルである$f(S)=cbigl (1-prod_iin S (1-a_i)bigr)$を, その$L$適合ブレークレートから数パーセント以内まで再現する。
論文参考訳（メタデータ） (2026-07-14T02:08:33Z)
Modeling Normal Is All You Need: Joint Latent Clustering for Anomaly Detection in Multimodal Cyber-Physical Systems [47.027290803102666]
通常の行動は、多くの不均衡で、曲がりくねった、細い範囲の運営体制の結合である。我々は正規法則を、共同学習された潜在表現と明示的なガウス混合モードクラスタリングでモデル化する。ポイント調整のない生のポイントワイドメトリクス、自明な検出困難分割、頻度整合F1、列車正規化のみのキャリブレーションを意図的に評価する。
論文参考訳（メタデータ） (2026-07-07T10:10:00Z)
CAVEWOMAN: How Large Language Models Behave Under Linguistic Input and Output Compression [77.41779716950387]
本稿では,2チャンネル評価プロトコルであるCavewomanについて述べる。我々は5つのデータセットの8つのモデルを5つの還元レベルで評価し、両方のチャネルは同じ項目で測定した。
論文参考訳（メタデータ） (2026-06-23T02:56:48Z)
Weight Decay Regimes in Grokking Transformers: Cheap Online Diagnostics [0.0]
モジュラー演算で訓練された変換器は、記憶、一般化、崩壊の急激な遷移を示す。重み劣化はこれらの状態に対するスカラーな経験的制御パラメータとして機能することを示す。トレーニングのダイナミクスをトラックするオンライン診断,平均的注意頭コサイン類似性とエントロピー標準偏差を導入する。
論文参考訳（メタデータ） (2026-05-19T19:48:40Z)
Lying Is Just a Phase: The Hidden Alignment Transition in Language Model Scaling [0.0]
16家系の63塩基モデルにおける推論と真理の結合度を測定した。我々は、家族依存の臨界スケール(N_c$)以下の損失曲線を目に見えない体制変化を発見し、その上、彼らは協力する。
論文参考訳（メタデータ） (2026-05-13T03:14:09Z)
Tokens-per-Parameter Coverage Is Critical for Robust LLM Scaling Law Extrapolation [45.56738584872585]
ニューラルスケーリング法則は、パラメータカウント$N$とトークンカウント$D$のパワーロー関数として、言語モデルの損失を近似する。本稿では,コリニア設計がガウス・ニュートン最小二乗問題に固有の不条件を生じさせることを示す。これを4つのスケーリング法則形式に対して証明し、十分に条件付き推定に十分必要な閉形式TPP多様性閾値を導出する。
論文参考訳（メタデータ） (2026-05-08T23:00:17Z)
Near-Optimal Regret for KL-Regularized Multi-Armed Bandits [54.77408659142336]
KL正規化目標に対するオンライン学習の統計的効率について検討する。我々は、MABsのKL正規化後悔が$$非依存であることを示し、$tilde(sqrtKT)$とスケールする。
論文参考訳（メタデータ） (2026-03-02T18:17:33Z)
What makes Reasoning Models Different? Follow the Reasoning Leader for Efficient Decoding [84.42056293290015]
推論モデルと非推論モデルの間のトークンレベルのミスアライメントを分析する。本稿では,FoReaL-Decodingを提案する。一般的な4つの数学推論ベンチマークにおいて、FoReaL-Decodingは理論FLOPを30から50%減らし、CoTの長さを最大40%減らした。
論文参考訳（メタデータ） (2025-06-08T05:08:32Z)
Causal KL: Evaluating Causal Discovery [0.0]
人工データを用いて因果モデル発見を評価するための最も一般的な基準は、編集距離とクルバック・リーブラー分岐である。どちらも、偽モデルの相対的なメリットを判断する上で、十分に差別化されていないと論じる。本稿では、観測等価モデル間の因果関係を考慮に入れた拡張KL発散法を提案する。
論文参考訳（メタデータ） (2021-11-11T02:46:53Z)
AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
論文参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。