論文の概要: Global Ranks Survive, Selected Heads Shift: BOS-Sink Topology under 4-bit Weight-Only Quantization

• arxiv url: http://arxiv.org/abs/2609.23585v1
• Date: Sun, 20 Sep 2026 12:07:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.863227
• Title: Global Ranks Survive, Selected Heads Shift: BOS-Sink Topology under 4-bit Weight-Only Quantization
• Title（参考訳）: BOS-Sinkトポロジー:4ビットの量子化で世界ランキングは上昇、首位はシフト
• Abstract要約: Sink-awareデプロイメントは、モデルが量子化される前に重要な第一の注意を識別し、そのマップをエッジで再利用する。 我々のSink Topology Consistency(STC)メトリクスは、グローバルなランク保存、トップ$kのセットオーバーラップ、層単位でのシンク質量シフトを分離します。 グローバルランキングはしばしば転送されるが、離散ヘッドセット、レイヤローカルポリシー、ドメイン間キャリブレーションは量子化後に再検証されるべきである。
• 参考スコア（独自算出の注目度）: 7.213400161126317
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sink-aware deployment may identify important first-token attention heads before a model is quantized, then reuse that map at the edge. We test when this shortcut is safe for 4-bit NF4 weight-only post-training quantization (PTQ). Our Sink Topology Consistency (STC) metrics separate global rank preservation, top-$k$ set overlap, and layerwise sink-mass shift, and distinguish per-input sensitivity from calibration-map transfer. Across Qwen2.5-0.5B, Qwen2.5-1.5B, and Llama-3.2-1B, global bf16-to-4-bit ranks remain high at 4,096 tokens ($ρ_s \geq 0.980$), yet top-$k$ Jaccard overlap is only 0.619-0.793, corresponding to 76.5-88.5% membership retention. The global statistic also masks local failures: terminal Qwen layers shift by 6.2-7.9x their model means, whereas Llama-3.2-1B shows low, nearly uniform drift. Under a C4-to-LongBench shift, cross-domain overlap degrades more than the within-domain precision comparison for both Qwen models, but not for Llama-3.2-1B. Matched-domain 4-bit recalibration reaches 90% of a split-half stability plateau at the smallest tested $n=8$ for both Qwen models and $n=32$ for Llama-3.2-1B, though not as a sharp threshold; for the two Qwen models, updating only selected layers does not reach the full-map stability criterion. On Jetson Orin NX, the 16-sample workload takes seconds for the two models with valid on-device sink measurements. The practical message is precise: global rankings often transfer, but discrete head sets, layer-local policies, and cross-domain calibration should be revalidated after quantization.
• Abstract（参考訳）: Sink-awareデプロイメントは、モデルが量子化される前に重要な最初の注意点を特定し、そのマップをエッジで再利用する。 このショートカットが4ビットNF4重み付け後量子化(PTQ)に対して安全である場合をテストする。 我々のSink Topology Consistency(STC)メトリクスは、グローバルなランク保存、トップ$k$セットオーバーラップ、層単位でのシンク質量シフトを分離し、インプットごとの感度をキャリブレーションマップ転送と区別する。 Qwen2.5-0.5B、Qwen2.5-1.5B、Llama-3.2-1Bでは、グローバルbf16-to-4-bitは4,096トークン(ρ_s \geq 0.980$)であるが、トップ$kのジャカードオーバーラップはわずか0.619-0.793であり、76.5-88.5%である。 終端のQwen層は6.2-7.9倍、Llama-3.2-1Bは低い、ほぼ均一なドリフトを示す。 C4-to-LongBenchシフトの下では、クロスドメインオーバーラップは、両方のQwenモデルのドメイン内精度比較よりも劣化するが、Llama-3.2-1Bの場合ではない。 マッチングドメインの4ビット再校正は、両Qwenモデルで最小テストされた$n=8$、Llama-3.2-1Bで$n=32$に達するが、シャープしきい値ではない。 ジェットソン・オリン(Jetson Orin)のNXでは、16サンプルのワークロードは2つのモデルに数秒かかる。 グローバルランキングはしばしば転送されるが、離散ヘッドセット、レイヤローカルポリシー、ドメイン間キャリブレーションは量子化後に再検証されるべきである。

関連論文リスト

• Why Gated DeltaNet Survives 4-Bit Quantization: NVFP4 W4A4 for the Recurrent Half of a Hybrid 27B LLM [0.0]
  ミニマ: NVFP4 W4A4は、GDNを含む496のリニア層である。 NVFP4の16要素ブロックのスケーリングが残ストリームの極端な外れ値の局所化の原因を説明する4つのメカニズムの研究がある。 ハイブリッド LLM の繰り返し半分が量子化し易い理由に関する力学的な説明。
  論文  参考訳（メタデータ） (2026-09-03T17:04:26Z)
• Frozen Cores Need Task Signal: Fisher-Whitened Cross-Covariance for Low-Resource LLM Adaptation [18.8104643146881]
  厳格な訓練州予算の下で, コンストラクタ効率の高い微調整の選択について検討した。 我々は、署名された入力-エラーの相互共分散を推定し、対角的なフィッシャーモーメントと白くし、その結果の局所距離でそれを切り離し、選択した方向を写像し、より薄いQRを適用して安定したコア座標を得るFCCAを紹介する。 Qwen2.5-3B では、FCCA は 83.0 のマクロ平均値に達し、その2.3 ポイントは、マッチした予算のコンストラクタよりも高く、11 タスクすべてにおいて未白の RawGrad コントロールを超えている。
  論文  参考訳（メタデータ） (2026-09-01T05:52:38Z)
• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• SS-ESOAP: Self-Scaled Adaptive Preconditioning for Physics-Informed Learning [70.71795707610961]
  メソッドは、Kronecker幾何に適応したスカラーセマントエネルギー補正でSOAPスタイルのプレコンディショニングを強化する。 メソッドは8つのPDEベンチマークのうち6つで最下位の残差に達する。 4つの代表PDEの3列の$L2$と$H1$エラーは、低い残差と改善された解精度の間のリンクをサポートする。
  論文  参考訳（メタデータ） (2026-08-29T21:34:47Z)
• SoftWater: Class-Aware Rate Allocation for Softmax Quantization [5.213778368155993]
  訓練後の量子化パイプラインは、通常、ソフトマックス出力層を高精度に残す。 現代の語彙を持つ小さなLLMでは、頭部は全パラメータの15-30%を占めており、fp16ヘッドを持つ名目2ビットのモデルは重量の何倍ものビットを格納することができる。 我々は、元の出力分布と量子化された出力分布のKL分散の下で、レート歪み問題としてソフトマックス層量子化を仮定する。
  論文  参考訳（メタデータ） (2026-08-12T13:06:50Z)
• Silent Failures in Quantized LLM Reasoning: A Taxonomy-Based Analysis of Hollow Convergence and Failure Mode Shifts [0.0]
  学習後の量子化は,タスク精度が保存されている場合でも,大きな言語モデルがどのように推論するかを静かに変更できることを示す。 3つの量子化精度で5つの命令調整LDMから3万のチェーン・オブ・シント出力を分類する。 精度は精度で高いが,Hollow Convergence は NF4 で大きく依存的な変化を示す。
  論文  参考訳（メタデータ） (2026-07-10T21:55:05Z)
• More Structure, Not More Capacity: Object-Centric Representations for Visuomotor Imitation Learning [54.65906330923846]
  対象中心のスロット表現は、事前学習された視覚モデルに代わる構造化された代替物であることを示す。 トークンの16倍の高密度なパッチグリッドは、グローバル機能に匹敵するパフォーマンスはない。 明示的な2D空間目標とネイティブ解像度レンダリングにより、全システムは68.7$pm$4.2%まで上昇し、特権付き3Dオーラクルの上界の直ぐ下にある。
  論文  参考訳（メタデータ） (2026-07-10T10:35:24Z)
• Sensitivity-Positional Co-Localization in GQA Transformers [0.0]
  グループクエリアテンション変換器における基本構造問題について検討する。 タスクの正確性に最も敏感なレイヤは、位置エンコーディング適応が最大のレバレッジを持つレイヤと一致しているか? LSLORAは,新しい正当性差分隠れ状態メートル法により同定された層へのLoRA適応を制限し,GARFAは対象層に8個の学習可能なKVヘッドスカラー乗算器を付加する。
  論文  参考訳（メタデータ） (2026-04-09T03:41:33Z)
• SVDQuant: Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Models [61.474101404805545]
  拡散モデルは高品質なイメージを生成することができるが、スケールするにつれて、メモリ要求が増加し、より高いレイテンシがデプロイメント上の課題を引き起こす。 この制限を克服する新しい4ビット量子化パラダイムであるSVDQuantを提案する。 We reduce the memory usage for the 12B FLUX.1 models by 3.5$times$, achieved 3.0$times$ speedup over the 4-bit weight-only Quantization (W4A16) baseline。
  論文  参考訳（メタデータ） (2024-11-07T18:59:58Z)
• Improved techniques for deterministic l2 robustness [63.34032156196848]
  畳み込みニューラルネットワーク(CNN)を$l_2$ノルムの下で厳密な1-Lipschitz制約で訓練することは、対向的堅牢性、解釈可能な勾配、安定した訓練に有用である。 我々は,最後の線形層を1重層に置き換えることで,1-Lipschitz CNNのロバスト性を証明する手法を提案する。 我々は,CIFAR-10およびCIFAR-100における標準および証明可能な堅牢な精度の最先端化を図る。
  論文  参考訳（メタデータ） (2022-11-15T19:10:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。