論文の概要: Steering Under Compression: Dose-Response, Capability Cost, and Failure Asymmetry in Quantized LLMs

• arxiv url: http://arxiv.org/abs/2609.06473v1
• Date: Sun, 06 Sep 2026 08:41:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.254472
• Title: Steering Under Compression: Dose-Response, Capability Cost, and Failure Asymmetry in Quantized LLMs
• Title（参考訳）: 圧縮下におけるステアリング:量子化LDMにおける線量応答, 容量コスト, 故障非対称性
• Abstract要約: 推論時ステアリングは、パラメータ修正なしで大きな言語モデルの振る舞い制御を可能にする。 トレーニング後の量子化により、デプロイメントのメモリと計算コストが削減される。 重量のみの量子化下での活性化ステアリングを系統的に研究する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Inference-time activation steering enables behavioral control of large language models without parameter modification, while post-training quantization reduces memory and compute costs for deployment. Despite their growing convergence in practice, the interaction between these two techniques remains uncharacterized. We systematically study activation steering under weight-only quantization (INT8 and NF4) across four open-weight 7-9B models and two behavioral targets: judged sentiment and judge-free reasoning length. Using an iso-effect framework that compares capability costs at matched behavioral effect, we find that sentiment steering survives quantization intact. After correcting a GSM8K parser artifact with a uniform v2.3.1 rescore, the pooled INT8 contrast is -0.010 (90% CI [-0.026, +0.007]), descriptively Equivalent under the preregistered three-label rule, while NF4 remains Inconclusive at -0.017 ([-0.067, +0.033]). In contrast, reasoning length exhibits a surprising asymmetric dose-response: lengthening is graded but terminates in cap-runaway and collapse, while shortening is a step function with only 12-30% shortening (model-dependent) before discontinuous failure. We expose a methodological pitfall: the naive iso-effect ladder anchors on the collapse floor for floor-bounded targets, and we introduce a censored construction that restores interpretable crossings. We also quantify a substantial baseline capability shift for Mistral-NF4 (0.545 to 0.365 GSM8K at alpha=0), demonstrating that compression can dominate the steering intervention. Despite this, steering vectors remain highly collinear with their FP16 siblings (cosine similarity 0.989-0.998 for INT8, 0.945-0.990 for NF4), confirming that the behavioral direction survives quantization even when the cost structure does not. All code and data are released.
• Abstract（参考訳）: 推論時のアクティベーションステアリングは、パラメータ変更なしに大きな言語モデルの動作制御を可能にし、一方、後トレーニングの量子化は、デプロイメントのメモリと計算コストを削減します。 実際には収束が進んでいるにもかかわらず、これらの2つの技術間の相互作用は相変わらず不明瞭である。 本研究は,4つのオープンウェイト7-9Bモデルと2つの行動目標(判断感情と判断自由推論長)にまたがる,ウェイトオンリー量子化(INT8,NF4)下でのアクティベーションステアリングを系統的に研究した。 行動効果にマッチする能力コストを比較する等効性フレームワークを用いて、感情ステアリングが量子化を持続することを示す。 均一なv2.3.1リスコアでGSM8Kパーサーアーティファクトを修正した後、プールされたINT8コントラストは-0.010 (90% CI [-0.026, +0.007])で、登録済みの3ラベルルールで等価であり、NF4は-0.017 ([-0.067, +0.033])で包含されている。 延長はグレードされるが、キャップランウェイと崩壊で終了する一方、ショートニングは、不連続な失敗の前にわずか12-30%のショートニング(モデル依存)しか持たないステップ機能である。 提案手法は, 床面の倒壊層に設置した, 地すべりのソイエフェクト・はしごアンカーを用いて, 解釈可能な踏切を復元する, 検閲された構造を導入するものである。 また,Mistral-NF4 (0.545 - 0.365 GSM8K at alpha=0) のベースライン機能シフトを定量化し,圧縮がステアリング介入を支配することを示した。 これにもかかわらず、ステアリングベクターはFP16兄弟(INT8のコサイン類似度0.989-0.998、NF4の0.945-0.990)と高い相関性を持ち、コスト構造がそうでない場合でも行動方向が量子化を継続することを確認した。 すべてのコードとデータがリリースされます。

関連論文リスト

• GAPS: Dimension-Level Gates for Conditional Activation Steering [5.5832442227189425]
  アクティベーションステアリングは、生成中に隠れた状態にステアリングベクトルを追加することで、言語モデルにおける望ましくない振る舞いを抑制する。 CASTやDSASのような最近の条件付き手法は、いつ介入するかを決めて行動能力のトレードオフを改善するが、一度アクティブになると、すべての隠れた次元に全密度ベクトルを適用する。 選択性の相補軸として次元レベルの条件付けを導入し,どのニューロンが介入するかを判断する。
  論文  参考訳（メタデータ） (2026-09-01T21:21:52Z)
• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• SANE: State Anomaly Neutralization for Stable Extreme-Context Delta-Rule Models [53.86918766240095]
  Delta-Ruleリカレントモデルは固定サイズの状態を維持しており、$O(1)$の推論メモリが可能であるが、極端なコンテキスト外挿では不安定になる可能性がある。 我々は,チャンク内並列構造を保ちながら,チャンク境界における適応$tanh$圧縮を適用したtextbfState Anomaly Neutralization (SANE)を提案する。
  論文  参考訳（メタデータ） (2026-08-23T10:41:07Z)
• Compress and Forget: bitsandbytes Quantization Amplifies Proactive Interference in LLMs [0.23438564092609357]
  プロアクティブ干渉(英: Proactive interference, PI)は、大規模言語モデルにおける文書化された障害モードであり、繰り返し上書きされた値の検索は、事前上書きが蓄積されるにつれて劣化する。 PTQは現在、オープンウェイトモデルのデフォルトのデプロイメントパスとなっているが、この障害モードへの影響はテストされていない。 アーキテクチャ的に異なる3つの命令調整モデルの3つの精度レベル(FP16, INT8, INT4/NF4, ビット/バイト)を評価する。
  論文  参考訳（メタデータ） (2026-08-19T06:17:13Z)
• Accurate Ensembles, Fragile Narratives: Multi-Scale Stacking and a Fidelity Audit of LLM-Generated Explanations for Credit Risk [0.0]
  クレジットスコアリングは、決定ロジックをパラメータから読み取ることができないモデルに依存している。 共通する提案は、言語モデルとのギャップを埋める: 特徴属性を計算し、それらを LLM に渡し、合理的に記述させる。 このようなシステムをエンド・ツー・エンドに構築し、約束の後半が成立するかどうかをテストします。
  論文  参考訳（メタデータ） (2026-08-08T13:22:14Z)
• Silent Failures in Quantized LLM Reasoning: A Taxonomy-Based Analysis of Hollow Convergence and Failure Mode Shifts [0.0]
  学習後の量子化は,タスク精度が保存されている場合でも,大きな言語モデルがどのように推論するかを静かに変更できることを示す。 3つの量子化精度で5つの命令調整LDMから3万のチェーン・オブ・シント出力を分類する。 精度は精度で高いが,Hollow Convergence は NF4 で大きく依存的な変化を示す。
  論文  参考訳（メタデータ） (2026-07-10T21:55:05Z)
• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• Perplexity Can Miss SAE Feature Damage Under Quantization [0.16921396880325779]
  量子化モデルは、パープレキシティや下流の精度が完全精度のオリジナルに近い場合、許容できると判断される。 凍結スパースオートエンコーダ(SAE)を固定的な測定基準として用いることでこれを検証する。
  論文  参考訳（メタデータ） (2026-06-02T01:17:05Z)
• ActQuant: Sub-4-bit Action-Guided Quantization for Vision-Language-Action Models [45.62029693245481]
  本稿では,アクション誘導型混合精度PTQフレームワークであるActQuantを紹介する。 ActQuant は、(1) エージェントの動作の予測にどの程度貢献するかに基づいて、各重み行列に1ビット幅を割り当てるテンソル間ビットアロケータである。 我々はまた、効率的な低ビットカーネルを持つネイティブC/C++にポートするエージェント変換パイプラインであるOmniModelも導入した。
  論文  参考訳（メタデータ） (2026-05-19T19:57:26Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• When Flat Minima Fail: Characterizing INT4 Quantization Collapse After FP32 Convergence [0.0]
  後学習量子化は、よく収束したモデルが量子化対応モデルであると仮定する。 この仮定は構造化され、測定可能で、以前は達成できなかった方法で失敗することを示す。
  論文  参考訳（メタデータ） (2026-04-16T15:46:36Z)
• Quantile Advantage Estimation for Entropy-Safe Reasoning [44.192277495613695]
  RLVRによる強化学習はLLM推論を強化するが、エントロピー崩壊とエントロピー爆発の間のトレーニングはしばしば振動する いずれのハザードも値のないRLで使われる平均ベースラインに辿り着くが、これは不適切に報酬のアウトリージの下で負のアドバンテージサンプルをペナルティ化する。 本稿では,平均値をグループ単位のK量子基底線に置き換えた量子アドバンテージ推定(QAE)を提案する。
  論文  参考訳（メタデータ） (2025-09-26T17:37:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。