論文の概要: Can Large Language Models Still Explain Themselves? Investigating the Impact of Quantization on Self-Explanations

• arxiv url: http://arxiv.org/abs/2601.00282v1
• Date: Thu, 01 Jan 2026 09:50:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-05 15:04:33.358301
• Title: Can Large Language Models Still Explain Themselves? Investigating the Impact of Quantization on Self-Explanations
• Title（参考訳）: 大規模言語モデルはいまだ説明できるのか? : 量子化が自己説明に与える影響を探る
• Authors: Qianli Wang, Nils Feldhus, Pepa Atanasova, Fedor Splitt, Simon Ostermann, Sebastian Möller, Vera Schmitt,
• Abstract要約: 量子化は通常、自己説明(SE)と忠実の両方において緩やかに低下する。 タスクの正確性、SEの品質、忠実性に一貫して優れる量子化技術は存在しない。
• 参考スコア（独自算出の注目度）: 18.22236071202241
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Quantization is widely used to accelerate inference and streamline the deployment of large language models (LLMs), yet its effects on self-explanations (SEs) remain unexplored. SEs, generated by LLMs to justify their own outputs, require reasoning about the model's own decision-making process, a capability that may exhibit particular sensitivity to quantization. As SEs are increasingly relied upon for transparency in high-stakes applications, understanding whether and to what extent quantization degrades SE quality and faithfulness is critical. To address this gap, we examine two types of SEs: natural language explanations (NLEs) and counterfactual examples, generated by LLMs quantized using three common techniques at distinct bit widths. Our findings indicate that quantization typically leads to moderate declines in both SE quality (up to 4.4\%) and faithfulness (up to 2.38\%). The user study further demonstrates that quantization diminishes both the coherence and trustworthiness of SEs (up to 8.5\%). Compared to smaller models, larger models show limited resilience to quantization in terms of SE quality but better maintain faithfulness. Moreover, no quantization technique consistently excels across task accuracy, SE quality, and faithfulness. Given that quantization's impact varies by context, we recommend validating SE quality for specific use cases, especially for NLEs, which show greater sensitivity. Nonetheless, the relatively minor deterioration in SE quality and faithfulness does not undermine quantization's effectiveness as a model compression technique.
• Abstract（参考訳）: 量子化は、推論を加速し、大きな言語モデル(LLM)の展開を合理化するために広く用いられているが、自己説明(SE)への影響は未解明のままである。 LLMが独自の出力を正当化するために生成したSEは、特定の量子化に対する感度を示す能力である、モデル自身の意思決定プロセスに関する推論を必要とする。 SEは、ハイテイクなアプリケーションにおける透明性にますます依存しているため、量子化がSEの品質と忠実性をどの程度低下させるかを理解することが重要である。 このギャップに対処するために、自然言語説明法(NLE)とLLMが生成する逆実例の2種類のSEを、異なるビット幅で3つの共通手法を用いて量子化した。 この結果から, 量子化はSE品質(最大4.4 %)と忠実(最大2.38 %)の両方において, 適度な低下をもたらすことが示唆された。 ユーザー研究により、量子化はSEsのコヒーレンスと信頼性の両方を減少させる(最大8.5\%)ことが示されている。 より小さなモデルと比較して、より大規模なモデルはSEの品質の点で量子化に対するレジリエンスに制限があるが、忠実さはより良く維持できる。 さらに、タスクの正確性、SEの品質、忠実性に一貫して優れる量子化技術は存在しない。 量子化の影響は文脈によって異なるので、特定のユースケース、特に感度の高いNLEに対してSE品質を検証することを推奨します。 それにもかかわらず、SEの品質と忠実性の比較的小さな劣化は、モデル圧縮技術としての量子化の有効性を損なうものではない。

関連論文リスト

• Through a Compressed Lens: Investigating the Impact of Quantization on LLM Explainability and Interpretability [48.10089747299802]
  量子化法は推論の高速化と大規模言語モデル(LLM)の展開の合理化に広く用いられている。 異なるビット幅で3つの共通量子化技術を用いて実験を行い、2つの説明可能性手法、対実例と自然言語の説明、および2つの解釈可能性アプローチ、知識分析および潜時マルチホップ推論分析を行った。 その結果, 量子化は構成によっては, モデル説明可能性や解釈可能性に大きな影響を及ぼすことがわかった。
  論文  参考訳（メタデータ） (2025-05-20T06:01:09Z)
• Low-bit Model Quantization for Deep Neural Networks: A Survey [123.89598730307208]
  本稿では、ディープニューラルネットワーク(DNN)における低ビット量子化に向けた最近の5年間の進歩について調査する。 我々は最先端の量子化手法を議論し、それらのコア技術に基づいて8つの主要なカテゴリと24のサブカテゴリに分類する。 我々は、モデル量子化の分野における潜在的研究の機会に光を当てた。
  論文  参考訳（メタデータ） (2025-05-08T13:26:19Z)
• Quantization Hurts Reasoning? An Empirical Study on Quantized Reasoning Models [48.98109982725689]
  量子化推論モデルに関する最初の体系的研究を行う。 本研究は,様々なビット幅の最先端アルゴリズムを用いて,重み,KVキャッシュ,アクティベーション量子化について検討する。 モデルのサイズ、モデルの起源、タスクの難しさを、パフォーマンスの重要な決定要因とみなす。
  論文  参考訳（メタデータ） (2025-04-07T08:22:45Z)
• Quantize What Counts: More for Keys, Less for Values [63.51476878610841]
  大規模言語モデル(LLM)は、キーバリュー(KV)キャッシュに支配される推論時のメモリボトルネックに悩まされる。 本稿ではトランスフォーマーモデルの内在幾何学における混合精度KV量子化を固定する2つの定理を提案する。
  論文  参考訳（メタデータ） (2025-02-20T22:24:27Z)
• When Quantization Affects Confidence of Large Language Models? [4.338589334157708]
  GPTQから4ビットへの変換は,言語モデルによって異なる影響で,真のラベルに対する信頼度を低下させることを示す。 本稿では,信頼度に基づく量子化損失の説明を行い,まず,完全モデルが信頼度が低いサンプルに対して,量子化が不均等に影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2024-05-01T16:58:28Z)
• Do Emergent Abilities Exist in Quantized Large Language Models: An Empirical Study [90.34226812493083]
  本研究の目的は,LLMを小言語モデルと区別する重要な特徴である現象能力に対する量子化の影響を検討することである。 実験により、これらの創発能力は4ビット量子化モデルに残っており、2ビットモデルは深刻な性能劣化に直面していることがわかった。 低ビットモデルの性能向上のために,(1) 部品(またはサブ構造)が量子化に敏感である場合の微視的影響解析,(2) モデル微視化による性能補償の2つの実験を行った。
  論文  参考訳（メタデータ） (2023-07-16T15:11:01Z)
• Zero-shot Adversarial Quantization [11.722728148523366]
  ゼロショット逆量子化(ZAQ: Zero-shot adversarial quantization)フレームワークを提案し,効果的な不一致推定と知識伝達を容易にする。 これは、情報的で多様なデータ例を合成するためにジェネレータを駆動する、新しい2レベル不一致モデリングによって達成される。 強力なゼロショットベースラインに対してZAQの優位性を示す3つの基本的なビジョンタスクについて広範な実験を行います。
  論文  参考訳（メタデータ） (2021-03-29T01:33:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。