論文の概要: TopoQuant: Topological Framework to Characterize Behavioral Shifts in Quantized Large Language Models
- arxiv url: http://arxiv.org/abs/2611.00631v1
- Date: Sat, 31 Oct 2026 04:55:14 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 20:01:08.426483
- Title: TopoQuant: Topological Framework to Characterize Behavioral Shifts in Quantized Large Language Models
- Title（参考訳）: TopoQuant: 量子化大言語モデルにおける振る舞いシフトを特徴付けるトポロジカルフレームワーク
- Abstract要約: 後学習量子化(PTQ)は、大規模言語モデル(LLM)のコンポジションコストを低減させる
TopoQuantは、トポロジカルデータ分析を用いて、自己注意重みにおける構造的ドリフトを定量化するフレームワークである。
- 参考スコア（独自算出の注目度）: 13.845767142059643
- License:
- Abstract: Post-training quantization (PTQ) reduces the com putational cost of large language models (LLMs), but it can introduce internal structural and behavioral changes that are not captured by traditional metrics such as accuracy and per plexity. We present TopoQuant, a topological framework that uses topological data analysis (TDA) to quantify structural drift in self-attention weights and relate it to behavioral changes in quantized LLMs. Across four LLM families and multiple quantization levels, we show that topological drift remains stable at moderate compression levels but increases sharply below 4 bit precision, closely tracking declines in attention agreement. Our results reveal a strong relationship between topological drift and attention agreement, indicating that structural changes in model parameters closely reflect behavioral degradation under quantization. We further demonstrate that topological features can accurately predict attention consistency using lightweight machine learning models, achieving R2 scores of up to 0.85. Predicting attention agreement enables efficient assessment of be havioral consistency in quantized LLMs, allowing quantization induced degradation to be detected without running expensive downstream tasks. The results indicate that topological drift pro vides an efficient early-warning signal for quantization-induced degradation and can help identify safe compression limits without extensive downstream evaluation.
- Abstract（参考訳）: 後学習量子化(PTQ)は、大規模言語モデル(LLM)のコンポジションコストを低減させるが、精度や複雑度といった従来の指標では得られない内部構造や行動の変化を導入することができる。
TopoQuantは、トポロジカルデータ解析(TDA)を用いて、自己注意重みにおける構造的ドリフトを定量化し、それを定量化したLLMの挙動変化と関連付けるトポロジカルフレームワークである。
4つのLLMファミリーと複数の量子化レベルにまたがって、トポロジカルドリフトは適度な圧縮レベルでは安定であるが、4ビット精度以下で急激に増加し、注意合意の低下を綿密に追跡する。
その結果, モデルパラメータの構造変化は, 量子化下での挙動劣化を密接に反映していることが示唆された。
さらに、トポロジカルな特徴が軽量機械学習モデルを用いて注意一貫性を正確に予測し、最大0.85のR2スコアを達成することを実証した。
注意関係の予測により、量子化LDMにおける行動整合性の効率的な評価が可能となり、高価な下流タスクを走らせることなく量子化誘起劣化を検出することができる。
その結果, トポロジカルドリフトは, 量子化誘起劣化に対する効率的な早期警戒信号であり, 広範囲な下流評価を行うことなく, 安全な圧縮限界の同定に有効であることが示唆された。
関連論文リスト
- The Illusion of Equivalency: Statistical Characterization of Quantization Effects in LLMs [5.849736173068869]
トレーニング後の量子化は、リソース制約のある設定で大規模言語モデルをデプロイするために広く利用されている。
これらの指標は量子化によって引き起こされる行動変化を捉えるのに失敗することを示す。
ベースモデルとその量子化変量の間の正確な予測の重なりを計測する決定レベルの尺度である正当性合意を導入する。
論文 参考訳（メタデータ） (2026-07-09T17:35:02Z) - Beyond the Aggregation Dilemma: Prior-Retaining Decoupled Learning for Multimodal Graphs [69.56407708794845]
MultimodalAttributed Graph Learning (MAGL)はグラフアグリゲーションを通じてノード属性と構造トポロジーを統合する。
事前訓練されたエンコーダがLarge Foundation Models (LFM) へと進化するにつれて、MAGLのランドスケープは根本的に変化していく。
高信頼のLFM先行の下では、強制集約は、識別シグナルを圧倒するトポロジカル固有のノイズを導入する。
本稿では、分離されたデュアルパスパラダイムであるSUPRA(Shared-Unique Prior-Retaining Architecture)を提案する。
SUPRAは、トポロジ・アグノシクスによるモーダリティ特異的な特徴を処理し、軽量共有GNNを介して構造相乗効果を捉え、補助的な深層監視対策の勾配飢餓を発生させる。
論文 参考訳（メタデータ） (2026-05-23T17:42:25Z) - Topological Engine Monitor: Persistent Homology-Based Fault Detection in Finite-Time Quantum Engines [4.112347712295839]
我々は、量子オットーエンジンの制御故障を診断するための非侵襲的で純粋に幾何学的な枠組みを確立するために、トポロジカルデータ分析アプローチを適用した。
本研究は,非理想的量子熱力学デバイスにおけるトポロジーに基づく診断の可能性を示すものである。
論文 参考訳（メタデータ） (2026-04-13T10:51:49Z) - From Arithmetic to Logic: The Resilience of Logic and Lookup-Based Neural Networks Under Parameter Bit-Flips [0.6868507883617846]
本研究では,ニューラルネットワークの構造特性としてのレジリエンスについて検討する。
その結果,低い精度,高い間隔,有界活性化,浅い深度が常に好まれていることが判明した。
論理ベースのアーキテクチャに特有の新しい偶数層リカバリ効果を同定する。
論文 参考訳（メタデータ） (2026-03-24T03:53:04Z) - Understanding Behavior Cloning with Action Quantization [12.649414799403054]
我々は、量子化誤差が地平線に沿ってどのように伝播するかを分析し、統計的サンプルの複雑さと相互作用する。
量子化された行動とログロスを用いた行動クローニングが最適なサンプル複雑性を実現することを示す。
また,ポリシーのスムーズさを必要とせずに,エラー境界を確実に改善するモデルベース拡張を提案する。
論文 参考訳（メタデータ） (2026-03-20T22:22:43Z) - Kraus Constrained Sequence Learning For Quantum Trajectories from Continuous Measurement [0.0]
本稿では,ジェネリックシークエンスバックボーンの隠れ表現を正のトレース保存(CPTP)量子演算に変換するクラス構造出力層を提案する。
すべてのモデルにおいて、Kraus-LSは最強の結果を達成し、制約のないモデルに比べて、状態推定品質を7%向上させる。
論文 参考訳（メタデータ） (2026-03-05T18:37:05Z) - Continual Quantum Architecture Search with Tensor-Train Encoding: Theory and Applications to Signal Processing [68.35481158940401]
CL-QASは連続的な量子アーキテクチャ検索フレームワークである。
振幅のエンコードと変分量子回路の忘れを犠牲にすることの課題を緩和する。
制御可能なロバスト性表現性、サンプル効率の一般化、およびバレンプラトーを使わずに滑らかな収束を実現する。
論文 参考訳（メタデータ） (2026-01-10T02:36:03Z) - SIGMA: Scalable Spectral Insights for LLM Collapse [51.863164847253366]
SIGMA(Spectral Inequalities for Gram Matrix Analysis)は,モデル崩壊のための統一的なフレームワークである。
行列のスペクトル上の決定論的境界を導出するベンチマークを利用することで、SIGMAは表現空間の収縮を追跡するために数学的に基底化された計量を提供する。
我々は、SIGMAが状態への遷移を効果的に捉え、崩壊のメカニズムに関する理論的知見の両方を提供することを示した。
論文 参考訳（メタデータ） (2026-01-06T19:47:11Z) - Model Hemorrhage and the Robustness Limits of Large Language Models [119.46442117681147]
大規模言語モデル(LLM)は、自然言語処理タスク全体で強力なパフォーマンスを示すが、デプロイメント用に修正された場合、大幅なパフォーマンス低下を経験する。
この現象をモデル出血(パラメータ変更とアーキテクチャ変更によるパフォーマンス低下)と定義する。
論文 参考訳（メタデータ） (2025-03-31T10:16:03Z) - GAQAT: gradient-adaptive quantization-aware training for domain generalization [54.31450550793485]
そこで本研究では,DGのためのGAQAT(Gradient-Adaptive Quantization-Aware Training)フレームワークを提案する。
我々のアプローチは、低精度量子化におけるスケール・グラディエント・コンフリクト問題を特定することから始まる。
GAQATフレームワークの有効性を実験により検証した。
論文 参考訳（メタデータ） (2024-12-07T06:07:21Z) - Neural Networks with Quantization Constraints [111.42313650830248]
量子化学習における制約付き学習手法を提案する。
結果の問題は強い双対であり、勾配推定は不要であることを示す。
提案手法は画像分類タスクにおける競合性能を示す。
論文 参考訳（メタデータ） (2022-10-27T17:12:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。