論文の概要: DecompressionLM: Deterministic, Diagnostic, and Zero-Shot Concept Graph Extraction from Language Models

• arxiv url: http://arxiv.org/abs/2602.00377v2
• Date: Thu, 05 Feb 2026 07:33:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-06 14:11:23.824092
• Title: DecompressionLM: Deterministic, Diagnostic, and Zero-Shot Concept Graph Extraction from Language Models
• Title（参考訳）: DecompressionLM:言語モデルからの決定論的・診断的・ゼロショット概念グラフ抽出
• Authors: Zhaochen Hong, Jiaxuan You,
• Abstract要約: DecompressionLMはゼロショットの概念グラフ抽出のためのステートレスフレームワークである。 提案手法は,共通復号法に基づく探索手法の3つの制限を対象とする。
• 参考スコア（独自算出の注目度）: 24.759051210517658
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing knowledge probing methods rely on pre-defined queries, limiting extraction to known concepts. We introduce DecompressionLM, a stateless framework for zero-shot concept graph extraction that discovers what language models encode without pre-specified queries or shared cross-sequence state. Our method targets three limitations of common decoding-based probing approaches: (i) cross-sequence coupling that concentrates probability mass on high-frequency prefixes, (ii) competitive decoding effects that suppress long-tail concepts, and (iii) scalability constraints arising from sequential exploration. Using Van der Corput low-discrepancy sequences with arithmetic decoding, DecompressionLM enables deterministic, embarrassingly parallel generation without shared state across sequences. Across two model families and five quantization variants, we find that activation-aware quantization (AWQ-4bit) expands concept coverage by 30-170%, while uniform quantization (GPTQ-Int4) induces 71-86% coverage collapse - divergent behaviors not reliably reflected by explanation-level perplexity. Corpus-based verification further reveals a 19.6-point hallucination gap between top- and bottom-ranked MMLU-Pro Law models. DecompressionLM establishes concept coverage as a complementary evaluation dimension for assessing knowledge breadth and factual grounding in compressed models intended for deployment.
• Abstract（参考訳）: 既存の知識探索手法は事前定義されたクエリに依存しており、抽出を既知の概念に制限する。 DecompressionLMはゼロショットの概念グラフ抽出のためのステートレスフレームワークで、あらかじめ定義されたクエリや共有シーケンス状態なしに、どの言語モデルをエンコードするかを検出する。 提案手法は,共通復号法に基づく探索手法の3つの制限を対象とする。 (i)高周波プレフィックスに確率質量を集中させるクロスシーケンスカップリング (二)長尾概念を抑止する競合復号効果、及び 三 連続探査によるスケーラビリティの制約 算術的復号化を伴うVan der Corputの低差分列を用いて、DecompressionLMは、列間の共有状態なしで決定論的で恥ずかしい並列生成を可能にする。 2つのモデル族と5つの量子化変種の間で、アクティベーション対応量子化(AWQ-4bit)は概念カバレッジを30-170%拡大する一方、一様量子化(GPTQ-Int4)は71-86%のカバレッジ崩壊を引き起こす。 コーパスに基づく検証により、トップランクとボトムランクのMMLU-Pro法モデルの間の19.6ポイントの幻覚ギャップが明らかになった。 DecompressionLMは、デプロイを意図した圧縮モデルにおいて、知識の広さと事実的基盤を評価するための補完的な評価次元として概念カバレッジを確立している。

関連論文リスト

• A Model-Driven Lossless Compression Algorithm Resistant to Mismatch [2.7930955543692817]
  任意の大きさの予測ミスマッチに対して頑健な次点予測に基づく新しい圧縮アルゴリズムを提案する。 本研究は,一般的な圧縮法よりも高い圧縮比を達成しつつ,認証ミスマッチ方式における信頼性の高い動作を示すものである。
  論文  参考訳（メタデータ） (2026-01-25T04:07:21Z)
• VQL: An End-to-End Context-Aware Vector Quantization Attention for Ultra-Long User Behavior Modeling [12.619238878583703]
  大規模レコメンデーションシステムでは、超長期のユーザ行動シーケンスは、進化する関心の豊かなシグナルを符号化する。 超長期動作モデリングのためのコンテキスト対応ベクトル量子化アテンションフレームワークであるVQLを提案する。
  論文  参考訳（メタデータ） (2025-08-23T19:58:18Z)
• MPQ-DMv2: Flexible Residual Mixed Precision Quantization for Low-Bit Diffusion Models with Temporal Distillation [74.34220141721231]
  我々は,textbfMixed textbfPrecision textbfQuantizationフレームワークを改良したMPQ-DMv2を提案する。
  論文  参考訳（メタデータ） (2025-07-06T08:16:50Z)
• Reducing Storage of Pretrained Neural Networks by Rate-Constrained Quantization and Entropy Coding [56.066799081747845]
  成長を続けるニューラルネットワークのサイズは、リソースに制約のあるデバイスに深刻な課題をもたらす。 本稿では,レートアウェア量子化とエントロピー符号化を組み合わせた学習後圧縮フレームワークを提案する。 この方法では非常に高速な復号化が可能であり、任意の量子化グリッドと互換性がある。
  論文  参考訳（メタデータ） (2025-05-24T15:52:49Z)
• Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling [90.86991492288487]
  トークンの制約を評価するのは 違法にコストがかかる LCDは文字列上のグローバル分布を歪め、ローカル情報のみに基づいてトークンをサンプリングすることができる。 我々のアプローチは最先端のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-04-07T18:30:18Z)
• Choose Your Model Size: Any Compression of Large Language Models Without Re-Computation [10.376875638696504]
  本研究は, 圧縮性能トレードオフを決定するアルゴリズム手法であるACIP (Any Compression via Iterative Pruning) を提案する。 線形層をSVDで再パラメータ化し,その特異値をスペーサ性誘導ペナルティで反復的にプルーする。 本稿では,ACIPが共通量子化に基づく圧縮手法をシームレスに補完することを示す。
  論文  参考訳（メタデータ） (2025-02-03T18:40:58Z)
• UNComp: Can Matrix Entropy Uncover Sparsity? -- A Compressor Design from an Uncertainty-Aware Perspective [85.08718140718707]
  UNCompは不確実性を認識したフレームワークで、適応圧縮に使用できる空間パターンを明らかにする。 スパーシティパターンを詳細に分析する不確実性に注目して、UNCompはKVキャッシュサイズを4.74%に削減し、6%のプリフィルスピードアップを実現し、スループットを6.4倍改善した。
  論文  参考訳（メタデータ） (2024-10-04T02:32:36Z)
• Retraining-free Model Quantization via One-Shot Weight-Coupling Learning [41.299675080384]
  混合精度量子化(MPQ)は、層に不均一なビット幅を割り当てることで、モデルを効果的に圧縮することを提唱する。 MPQは典型的には、探索訓練された2段階のプロセスに編成される。 本稿では,混合精度モデル圧縮のためのワンショットトレーニング探索パラダイムを考案する。
  論文  参考訳（メタデータ） (2024-01-03T05:26:57Z)
• Learning, compression, and leakage: Minimising classification error via meta-universal compression principles [87.054014983402]
  学習シナリオのための圧縮技法の有望なグループは、正規化極大(NML)符号化である。 ここでは,教師付き分類問題に対するNMLに基づく意思決定戦略を検討し,多種多様なモデルに適用した場合にPAC学習を実現することを示す。 本手法の誤分類率は,プライバシに敏感なシナリオにおいて,データ漏洩の可能性を定量化するための指標である最大リークによって上限づけられていることを示す。
  論文  参考訳（メタデータ） (2020-10-14T20:03:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。