論文の概要: Compression Hacking: A Supplementary Perspective on Informatics Metric of Language Models from Geometric Distortion

• arxiv url: http://arxiv.org/abs/2505.17793v1
• Date: Fri, 23 May 2025 12:11:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:34.048131
• Title: Compression Hacking: A Supplementary Perspective on Informatics Metric of Language Models from Geometric Distortion
• Title（参考訳）: 圧縮ハッキング:幾何学的歪みによる言語モデルのインフォマティクスメトリクスの補助的視点
• Authors: Jianxiang Zang, Meiling Ning, Yongda Wei, Shihan Dou, Jiazheng Zhang, Nijia Mo, Binhong Li, Tao Gui, Qi Zhang, Xuanjing Huang,
• Abstract要約: 幾何学的観点から、高度に圧縮されたLMのワード表現空間は、非常に異方性のある状態に縮退する傾向がある。 この同期性は基本的にLM表現におけるCompression Hacking''である。 幾何学的歪み解析を取り入れ, 自己評価パイプラインに統合することにより, 高精度な3つの圧縮指標を提案する。
• 参考スコア（独自算出の注目度）: 36.47982325967706
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, the concept of ``compression as intelligence'' has provided a novel informatics metric perspective for language models (LMs), emphasizing that highly structured representations signify the intelligence level of LMs. However, from a geometric standpoint, the word representation space of highly compressed LMs tends to degenerate into a highly anisotropic state, which hinders the LM's ability to comprehend instructions and directly impacts its performance. We found this compression-anisotropy synchronicity is essentially the ``Compression Hacking'' in LM representations, where noise-dominated directions tend to create the illusion of high compression rates by sacrificing spatial uniformity. Based on this, we propose three refined compression metrics by incorporating geometric distortion analysis and integrate them into a self-evaluation pipeline. The refined metrics exhibit strong alignment with the LM's comprehensive capabilities, achieving Spearman correlation coefficients above 0.9, significantly outperforming both the original compression and other internal structure-based metrics. This confirms that compression hacking substantially enhances the informatics interpretation of LMs by incorporating geometric distortion of representations.
• Abstract（参考訳）: 近年,「インテリジェンスとしての表現」の概念は,言語モデル(LM)に新たなインテリジェンス・メトリック・パースペクティブを提供し,高度に構造化された表現は,LMのインテリジェンスレベルを表していることを強調している。 しかし、幾何学的観点から見ると、高度に圧縮されたLMのワード表現空間は、高度に異方性のある状態に縮退する傾向にあり、LMの命令理解の妨げとなり、その性能に直接影響を及ぼす。 この圧縮異方性同期性は、本質的にはLM表現の「圧縮ハック」であり、ノイズに支配された方向は、空間的均一性を犠牲にして高い圧縮率の錯覚を生じさせる傾向がある。 そこで本研究では,幾何学的歪み解析を組み込んだ3種類の圧縮指標を提案し,それを自己評価パイプラインに統合する。 改良されたメトリクスは、LMの包括的能力と強い整合性を示し、0.9以上のスピアマン相関係数を達成し、オリジナルの圧縮と他の内部構造に基づくメトリクスを著しく上回っている。 これは、圧縮ハッキングが表現の幾何学的歪みを取り入れることで、LMの情報解釈を大幅に強化することを確認する。

関連論文リスト

• Language Models as Zero-shot Lossless Gradient Compressors: Towards General Neural Parameter Prior Models [56.00251589760559]
  大型言語モデル(LLM)はゼロショット設定でグラデーション先行として振る舞うことができる。 本稿では,LSMと算術符号を統合する新しい手法であるLM-GCを紹介する。 実験により、LM-GCは既存の最先端のロスレス圧縮手法を超越していることが示された。
  論文  参考訳（メタデータ） (2024-09-26T13:38:33Z)
• Data-free Weight Compress and Denoise for Large Language Models [96.68582094536032]
  パラメータ行列を圧縮する手法として,データフリーなジョイントランクk近似を提案する。 キャリブレーションデータなしで、元の性能の93.43%を維持しながら80%のパラメータのモデルプルーニングを実現する。
  論文  参考訳（メタデータ） (2024-02-26T05:51:47Z)
• The Cost of Compression: Investigating the Impact of Compression on Parametric Knowledge in Language Models [11.156816338995503]
  大規模言語モデル(LLM)は、より高速な推論、メモリフットプリントの縮小、ローカルデプロイメントを可能にする。 2つの標準的な圧縮手法はプルーニングと量子化であり、前者はモデル層における冗長な接続を排除し、後者はより少ないビットでモデルパラメータを表現する。 LLM圧縮に関する既存の研究は、主にパープレキシティやダウンストリームタスクの精度といった一般的な指標のパフォーマンスに焦点を当てている。 パラメトリックな知識を測定するような、よりきめ細かいメトリクスは、いまだにかなり過小評価されている。
  論文  参考訳（メタデータ） (2023-12-01T22:27:12Z)
• White-Box Transformers via Sparse Rate Reduction: Compression Is All There Is? [27.58916930770997]
  数学的に完全に解釈可能なCRATEという,ホワイトボックストランスフォーマーのようなディープネットワークアーキテクチャのファミリーを示す。 実験によると、これらのネットワークは単純さにもかかわらず、大規模な実世界の画像とテキストデータセットの表現を圧縮し、分散化することを学習している。
  論文  参考訳（メタデータ） (2023-11-22T02:23:32Z)
• Bridging Information-Theoretic and Geometric Compression in Language Models [11.96710733444808]
  言語モデルが人間の言語を忠実にモデル化するには、膨大な無限の情報を比較的少数の次元に圧縮する必要がある。 言語データセットの高圧縮は,そのデータセットへの迅速な適応を予測できることを示す。 本分析の実践的副産物として,言語データを用いた本質的次元推定器の電池評価を行った。
  論文  参考訳（メタデータ） (2023-10-20T16:12:13Z)
• Dynamic Kernel-Based Adaptive Spatial Aggregation for Learned Image Compression [63.56922682378755]
  本稿では,空間アグリゲーション機能の拡張に焦点をあて,動的カーネルベースの変換符号化を提案する。 提案したアダプティブアグリゲーションはカーネルオフセットを生成し、コンテント条件付き範囲の有効な情報をキャプチャして変換を支援する。 実験により,本手法は,最先端の学習手法と比較して,3つのベンチマークにおいて高い速度歪み性能が得られることを示した。
  論文  参考訳（メタデータ） (2023-08-17T01:34:51Z)
• What Do Compressed Multilingual Machine Translation Models Forget? [102.50127671423752]
  平均BLEUはわずかに減少するが,表現不足言語の性能は著しく低下する。 圧縮は,高リソース言語においても,本質的な性差や意味バイアスを増幅することを示した。
  論文  参考訳（メタデータ） (2022-05-22T13:54:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。