論文の概要: Language Modeling is Monotone Compression

• arxiv url: http://arxiv.org/abs/2610.11031v1
• Date: Thu, 08 Oct 2026 00:24:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.714546
• Title: Language Modeling is Monotone Compression
• Title（参考訳）: 言語モデリングはモノトン圧縮である
• Abstract要約: 大規模言語モデル (LLM) はモノトーン圧縮アルゴリズムと等価であることを示す。 直接的な結論として、私たちは独立した関心の暗号的な結果を得る。
• 参考スコア（独自算出の注目度）: 4.67724003380452
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A long-standing hypothesis in artificial intelligence and neuroscience posits that intelligence is closely related to compression: the ability to compress information efficiently intuitively reflects capacities associated with intelligence and learning. Indeed, recent experimental works verify this intuition by showing connections between the capabilities of large language models (LLMs) and their ability as compressors: for instance, Deletang et al. (ICLR'24) demonstrate that LLMs can be used as powerful compressors, and Huang et al. (COLM'24) show that the compression ability of LLMs is highly correlated with their performance on benchmarks for knowledge and reasoning. In this work, we initiate a theoretical study of this connection. Our main result is that LLMs (formally modeled as next-token predictors) are equivalent to monotone (a.k.a. order-preserving) compression algorithms---namely, compression algorithms where the encoding process preserves the ordering of the inputs---in the sense that the one can be constructed from the other while preserving the same error up to an additive gap of 2. We next show that the monotonicity is required for this equivalence to hold if and only if cryptographic (infinitely-often) one-way functions exist. As a direct corollary, we get a cryptographic result of independent interest: the notion of next-bit pseudoentropy (a computational analogue of entropy) of a distribution is equivalent to monotone incompressibility of the distribution. (Previously, it was only known (Haitner et al., ITCS'23) that incompressibility implies next-bit pseudoentropy.)
• Abstract（参考訳）: 人工知能と神経科学の長年の仮説は、知性は圧縮と密接に関連している:情報を効率的に圧縮する能力は、知性と学習に関連する能力を直感的に反映する。 例えば、Deletang et al (ICLR'24) は、LLMが強力な圧縮機として使用できることを実証し、Huang et al (COLM'24) は、LLMの圧縮能力が知識と推論のベンチマーク上での性能と非常に相関していることを示した。 本研究では,この関係に関する理論的研究を開始する。 我々の主な結果は、LLMがモノトン(すなわち注文保存)圧縮アルゴリズムと等価である、すなわち、符号化プロセスが入力の順序を保存している圧縮アルゴリズム、すなわち、同じエラーを2の加法的ギャップまで保存しながら、一方を他方から構築できるという意味での圧縮アルゴリズムである。 次に、この同値性に対する単調性は、暗号的(無限に)片方向関数が存在する場合にのみ保持する必要があることを示す。 分布の次ビット擬エントロピー(エントロピーの計算アナログ)の概念は、分布のモノトン非圧縮性と等価である。 (以前は(Haitner et al , ITCS'23)、非圧縮性は次のビット擬似エントロピーを意味することが知られていた。 )

関連論文リスト

• Unified Scaling Laws for Compressed Representations [69.72517034565467]
  各種圧縮表現上でのトレーニングにおいて,統合スケーリングフレームワークがモデル性能を正確に予測できるかどうかを検討する。 我々の主な発見は、単純な「容量」計量が存在するという理論と経験の両方を実証することである。 我々は、圧縮されたフォーマットの精度を直接比較し、スパース量子化されたフォーマットのトレーニングのためのより良いアルゴリズムを導出するために、定式化を拡張した。
  論文  参考訳（メタデータ） (2025-06-02T16:52:51Z)
• Compression Hacking: A Supplementary Perspective on Informatics Properties of Language Models from Geometric Distortion [56.12939353271623]
  幾何学的観点から、高度に圧縮されたLMのワード表現空間は、非常に異方性のある状態に縮退する傾向がある。 この同期性は基本的にLM表現におけるCompression Hacking''である。 幾何学的歪み解析を取り入れ, 自己評価パイプラインに統合することにより, 高精度な3つの圧縮指標を提案する。
  論文  参考訳（メタデータ） (2025-05-23T12:11:03Z)
• SuperARC: An Agnostic Test for Narrow, General, and Super Intelligence Based On the Principles of Recursive Compression and Algorithmic Probability [0.14061979259370275]
  アルゴリズムの確率を基礎としたオープンエンドテストを導入する。 これはフロンティアモデルの定量的評価においてベンチマーク汚染を避けることができる。 圧縮はシステムの予測力と等価であり、直接的に比例することを示す。
  論文  参考訳（メタデータ） (2025-03-20T23:11:30Z)
• I Predict Therefore I Am: Is Next Token Prediction Enough to Learn Human-Interpretable Concepts from Data? [76.15163242945813]
  大規模言語モデル (LLM) は、多くの人が知能の形式を示すと結論づけている。 本稿では,潜在離散変数として表現される人間解釈可能な概念に基づいてトークンを生成する新しい生成モデルを提案する。
  論文  参考訳（メタデータ） (2025-03-12T01:21:17Z)
• LightThinker: Thinking Step-by-Step Compression [74.34839026338342]
  提案するLightThinkerは,大規模言語モデルを用いて推論中の中間的思考を動的に圧縮する手法である。 人間の認知プロセスにインスパイアされたLightThinkerは、思考ステップをコンパクトな表現に圧縮し、元の推論チェーンを捨てる。 実験によると、LightThinkerは競合精度を維持しながら、ピークメモリ使用量と推論時間を短縮する。
  論文  参考訳（メタデータ） (2025-02-21T16:57:22Z)
• Compression Represents Intelligence Linearly [14.651664954289354]
  大規模言語モデル(LLM)は圧縮と等価であることが示されている。 このような魅力的な議論にもかかわらず、圧縮と知性の間の相互作用には実証的な証拠はほとんど存在しない。 12のベンチマークで、さまざまな組織から生まれた31のパブリックLLMをまとめました。 注目すべきは、LLMのインテリジェンスは、外部テキストコーパスを圧縮する能力とほぼ線形に相関していることである。
  論文  参考訳（メタデータ） (2024-04-15T17:03:41Z)
• Implicit Compressibility of Overparametrized Neural Networks Trained with Heavy-Tailed SGD [31.61477313262589]
  勾配降下(SGD)を訓練した一層ニューラルネットワークの検討 加法的な重み付きノイズを各繰り返しに注入すると、任意の圧縮率に対して、アルゴリズムの出力が高い確率で圧縮可能であるように過度なパラメータ化のレベルが存在することを示す。
  論文  参考訳（メタデータ） (2023-06-13T20:37:02Z)
• Temporal Difference Learning with Compressed Updates: Error-Feedback meets Reinforcement Learning [47.904127007515925]
  本稿では,従来の時間差学習アルゴリズムの変種について検討する。 我々は、圧縮されたTDアルゴリズムと、最適化に広く用いられているエラーフィードバック機構が組み合わさって、漸近的でない近似を保証することを証明した。 特に、これらは一般圧縮演算子と線形関数近似とマルコフサンプリングを併用したタンデムの誤差フィードバックを考慮に入れたRLにおける最初の有限時間結果である。
  論文  参考訳（メタデータ） (2023-01-03T04:09:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。