論文の概要: The KoLMogorov Test: Compression by Code Generation
- arxiv url: http://arxiv.org/abs/2503.13992v1
- Date: Tue, 18 Mar 2025 07:52:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-19 14:16:44.203310
- Title: The KoLMogorov Test: Compression by Code Generation
- Title（参考訳）: KoLMogorovテスト:コード生成による圧縮
- Authors: Ori Yoran, Kunhao Zheng, Fabian Gloeckle, Jonas Gehring, Gabriel Synnaeve, Taco Cohen,
- Abstract要約: 我々は、LLMを生成するための圧縮・アズ・インテリジェンステストであるKoLMogorov-Test(KT)を紹介する。
モデルは、推論時にデータのシーケンスを提示し、そのシーケンスを生成する最も短いプログラムを生成するように要求する。
現在のモデルを評価するには、音声、テキスト、DNAデータ、およびランダムな合成プログラムによって生成されるシーケンスを使用する。
- 参考スコア（独自算出の注目度）: 37.04200658246742
- License:
- Abstract: Compression is at the heart of intelligence. A theoretically optimal way to compress any sequence of data is to find the shortest program that outputs that sequence and then halts. However, such 'Kolmogorov compression' is uncomputable, and code generating LLMs struggle to approximate this theoretical ideal, as it requires reasoning, planning and search capabilities beyond those of current models. In this work, we introduce the KoLMogorov-Test (KT), a compression-as-intelligence test for code generating LLMs. In KT a model is presented with a sequence of data at inference time, and asked to generate the shortest program that produces the sequence. We identify several benefits of KT for both evaluation and training: an essentially infinite number of problem instances of varying difficulty is readily available, strong baselines already exist, the evaluation metric (compression) cannot be gamed, and pretraining data contamination is highly unlikely. To evaluate current models, we use audio, text, and DNA data, as well as sequences produced by random synthetic programs. Current flagship models perform poorly - both GPT4-o and Llama-3.1-405B struggle on our natural and synthetic sequences. On our synthetic distribution, we are able to train code generation models with lower compression rates than previous approaches. Moreover, we show that gains on synthetic data generalize poorly to real data, suggesting that new innovations are necessary for additional gains on KT.
- Abstract（参考訳）: 圧縮は知性の中心にある。
任意のデータ列を圧縮する理論的に最適の方法は、そのシーケンスを出力し、停止する最も短いプログラムを見つけることである。
しかし、このような「コルモゴロフ圧縮」は計算不可能であり、LLMを生成するコードは、現在のモデル以上の推論、計画、探索能力を必要とするため、この理論上の理想を近似するのに苦労する。
本研究では,LLMを生成するための圧縮・アズ・インテリジェンステストであるKoLMogorov-Test(KT)を紹介する。
KTでは、モデルに推論時のデータのシーケンスを表示し、そのシーケンスを生成する最も短いプログラムを生成するように要求する。
我々は,KTの評価とトレーニングの両面において,KTの利点をいくつか挙げる: 難易度が変化する問題インスタンスの無限個数は,容易に利用でき,ベースラインが強いこと,評価基準(圧縮)がゲーム化できないこと,事前学習データ汚染が極めて低いこと,など。
現在のモデルを評価するには、音声、テキスト、DNAデータ、およびランダムな合成プログラムによって生成されるシーケンスを使用する。
現在のフラッグシップモデルは、GPT4-oとLlama-3.1-405Bの両方が、我々の自然および合成シーケンスに苦戦している。
合成分布では,従来の手法よりも圧縮率の低いコード生成モデルを訓練することができる。
さらに, 合成データのゲインは実データにはあまり一般化せず, KTのさらなるゲインには新たなイノベーションが必要であることが示唆された。
関連論文リスト
- UnitCoder: Scalable Iterative Code Synthesis with Unit Test Guidance [65.01483640267885]
大きな言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示してきたが、コード生成は依然として大きな課題である。
私たちは、モデル生成ユニットテストを活用してコード生成プロセスのガイドと検証を行う、システマティックパイプラインであるUnitCoderを紹介します。
我々の研究は、モデル生成単体テストを利用して、事前学習コーパスから高品質なコードデータの合成を誘導するスケーラブルなアプローチを提案する。
論文 参考訳（メタデータ） (2025-02-17T05:37:02Z) - C3oT: Generating Shorter Chain-of-Thought without Compromising Effectiveness [18.073777359647515]
解答の導出前のChain-of-Thought(CoT)は、大規模言語モデル(LLM)の推論能力を改善することができる。
しかし、生成したCoTの長さは、望ましい最終回答よりもはるかに長いため、さらなる復号コストが生じる。
本稿では、圧縮機がオリジナルの長いCoTを短いCoTに圧縮するCOT圧縮フレームワークを提案する。
論文 参考訳（メタデータ） (2024-12-16T11:12:45Z) - EvoPress: Towards Optimal Dynamic Model Compression via Evolutionary Search [33.86918407429272]
本稿では, 与えられた入力範囲において, 確実に最適である動的圧縮に対する新しい, 汎用的なアプローチを提案する。
これらの理論的保証は、Llama, Mistral, Phiモデルの動的圧縮に高い競争力を与えることを示す。
論文 参考訳（メタデータ） (2024-10-18T17:46:37Z) - Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
GMLM(Generative Masked Language Models)に焦点を当てる。
我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。
我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
論文 参考訳（メタデータ） (2024-07-22T18:00:00Z) - Fundamental Limits of Prompt Compression: A Rate-Distortion Framework for Black-Box Language Models [21.025001473355996]
大規模言語モデル(LLM)の即時圧縮問題について定式化する。
ブラックボックスモデルのハードプロンプトを生成するトークンレベルのプロンプト圧縮手法を統合するためのフレームワークを提案する。
本稿では,現在の高速圧縮法の性能と最適戦略との間に大きなギャップがあることを述べる。
論文 参考訳（メタデータ） (2024-07-22T09:40:13Z) - Compression of Structured Data with Autoencoders: Provable Benefit of
Nonlinearities and Depth [83.15263499262824]
勾配勾配勾配は入力のスパース構造を完全に無視する解に収束することを示す。
浅層構造にデノナイジング関数を付加することにより,スパースデータの圧縮におけるガウス性能の改善方法を示す。
CIFAR-10 や MNIST などの画像データセットに対して,本研究の成果を検証した。
論文 参考訳（メタデータ） (2024-02-07T16:32:29Z) - Activations and Gradients Compression for Model-Parallel Training [85.99744701008802]
モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。
グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。
実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
論文 参考訳（メタデータ） (2024-01-15T15:54:54Z) - PaD: Program-aided Distillation Can Teach Small Models Reasoning Better than Chain-of-thought Fine-tuning [20.59775450213501]
本稿では, 蒸留データの誤りを抑えるための推論プログラムを導入したPaD(Program-Aided Distillation)を提案する。
算術的推論,記号的推論,一般能力に基づいてPaDを評価する。
論文 参考訳（メタデータ） (2023-05-23T10:11:56Z) - Few-Shot Non-Parametric Learning with Deep Latent Variable Model [50.746273235463754]
遅延変数を用いた圧縮による非パラメトリック学習(NPC-LV)を提案する。
NPC-LVは、ラベルなしデータが多いがラベル付きデータはほとんどないデータセットの学習フレームワークである。
我々は,NPC-LVが低データ構造における画像分類における3つのデータセットの教師あり手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-06-23T09:35:03Z) - A flexible, extensible software framework for model compression based on
the LC algorithm [10.787390511207683]
ニューラルネットワークや他の機械学習モデルを最小限の労力で圧縮できるソフトウェアフレームワークを提案する。
ライブラリはPythonとPyTorchで書かれており、Githubで入手できる。
論文 参考訳（メタデータ） (2020-05-15T21:14:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。