論文の概要: Is Compression Really Linear with Code Intelligence?

• arxiv url: http://arxiv.org/abs/2505.11441v1
• Date: Fri, 16 May 2025 16:59:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-19 14:36:15.675838
• Title: Is Compression Really Linear with Code Intelligence?
• Title（参考訳）: 圧縮は本当にコードインテリジェンスに線形か?
• Authors: Xianzhen Luo, Shijie Xuyang, Tianhao Cheng, Zheng Chu, Houyi Li, ziqi wang, Siming Huang, Qingfu Zhu, Qiufeng Wang, Xiangyu Zhang, Shuigeng Zhou, Wanxiang Che,
• Abstract要約: textitFormat Annealingは、事前訓練されたモデルの本質的な能力を同等に評価するために設計された、軽量で透明なトレーニング手法である。 我々の経験的結果は、測定されたコードインテリジェンスとビット・パー・キャラクタ(BPC)の基本的な対数関係を明らかにする。 私たちの研究は、コードインテリジェンスの開発における圧縮の役割をより微妙に理解し、コードドメインにおける堅牢な評価フレームワークに貢献します。
• 参考スコア（独自算出の注目度）: 60.123628177110206
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding the relationship between data compression and the capabilities of Large Language Models (LLMs) is crucial, especially in specialized domains like code intelligence. Prior work posited a linear relationship between compression and general intelligence. However, it overlooked the multifaceted nature of code that encompasses diverse programming languages and tasks, and struggled with fair evaluation of modern Code LLMs. We address this by evaluating a diverse array of open-source Code LLMs on comprehensive multi-language, multi-task code benchmarks. To address the challenge of efficient and fair evaluation of pre-trained LLMs' code intelligence, we introduce \textit{Format Annealing}, a lightweight, transparent training methodology designed to assess the intrinsic capabilities of these pre-trained models equitably. Compression efficacy, measured as bits-per-character (BPC), is determined using a novel, large-scale, and previously unseen code validation set derived from GitHub. Our empirical results reveal a fundamental logarithmic relationship between measured code intelligence and BPC. This finding refines prior hypotheses of linearity, which we suggest are likely observations of the logarithmic curve's tail under specific, limited conditions. Our work provides a more nuanced understanding of compression's role in developing code intelligence and contributes a robust evaluation framework in the code domain.
• Abstract（参考訳）: データ圧縮とLLM(Large Language Models)の機能の関係を理解することは、特にコードインテリジェンスのような専門分野において重要である。 以前の研究は圧縮と一般知能の線形関係を示唆していた。 しかし、多様なプログラミング言語やタスクを含む多面的なコードの性質を見落とし、現代のコードLLMの公平な評価に苦しんだ。 我々は、包括的なマルチ言語、マルチタスクのコードベンチマーク上で、様々なオープンソースのコードLLMを評価し、この問題に対処する。 事前学習されたLLMのコードインテリジェンスを効率的かつ公平に評価することの課題に対処するために,これらの事前学習されたモデルの本質的な能力を公平に評価するために設計された,軽量で透明なトレーニング手法である‘textit{Format Annealing} を導入する。 圧縮効率は、bbits-per-character (BPC)として測定され、GitHubから派生した新規で大規模で以前は目に見えないコード検証セットを使用して決定される。 実験の結果,測定されたコードインテリジェンスとBPCの対数関係が明らかとなった。 この発見は、線形性の以前の仮説を洗練させ、これは特定の限られた条件下で対数曲線の尾の観測である可能性が示唆されている。 私たちの研究は、コードインテリジェンスの開発における圧縮の役割をより微妙に理解し、コードドメインにおける堅牢な評価フレームワークに貢献します。

関連論文リスト

• On Explaining (Large) Language Models For Code Using Global Code-Based Explanations [45.126233498200534]
  Language Models for Code (LLM4Code)は、ソフトウェア工学(SE)のランドスケープを大きく変えた。 我々は、厳密な数学的基盤を持つ手法であるコード論理(Code$Q$)を導入し、個々のコード予測を説明できるトークンのサブセットを特定する。 評価の結果、Code$Q$は意味のある入力概念(すなわち自然言語粒子)が出力生成にどのように影響するかを説明するための強力な解釈可能性法であることがわかった。
  論文  参考訳（メタデータ） (2025-03-21T01:00:45Z)
• SURGE: On the Potential of Large Language Models as General-Purpose Surrogate Code Executors [5.247363735860479]
  大規模言語モデル(LLM)は、コードに関連するタスクにおいて顕著な機能を示した。 LLMが多様なプログラムを理解し処理する能力を考えると、汎用的なサロゲートモデルを構築する上で有望な方向性を示す。 SURGEは、1160ドル(約1万1000円)の価格問題で、8ドル(約8万3000円)の鍵となる側面をカバーしたベンチマークです。 オープンソースおよびプロプライエタリ LLM の実証分析を通じて,スケーリング法則,データ効率,予測精度を検討した。
  論文  参考訳（メタデータ） (2025-02-16T15:38:19Z)
• Bridging LLM-Generated Code and Requirements: Reverse Generation technique and SBC Metric for Developer Insights [0.0]
  本稿では,SBCスコアと呼ばれる新しいスコアリング機構を提案する。 これは、大規模言語モデルの自然言語生成能力を活用するリバースジェネレーション技術に基づいている。 直接コード解析とは異なり、我々のアプローチはAI生成コードからシステム要求を再構築し、元の仕様と比較する。
  論文  参考訳（メタデータ） (2025-02-11T01:12:11Z)
• OpenCoder: The Open Cookbook for Top-Tier Code Large Language Models [76.59316249991657]
  コードのための大規模言語モデル(LLM)は、コード生成、推論タスク、エージェントシステムなど、さまざまな領域で必須になっている。 オープンアクセスのコード LLM はプロプライエタリなモデルの性能レベルに近づきつつあるが、高品質なコード LLM は依然として限られている。 トップクラスのコードLLMであるOpenCoderは、主要なモデルに匹敵するパフォーマンスを達成するだけでなく、研究コミュニティの"オープンクックブック"としても機能します。
  論文  参考訳（メタデータ） (2024-11-07T17:47:25Z)
• Enhancing Semantic Code Search with Multimodal Contrastive Learning and Soft Data Augmentation [50.14232079160476]
  コード検索のためのマルチモーダルコントラスト学習とソフトデータ拡張を用いた新しい手法を提案する。 我々は,6つのプログラミング言語を用いた大規模データセットにおけるアプローチの有効性を評価するために,広範囲な実験を行った。
  論文  参考訳（メタデータ） (2022-04-07T08:49:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。