論文の概要: Less is More: DocString Compression in Code Generation

• arxiv url: http://arxiv.org/abs/2410.22793v2
• Date: Thu, 31 Oct 2024 07:20:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 09:54:48.891639
• Title: Less is More: DocString Compression in Code Generation
• Title（参考訳）: コード生成におけるDocString圧縮
• Authors: Guang Yang, Yu Zhou, Wei Cheng, Xiangyu Zhang, Xiang Chen, Terry Yue Zhuo, Ke Liu, Xin Zhou, David Lo, Taolue Chen,
• Abstract要約: LLM(Large Language Models)は、関数/メソッドシグネチャとDocStringを実行可能なコードに変換するために使用される。 プロンプト圧縮の最近の進歩は自然言語処理(NLP)において有望な結果を示しているが、コード生成への適用性はまだ不明である。 コード生成のためのDocString圧縮専用の新しい圧縮手法であるShortenDocを提案する。
• 参考スコア（独自算出の注目度）: 32.35654005267307
• License:
• Abstract: The widespread use of Large Language Models (LLMs) in software engineering has intensified the need for improved model and resource efficiency. In particular, for neural code generation, LLMs are used to translate function/method signature and DocString to executable code. DocStrings which capture user re quirements for the code and used as the prompt for LLMs, often contains redundant information. Recent advancements in prompt compression have shown promising results in Natural Language Processing (NLP), but their applicability to code generation remains uncertain. Our empirical study show that the state-of-the-art prompt compression methods achieve only about 10% reduction, as further reductions would cause significant performance degradation. In our study, we propose a novel compression method, ShortenDoc, dedicated to DocString compression for code generation. Our extensive experiments on six code generation datasets, five open-source LLMs (1B to 10B parameters), and one closed-source LLM GPT-4o confirm that ShortenDoc achieves 25-40% compression while preserving the quality of generated code, outperforming other baseline methods at similar compression levels. The benefit of this research is to improve efficiency and reduce the cost while maintaining the quality of the generated code, especially when calling third-party APIs, and is able to reduce the token processing cost by 25-40%.
• Abstract（参考訳）: ソフトウェア工学におけるLarge Language Models (LLM) の普及により、モデルとリソース効率の改善の必要性が高まっている。 特に、ニューラルコード生成では、LLMを使用して関数/メソッドシグネチャとDocStringを実行可能なコードに変換する。 コードに対するユーザの要求をキャプチャし、LLMのプロンプトとして使用されるDocStringは、しばしば冗長な情報を含んでいる。 プロンプト圧縮の最近の進歩は自然言語処理(NLP)において有望な結果を示しているが、コード生成への適用性はまだ不明である。 実験により, 現状の急速圧縮法は, さらなる減量により性能が著しく低下するので, 約10%の減量しか達成できないことがわかった。 本研究では,コード生成のためのDocString圧縮専用の新しい圧縮手法であるShortenDocを提案する。 6つのコード生成データセット、5つのオープンソースLCM(1Bから10Bパラメータ)、そして1つのクローズドソースLCM GPT-4oに関する広範な実験により、ShortenDocは、生成されたコードの品質を維持しながら25～40%の圧縮を実現し、同じ圧縮レベルで他のベースラインメソッドよりも優れています。 この研究の利点は、生成したコードの品質を維持しながら効率を改善し、コストを削減することであり、特にサードパーティのAPIを呼び出す場合、トークン処理コストを25～40%削減することができる。

関連論文リスト

• FineZip : Pushing the Limits of Large Language Models for Practical Lossless Text Compression [1.9699843876565526]
  FineZipは、オンライン記憶と動的コンテキストのアイデアを組み合わせて圧縮時間を劇的に短縮する新しいテキスト圧縮システムである。 FineZipは上記のコーパスを9.5日と比較すると約4時間で圧縮できる。
  論文  参考訳（メタデータ） (2024-09-25T17:58:35Z)
• $\mathbb{USCD}$: Improving Code Generation of LLMs by Uncertainty-Aware Selective Contrastive Decoding [64.00025564372095]
  大規模言語モデル(LLM)は、コード生成において顕著な能力を示している。 幻覚の影響(例えば出力ノイズ)は、LLMが1パスで高品質なコードを生成するのを難しくする。 単純かつ効果的なtextbfuncertainty-aware textbf select textbfcontrastive textbfdecodingを提案する。
  論文  参考訳（メタデータ） (2024-09-09T02:07:41Z)
• Concise and Precise Context Compression for Tool-Using Language Models [60.606281074373136]
  ツールを用いた言語モデルにおいて,ツール文書を簡潔かつ高精度な要約シーケンスに圧縮する2つの手法を提案する。 API-BankとAPIBenchの結果,最大16倍の圧縮率で上行ベースラインに匹敵する性能を示した。
  論文  参考訳（メタデータ） (2024-07-02T08:17:00Z)
• Decoding at the Speed of Thought: Harnessing Parallel Decoding of Lexical Units for LLMs [57.27982780697922]
  大規模言語モデルは、自然言語の理解と生成において例外的な能力を示した。 しかし、それらの生成速度は、その復号過程の本質的にシーケンシャルな性質によって制限される。 本稿では,データ駆動方式で実装された新しいデコーディング手法であるLexical Unit Decodingを紹介する。
  論文  参考訳（メタデータ） (2024-05-24T04:35:13Z)
• Training LLMs over Neurally Compressed Text [55.11828645767342]
  本稿では,高度に圧縮されたテキスト上での大規模言語モデル(LLM)の訓練について検討する。 テキストをブロックに分割し,それぞれが同じビット長に圧縮する新しい圧縮手法であるEqual-Info Windowsを提案する。 提案手法は, 大規模化により向上し, パープレキシティと推論速度のベンチマークにおいて, バイトレベルのベースラインをはるかに上回る, ニューラルネットワークによる効果的な学習を実演する。
  論文  参考訳（メタデータ） (2024-04-04T17:48:28Z)
• Long Context Compression with Activation Beacon [22.054232261437186]
  Activation Beaconは、トランスフォーマーベースのLLM用のプラグインモジュールである。 長いコンテキストの効率的な、効率的、柔軟な圧縮をターゲットとしている。 推論時間の2倍の高速化と、KVキャッシュのメモリコストの8倍の削減を実現している。
  論文  参考訳（メタデータ） (2024-01-07T11:57:40Z)
• LLMLingua: Compressing Prompts for Accelerated Inference of Large Language Models [22.06402870816756]
  大きな言語モデル(LLM)は、その驚くべき能力のために様々なアプリケーションに適用されている。 本稿では,意味的整合性を維持するための予算制御を伴う粗大なプロンプト圧縮手法であるLLMLinguaを提案する。 提案手法により,最先端性能が得られ,最大20倍圧縮が可能であり,性能損失が少ないことを示す。
  論文  参考訳（メタデータ） (2023-10-09T14:10:21Z)
• Compressing LLMs: The Truth is Rarely Pure and Never Simple [90.05366363633568]
  Knowledge-Intensive Compressed LLM BenchmarKは、圧縮された大言語モデルの評価プロトコルを再定義することを目的としている。 LLM-KICKは、現在のSoTA圧縮方式の多くの有利な利点と不運な点を明らかにしている。 LLM-KICKは、言語理解、推論、生成、テキスト内検索、テキスト内要約などのための圧縮LLMの能力に一様にアクセスできるように設計されている。
  論文  参考訳（メタデータ） (2023-10-02T17:42:37Z)
• Semantic Compression With Large Language Models [1.0874100424278175]
  大規模言語モデル(LLM)は、情報検索、質問応答、要約、コード生成タスクに革命をもたらしている。 LLMは本質的に、一度に処理できる入力トークンと出力トークンの数によって制限される。 本稿では,LLMの研究への3つの貢献について述べる。
  論文  参考訳（メタデータ） (2023-04-25T01:47:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。