論文の概要: On the Generalizability of Transformer Models to Code Completions of Different Lengths

• arxiv url: http://arxiv.org/abs/2501.05051v1
• Date: Thu, 09 Jan 2025 08:20:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-10 14:00:09.789728
• Title: On the Generalizability of Transformer Models to Code Completions of Different Lengths
• Title（参考訳）: 異なる長さのコード補完に対するトランスフォーマーモデルの一般化可能性について
• Authors: Nathan Cooper, Rosalia Tufano, Gabriele Bavota, Denys Poshyvanyk,
• Abstract要約: 大規模言語モデルが訓練中に見えない長さの入力に一般化できるかどうかは不明である。 自然言語処理(NLP)の最近の研究は、デコーダのみのLLM、すなわちxPOSとALiBiの文脈でこの問題に対処している。 本稿では、これらの特性と、本論文で提案されている他の符号化方式について、大規模な実証研究を行う。
• 参考スコア（独自算出の注目度）: 20.822889604867505
• License:
• Abstract: The programming landscape is nowadays being reshaped by the advent of Large Language Models (LLMs) able to automate code-related tasks related to code implementation (e.g., code completion) and comprehension (e.g., code summarization). Such a paradigm shift comes with a number of implications related to how software will be written, maintained, and evolved. Also, these LLMs are extremely expensive to train, posing questions on their sustainability over time. Given their training cost, their ability to generalize, namely their ability to work on task instances different from those on which they have been trained, is an aspect worth being investigated. Previous work already showed that transformer models can successfully support code completion in a cross-project setting. However, it is unclear whether LLM are able to generalize to inputs having lengths not seen during training. For example, it is known that training a model on short instances allows to substantially reduce the training cost. However, the extent to which such a model would provide good performance on sequences having lengths not seen during training is not known. Many recent works in Natural Language Processing (NLP) tackled this problem in the context of decoder-only LLMs, i.e., xPOS and ALiBi. To assess if these solutions extend to encoder-decoder LLMs usually adopted in the code-related tasks, we present a large empirical study evaluating this generalization property of these and other encoding schemes proposed in the literature, namely Sinusoidal, xPOS, ALiBi, and T5. We found that none of these solutions successfully generalize to unseen lengths and that the only safe solution is to ensure the representativeness in the training set of all lengths likely to be encountered at inference time.
• Abstract（参考訳）: プログラミングの世界は、コード実装(例えば、コード補完)と理解(例えば、コード要約)に関連するコード関連のタスクを自動化するLarge Language Models (LLMs)の出現によって、現在再形成されている。 このようなパラダイムシフトは、ソフトウェアをどのように書き、保守し、進化させるかについて、多くの意味を持ちます。 また、これらのLLMはトレーニングに非常に高価であり、持続可能性に関する疑問を呈している。 トレーニングコストを考えると、その一般化能力、すなわち、トレーニングされたものと異なるタスクインスタンスで作業する能力は、調査に値する側面である。 以前の研究は、トランスフォーマーモデルがクロスプロジェクト環境でコード補完をうまくサポートできることをすでに示していた。 しかし、LLMがトレーニング中に見えない長さの入力に一般化できるかどうかは不明である。 例えば、短いインスタンスでモデルをトレーニングすることで、トレーニングコストを大幅に削減できることが知られている。 しかし、そのようなモデルがトレーニング中に見えない長さのシーケンスに対して良いパフォーマンスを提供する程度は分かっていない。 自然言語処理(NLP)における最近の多くの研究は、デコーダのみのLLM、すなわちxPOSとALiBiの文脈でこの問題に対処した。 これらの解が典型的にはコード関連タスクに適用されるエンコーダ・デコーダ LLM に拡張されるかどうかを評価するため,Sinusoidal, xPOS, ALiBi, T5 などの文献で提案されている符号化方式の一般化性を評価する実験的検討を行った。 いずれのソリューションも、目に見えない長さに一般化することはなく、唯一安全な解決策は、推論時に遭遇するであろう全ての長さのトレーニングセットにおける代表性を保証することである。

関連論文リスト

• An Empirical Study on Self-correcting Large Language Models for Data Science Code Generation [1.335664823620186]
  大規模言語モデル(LLM)は最近、ソフトウェア工学のタスクに多くの応用を進歩させた。 CoT-SelfEvolveは、自己修正プロセスを通じて、反復的かつ自動的にコードを洗練する。
  論文  参考訳（メタデータ） (2024-08-28T09:19:09Z)
• Case2Code: Scalable Synthetic Data for Code Generation [105.89741089673575]
  大規模言語モデル(LLM)は、コード生成において顕著なブレークスルーを示している。 最近の研究は、いくつかの強力なLLMによって生成された合成データをトレーニングすることで、コードLLMを改善している。 プログラムの表現性と正確性を利用したtextbfCase2Code タスクを提案する。
  論文  参考訳（メタデータ） (2024-07-17T11:35:00Z)
• Decoding at the Speed of Thought: Harnessing Parallel Decoding of Lexical Units for LLMs [57.27982780697922]
  大規模言語モデルは、自然言語の理解と生成において例外的な能力を示した。 しかし、それらの生成速度は、その復号過程の本質的にシーケンシャルな性質によって制限される。 本稿では,データ駆動方式で実装された新しいデコーディング手法であるLexical Unit Decodingを紹介する。
  論文  参考訳（メタデータ） (2024-05-24T04:35:13Z)
• Does Your Neural Code Completion Model Use My Code? A Membership Inference Approach [66.51005288743153]
  本稿では,現在のニューラルコード補完モデルの法的および倫理的問題について考察する。 私たちは、もともと分類タスクのために作られたメンバシップ推論アプローチ(CodeMIと呼ばれる)を調整します。 我々は,この適応型アプローチの有効性を,多種多様なニューラルコード補完モデルで評価した。
  論文  参考訳（メタデータ） (2024-04-22T15:54:53Z)
• InfiBench: Evaluating the Question-Answering Capabilities of Code Large Language Models [56.723509505549536]
  InfiBenchは、私たちの知識に合ったコードのための、最初の大規模フリーフォーム質問回答(QA)ベンチマークです。 慎重に選択された234の高品質なStack Overflow質問で構成されており、15のプログラミング言語にまたがっている。 InfiBench上で100以上の最新のコードLLMに対して,系統的評価を行い,新しい知見と洞察に富んだ結果を得た。
  論文  参考訳（メタデータ） (2024-03-11T02:06:30Z)
• LM-Infinite: Zero-Shot Extreme Length Generalization for Large Language Models [83.98062659664785]
  大規模言語モデル(LLM)は通常、トランスフォーマーアーキテクチャの2次複雑さのために短いテキストセグメント(例:4Kトークン)でトレーニングする。 この研究は、この長大一般化失敗に寄与する3つの主要な要因を特定する。 本研究では,LLMの長期処理能力を高めるための簡易かつ効果的な手法であるLM-Infiniteを提案する。
  論文  参考訳（メタデータ） (2023-08-30T16:47:51Z)
• TransCoder: Towards Unified Transferable Code Representation Learning Inspired by Human Skills [31.75121546422898]
  本稿では,コード表現学習のためのTransCoderについて述べる。 我々は、メタラーナーとして調整可能なプレフィックスエンコーダを用いて、クロスタスクおよびクロス言語変換可能な知識をキャプチャする。 本手法は, 各種コード関連タスクの性能向上と相互強化の促進に寄与する。
  論文  参考訳（メタデータ） (2023-05-23T06:59:22Z)
• CodeT5+: Open Code Large Language Models for Code Understanding and Generation [72.1638273937025]
  大きな言語モデル (LLM) は膨大なソースコードで事前訓練されており、コードインテリジェンスにおいて顕著な進歩を遂げている。 CodeT5+は、コンポーネントモジュールを柔軟に組み合わせて、幅広い下流のコードタスクに適合させることができるコードのためのエンコーダ-デコーダLLMのファミリーである。 我々は、ゼロショット、微調整、命令調整を含む20以上のコード関連ベンチマークでCodeT5+を広範囲に評価した。
  論文  参考訳（メタデータ） (2023-05-13T14:23:07Z)
• CodeT5: Identifier-aware Unified Pre-trained Encoder-Decoder Models for Code Understanding and Generation [36.47905744758698]
  我々は、開発者が指定した識別子から伝達されるコードセマンティクスをよりよく活用する、事前訓練されたエンコーダ-デコーダ変換モデルであるCodeT5を提案する。 我々のモデルは、コード理解と生成タスクの両方をシームレスにサポートし、マルチタスク学習を可能にする統一的なフレームワークを採用している。
  論文  参考訳（メタデータ） (2021-09-02T12:21:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。