論文の概要: Do Current Language Models Support Code Intelligence for R Programming Language?
- arxiv url: http://arxiv.org/abs/2410.07793v1
- Date: Thu, 10 Oct 2024 10:23:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-11 14:34:12.031920
- Title: Do Current Language Models Support Code Intelligence for R Programming Language?
- Title(参考訳): 現在の言語モデルはR言語のためのコードインテリジェンスをサポートするか?
- Authors: ZiXiao Zhao, Fatemeh H. Fard,
- Abstract要約: コード要約とメソッド名予測の2つのタスクに対して,複数の設定と戦略を用いてコード-PLMを評価する。
以上の結果から, 研究モデルでは, 性能劣化の程度が異なっていたことが示唆された。
Rの二重構文パラダイムは、特にコード要約タスクにおいて、モデルの性能に大きな影響を及ぼした。
- 参考スコア(独自算出の注目度): 2.225268436173329
- License:
- Abstract: Recent advancements in developing Pre-trained Language Models for Code (Code-PLMs) have urged many areas of Software Engineering (SE) and brought breakthrough results for many SE tasks. Though these models have achieved the state-of-the-art performance for SE tasks for many popular programming languages, such as Java and Python, the Scientific Software and its related languages like R programming language have rarely benefited or even been evaluated with the Code-PLMs. Research has shown that R has many differences with other programming languages and requires specific techniques. In this study, we provide the first insights for code intelligence for R. For this purpose, we collect and open source an R dataset, and evaluate Code-PLMs for the two tasks of code summarization and method name prediction using several settings and strategies, including the differences in two R styles, Tidy-verse and Base R. Our results demonstrate that the studied models have experienced varying degrees of performance degradation when processing R programming language code, which is supported by human evaluation. Additionally, not all models show performance improvement in R-specific tasks even after multi-language fine-tuning. The dual syntax paradigms in R significantly impact the models' performance, particularly in code summarization tasks. Furthermore, the project-specific context inherent in R codebases significantly impacts the performance when attempting cross-project training.
- Abstract(参考訳): コードのための事前訓練言語モデル(Code-PLMs)の開発における最近の進歩は、ソフトウェア工学(SE)の多くの領域を奨励し、多くのSEタスクにブレークスルー結果をもたらした。
これらのモデルは、JavaやPythonなど、多くの人気のあるプログラミング言語でSEタスクの最先端のパフォーマンスを達成したが、Scientific Softwareとその関連言語であるR言語は、ほとんど恩恵を受けておらず、Code-PLMsで評価もされていない。
研究によると、Rは他のプログラミング言語と多くの違いがあり、特定のテクニックを必要とする。
本研究では,R のコードインテリジェンスに関する最初の知見を提供する。本研究は R データセットをオープンソース化し,コード要約とメソッド名予測の2つのタスクに対するコード-PLMs の評価を行う。
さらに、すべてのモデルが多言語微調整後のR特化タスクのパフォーマンス向上を示すわけではない。
Rの二重構文パラダイムは、特にコード要約タスクにおいて、モデルの性能に大きな影響を及ぼした。
さらに、Rコードベースに固有のプロジェクト固有のコンテキストは、クロスプロジェクトトレーニングを試みる際のパフォーマンスに大きな影響を与えます。
関連論文リスト
- R-Eval: A Unified Toolkit for Evaluating Domain Knowledge of Retrieval Augmented Large Language Models [51.468732121824125]
大規模言語モデルは一般的なNLPタスクにおいて顕著な成功を収めてきたが、ドメイン固有の問題には不足する可能性がある。
既存の評価ツールは、ドメイン知識の深さを掘り下げることなく、いくつかのベースラインを提供し、様々なドメインで評価するのみである。
本稿では、R-Evalツールキット(R-Evalツールキット)を導入し、異なるRAGの評価を合理化することによるALLMの評価の課題に対処する。
論文 参考訳(メタデータ) (2024-06-17T15:59:49Z) - Studying Vulnerable Code Entities in R [2.225268436173329]
本研究では,R のコードエンティティに対する Code-PLM の脆弱性について検討する。
CodeAttackは、コードの構造を使って敵のコードサンプルを生成するブラックボックス攻撃モデルである。
その結果、最も脆弱なコードエンティティは識別子であり、次にRに特有の構文トークンが続くことがわかった。
論文 参考訳(メタデータ) (2024-02-06T21:39:55Z) - L2CEval: Evaluating Language-to-Code Generation Capabilities of Large
Language Models [102.00201523306986]
大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。
モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。
モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
論文 参考訳(メタデータ) (2023-09-29T17:57:00Z) - ZC3: Zero-Shot Cross-Language Code Clone Detection [79.53514630357876]
ゼロショットクロスランゲージコードクローン検出のためのZC3という新しい手法を提案する。
ZC3は、異なるプログラミング言語間で同型表現空間を形成するために、対照的なスニペット予測を設計する。
これに基づいて、ZC3はドメイン認識学習とサイクル一貫性学習を利用して、異なる言語間で整合した表現を生成する。
論文 参考訳(メタデータ) (2023-08-26T03:48:10Z) - RetICL: Sequential Retrieval of In-Context Examples with Reinforcement Learning [53.52699766206808]
In-Context Learning (RetICL) のための検索式を提案する。
RetICLは数学用語の問題解決と科学的質問応答のタスクに基づいて評価し,一貫した性能や一致,学習可能なベースラインを示す。
論文 参考訳(メタデータ) (2023-05-23T20:15:56Z) - LEVER: Learning to Verify Language-to-Code Generation with Execution [64.36459105535]
本稿では,プログラムの実行結果の検証を学習することで,言語からコードへの生成を改善するシンプルな手法であるLEVERを提案する。
具体的には、LLMからサンプリングされたプログラムが、自然言語入力、プログラム自体とその実行結果に基づいて正しいか否かを判定するために、検証者を訓練する。
LEVER はベースコード LLMs (4.6% から 10.9% まで) を継続的に改善し、それらすべてに対して新しい最先端の結果を得る。
論文 参考訳(メタデータ) (2023-02-16T18:23:22Z) - Cross-Domain Deep Code Search with Meta Learning [14.618183588410194]
ドメイン固有のコード検索のための新しいアプローチであるCroCSを提案する。
CroCSは、プログラム表現モデルを一般的なプログラミング言語の大規模なコーパス上で事前訓練するトランスファーラーニングフレームワークを採用している。
論文 参考訳(メタデータ) (2022-01-01T09:00:48Z) - Automated Source Code Generation and Auto-completion Using Deep
Learning: Comparing and Discussing Current Language-Model-Related Approaches [0.0]
本稿では、異なるディープラーニングアーキテクチャを比較して、プログラミングコードに基づく言語モデルを作成し、使用する。
それぞれのアプローチのさまざまな長所と短所と、言語モデルを評価したり、実際のプログラミングコンテキストでそれらを適用するためのギャップについて論じる。
論文 参考訳(メタデータ) (2020-09-16T15:17:04Z) - XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating
Cross-lingual Generalization [128.37244072182506]
言語間TRansfer Evaluation of Multilinguals XTREMEは、40言語および9タスクにわたる多言語表現の言語間一般化能力を評価するためのベンチマークである。
我々は、英語でテストされたモデルは、多くのタスクにおいて人間のパフォーマンスに達するが、言語間変換されたモデルの性能にはまだ大きなギャップがあることを示した。
論文 参考訳(メタデータ) (2020-03-24T19:09:37Z) - Leveraging Code Generation to Improve Code Retrieval and Summarization
via Dual Learning [18.354352985591305]
コード要約は、ソースコードスニペットが与えられた短い自然言語記述を生成し、コード検索は、自然言語クエリが与えられた関連するソースコードを取得する。
最近の研究は、これらの2つのタスクを組み合わせてパフォーマンスを改善している。
本稿では,新たなコード生成タスクを導入することによって,2つのタスクのエンド・ツー・エンド・モデルを提案する。
論文 参考訳(メタデータ) (2020-02-24T12:26:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。