論文の概要: Exploring the Effect of Multiple Natural Languages on Code Suggestion
Using GitHub Copilot
- arxiv url: http://arxiv.org/abs/2402.01438v1
- Date: Fri, 2 Feb 2024 14:30:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-05 15:03:41.609211
- Title: Exploring the Effect of Multiple Natural Languages on Code Suggestion
Using GitHub Copilot
- Title(参考訳): GitHub Copilotを使用したコード提案に対する複数の自然言語の効果を探る
- Authors: Kei Koyanagi, Dong Wang, Kotaro Noguchi, Masanari Kondo, Alexander
Serebrenik, Yasutaka Kamei, Naoyasu Ubayashi
- Abstract要約: GitHub Copilotは、プログラム合成を自動化するAI対応ツールである。
最近の研究では、様々なプログラミングタスクにおけるCopilotの能力について広く研究されている。
しかし、異なる自然言語がコード提案に与える影響についてはほとんど分かっていない。
- 参考スコア(独自算出の注目度): 46.822148186169144
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: GitHub Copilot is an AI-enabled tool that automates program synthesis. It has
gained significant attention since its launch in 2021. Recent studies have
extensively examined Copilot's capabilities in various programming tasks, as
well as its security issues. However, little is known about the effect of
different natural languages on code suggestion. Natural language is considered
a social bias in the field of NLP, and this bias could impact the diversity of
software engineering. To address this gap, we conducted an empirical study to
investigate the effect of three popular natural languages (English, Japanese,
and Chinese) on Copilot. We used 756 questions of varying difficulty levels
from AtCoder contests for evaluation purposes. The results highlight that the
capability varies across natural languages, with Chinese achieving the worst
performance. Furthermore, regardless of the type of natural language, the
performance decreases significantly as the difficulty of questions increases.
Our work represents the initial step in comprehending the significance of
natural languages in Copilot's capability and introduces promising
opportunities for future endeavors.
- Abstract(参考訳): GitHub Copilotは、プログラム合成を自動化するAI対応ツールである。
2021年の打ち上げ以来、大きな注目を集めている。
最近の研究では、様々なプログラミングタスクにおけるCopilotの能力とセキュリティの問題について広く研究されている。
しかし、異なる自然言語がコード提案に与える影響についてはほとんど分かっていない。
自然言語はNLPの分野における社会的バイアスと考えられており、このバイアスはソフトウェア工学の多様性に影響を与える可能性がある。
そこで本研究では,3つの自然言語(英語,日本語,中国語)がコピロットに与える影響について実証研究を行った。
評価目的には,atcoderコンテストの難易度レベルの異なる756問を用いた。
その結果、その能力は自然言語によって異なり、中国は最悪のパフォーマンスを達成した。
さらに, 自然言語の種類にかかわらず, 質問の難易度が増大するにつれて, 性能が著しく低下する。
我々の研究は、コピロの能力における自然言語の重要性を理解するための最初のステップであり、将来の努力に有望な機会をもたらす。
関連論文リスト
- On the Concerns of Developers When Using GitHub Copilot [7.0620363951401925]
GitHub CopilotはAIベースのコード生成ツールで、自然言語処理を使用して提案と自動補完コードを生成する。
その人気にもかかわらず、Copilotで作業するソフトウェア開発者の実際の経験に関する実証的な証拠はほとんどない。
476のGitHubイシュー、706のGitHubディベート、および184のStack Overflowポストからデータを収集し、問題、問題の原因、Copilotを使用する際の問題を解決するソリューションを特定しました。
論文 参考訳(メタデータ) (2023-11-02T06:24:38Z) - Conversing with Copilot: Exploring Prompt Engineering for Solving CS1
Problems Using Natural Language [3.155277175705079]
GitHub Copilotは、自然言語の問題記述からソースコードを自動的に生成する人工知能モデルである。
2022年6月以降、CopilotはVisual Studio Codeのような開発環境へのプラグインとして、学生全員に無料で提供されるようになった。
論文 参考訳(メタデータ) (2022-10-27T03:48:24Z) - Piloting Copilot and Codex: Hot Temperature, Cold Prompts, or Black
Magic? [5.714553194279462]
2つの言語モデルの様々な入力パラメータについて検討し、これらの入力パラメータの変動が生成したプログラムの品質に重大な影響を及ぼすかどうかを理解するために研究を行う。
その結果,入力パラメータの変動は言語モデルの性能を著しく向上させることができることがわかった。
論文 参考訳(メタデータ) (2022-10-26T13:28:14Z) - What is it like to program with artificial intelligence? [10.343988028594612]
大規模言語モデルは、自然言語で表される様々な問題を解決するためにコードを生成することができる。
この技術はすでに、少なくとも1つの広く使用されているプログラミングエディタ拡張、GitHub Copilotで商用化されている。
我々は,大規模言語モデル(LLM支援プログラミング)を用いたプログラミングが,プログラマ支援の事前概念化とどのように似ており,異なるのかを考察する。
論文 参考訳(メタデータ) (2022-08-12T10:48:46Z) - BigIssue: A Realistic Bug Localization Benchmark [89.8240118116093]
BigIssueは、現実的なバグローカライゼーションのためのベンチマークである。
実際のJavaバグと合成Javaバグの多様性を備えた一般的なベンチマークを提供する。
われわれは,バグローカライゼーションの最先端技術として,APRの性能向上と,現代の開発サイクルへの適用性の向上を期待している。
論文 参考訳(メタデータ) (2022-07-21T20:17:53Z) - MCoNaLa: A Benchmark for Code Generation from Multiple Natural Languages [76.93265104421559]
英語以外の自然言語コマンドからコード生成をベンチマークします。
スペイン語,日本語,ロシア語の3言語で896個のNLコードペアを注釈した。
難易度はこれらの3つの言語によって異なるが、全てのシステムは英語にかなり遅れている。
論文 参考訳(メタデータ) (2022-03-16T04:21:50Z) - Learning Language-Conditioned Robot Behavior from Offline Data and
Crowd-Sourced Annotation [80.29069988090912]
本研究では,ロボットインタラクションの大規模なオフラインデータセットから視覚に基づく操作タスクを学習する問題について検討する。
クラウドソースの自然言語ラベルを用いたオフラインロボットデータセットの活用を提案する。
提案手法は目標画像仕様と言語条件付き模倣技術の両方を25%以上上回っていることがわかった。
論文 参考訳(メタデータ) (2021-09-02T17:42:13Z) - AVATAR: A Parallel Corpus for Java-Python Program Translation [77.86173793901139]
プログラム翻訳とは、ある言語から別の言語へソースコードを移行することを指す。
AVATARは9,515のプログラミング問題とそのソリューションをJavaとPythonという2つの人気のある言語で記述したものです。
論文 参考訳(メタデータ) (2021-08-26T05:44:20Z) - An Empirical Cybersecurity Evaluation of GitHub Copilot's Code
Contributions [8.285068188878578]
GitHub Copilotは、オープンソースのGitHubコードに基づいてトレーニングされた言語モデルである。
コードにはしばしばバグが含まれているため、言語モデルが悪用可能なバグの多いコードから学べることは確かです。
これにより、Copilotのコードコントリビューションのセキュリティに対する懸念が高まる。
論文 参考訳(メタデータ) (2021-08-20T17:30:33Z) - X-FACTR: Multilingual Factual Knowledge Retrieval from Pretrained
Language Models [103.75890012041366]
言語モデル(LM)は、事実の知識を捉えるのに驚くほど成功した。
しかし、LMの実際の表現能力の研究は、ほぼ間違いなく英語で行われている。
我々は23の語型的多様言語に対するクローゼスタイルプローブのベンチマークを作成する。
論文 参考訳(メタデータ) (2020-10-13T05:29:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。