論文の概要: Exploring the Effect of Multiple Natural Languages on Code Suggestion
Using GitHub Copilot
- arxiv url: http://arxiv.org/abs/2402.01438v1
- Date: Fri, 2 Feb 2024 14:30:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-05 15:03:41.609211
- Title: Exploring the Effect of Multiple Natural Languages on Code Suggestion
Using GitHub Copilot
- Title（参考訳）: GitHub Copilotを使用したコード提案に対する複数の自然言語の効果を探る
- Authors: Kei Koyanagi, Dong Wang, Kotaro Noguchi, Masanari Kondo, Alexander
Serebrenik, Yasutaka Kamei, Naoyasu Ubayashi
- Abstract要約: GitHub Copilotは、プログラム合成を自動化するAI対応ツールである。
最近の研究では、様々なプログラミングタスクにおけるCopilotの能力について広く研究されている。
しかし、異なる自然言語がコード提案に与える影響についてはほとんど分かっていない。
- 参考スコア（独自算出の注目度）: 46.822148186169144
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: GitHub Copilot is an AI-enabled tool that automates program synthesis. It has
gained significant attention since its launch in 2021. Recent studies have
extensively examined Copilot's capabilities in various programming tasks, as
well as its security issues. However, little is known about the effect of
different natural languages on code suggestion. Natural language is considered
a social bias in the field of NLP, and this bias could impact the diversity of
software engineering. To address this gap, we conducted an empirical study to
investigate the effect of three popular natural languages (English, Japanese,
and Chinese) on Copilot. We used 756 questions of varying difficulty levels
from AtCoder contests for evaluation purposes. The results highlight that the
capability varies across natural languages, with Chinese achieving the worst
performance. Furthermore, regardless of the type of natural language, the
performance decreases significantly as the difficulty of questions increases.
Our work represents the initial step in comprehending the significance of
natural languages in Copilot's capability and introduces promising
opportunities for future endeavors.
- Abstract（参考訳）: GitHub Copilotは、プログラム合成を自動化するAI対応ツールである。
2021年の打ち上げ以来、大きな注目を集めている。
最近の研究では、様々なプログラミングタスクにおけるCopilotの能力とセキュリティの問題について広く研究されている。
しかし、異なる自然言語がコード提案に与える影響についてはほとんど分かっていない。
自然言語はNLPの分野における社会的バイアスと考えられており、このバイアスはソフトウェア工学の多様性に影響を与える可能性がある。
そこで本研究では,3つの自然言語(英語,日本語,中国語)がコピロットに与える影響について実証研究を行った。
評価目的には,atcoderコンテストの難易度レベルの異なる756問を用いた。
その結果、その能力は自然言語によって異なり、中国は最悪のパフォーマンスを達成した。
さらに, 自然言語の種類にかかわらず, 質問の難易度が増大するにつれて, 性能が著しく低下する。
我々の研究は、コピロの能力における自然言語の重要性を理解するための最初のステップであり、将来の努力に有望な機会をもたらす。
関連論文リスト
- Impact of the Availability of ChatGPT on Software Development: A Synthetic Difference in Differences Estimation using GitHub Data [49.1574468325115]
ChatGPTは、ソフトウェア生産効率を向上させるAIツールである。
10万人あたりのgitプッシュ数、リポジトリ数、ユニークな開発者数に対するChatGPTの影響を見積もっています。
これらの結果は、ChatGPTのようなAIツールが開発者の生産性を大幅に向上させる可能性があることを示唆している。
論文 参考訳（メタデータ） (2024-06-16T19:11:15Z) - Linguacodus: A Synergistic Framework for Transformative Code Generation in Machine Learning Pipelines [0.0]
本稿では,自然言語のタスク記述を高レベルなデータ生成命令によってコードに変換する動的パイプラインを提案する。
本稿では、微調整過程を詳述し、自然言語記述を関数型コードに変換する方法について光を当てる。
本稿では,MLタスクの自然な記述を人間のインタラクションを最小限に抑えたコードに変換するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-03-18T08:58:47Z) - Exploring the Problems, their Causes and Solutions of AI Pair Programming: A Study on GitHub and Stack Overflow [6.724815667295355]
AIプログラマペアであるGitHub Copilotは、コードスニペットの大規模なコーパスでトレーニングされた機械学習モデルを使用して、コード提案を生成する。
ソフトウェア開発で人気があるにもかかわらず、Copilotと仕事をする実践者の実際の経験に関する実証的な証拠は限られている。
473のGitHubイシュー、706のGitHubディスカッション、142のStack Overflowポストからデータを収集しました。
論文 参考訳（メタデータ） (2023-11-02T06:24:38Z) - Learning Transfers over Several Programming Languages [5.350495525141013]
言語間転送は、ソース言語からのデータを使用して、ターゲット言語でのモデルパフォーマンスを改善する。
本稿では,変圧器を用いた大規模言語モデルと11から41のプログラミング言語を用いた4つのタスクに関する広範な実験を報告する。
学習は、複数のプログラミング言語間でうまく伝達される。
論文 参考訳（メタデータ） (2023-10-25T19:04:33Z) - Conversing with Copilot: Exploring Prompt Engineering for Solving CS1
Problems Using Natural Language [3.155277175705079]
GitHub Copilotは、自然言語の問題記述からソースコードを自動的に生成する人工知能モデルである。
2022年6月以降、CopilotはVisual Studio Codeのような開発環境へのプラグインとして、学生全員に無料で提供されるようになった。
論文 参考訳（メタデータ） (2022-10-27T03:48:24Z) - Piloting Copilot and Codex: Hot Temperature, Cold Prompts, or Black
Magic? [5.714553194279462]
2つの言語モデルの様々な入力パラメータについて検討し、これらの入力パラメータの変動が生成したプログラムの品質に重大な影響を及ぼすかどうかを理解するために研究を行う。
その結果,入力パラメータの変動は言語モデルの性能を著しく向上させることができることがわかった。
論文 参考訳（メタデータ） (2022-10-26T13:28:14Z) - BigIssue: A Realistic Bug Localization Benchmark [89.8240118116093]
BigIssueは、現実的なバグローカライゼーションのためのベンチマークである。
実際のJavaバグと合成Javaバグの多様性を備えた一般的なベンチマークを提供する。
われわれは,バグローカライゼーションの最先端技術として,APRの性能向上と,現代の開発サイクルへの適用性の向上を期待している。
論文 参考訳（メタデータ） (2022-07-21T20:17:53Z) - MCoNaLa: A Benchmark for Code Generation from Multiple Natural Languages [76.93265104421559]
英語以外の自然言語コマンドからコード生成をベンチマークします。
スペイン語,日本語,ロシア語の3言語で896個のNLコードペアを注釈した。
難易度はこれらの3つの言語によって異なるが、全てのシステムは英語にかなり遅れている。
論文 参考訳（メタデータ） (2022-03-16T04:21:50Z) - Learning Language-Conditioned Robot Behavior from Offline Data and
Crowd-Sourced Annotation [80.29069988090912]
本研究では,ロボットインタラクションの大規模なオフラインデータセットから視覚に基づく操作タスクを学習する問題について検討する。
クラウドソースの自然言語ラベルを用いたオフラインロボットデータセットの活用を提案する。
提案手法は目標画像仕様と言語条件付き模倣技術の両方を25%以上上回っていることがわかった。
論文 参考訳（メタデータ） (2021-09-02T17:42:13Z) - AVATAR: A Parallel Corpus for Java-Python Program Translation [77.86173793901139]
プログラム翻訳とは、ある言語から別の言語へソースコードを移行することを指す。
AVATARは9,515のプログラミング問題とそのソリューションをJavaとPythonという2つの人気のある言語で記述したものです。
論文 参考訳（メタデータ） (2021-08-26T05:44:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。