Fugu-MT 論文翻訳(概要): PyMT5: multi-mode translation of natural language and Python code with transformers

論文の概要: PyMT5: multi-mode translation of natural language and Python code with transformers

arxiv url: http://arxiv.org/abs/2010.03150v1
Date: Wed, 7 Oct 2020 04:10:58 GMT
ステータス: 処理完了
システム内更新日: 2022-10-10 00:03:57.893949
Title: PyMT5: multi-mode translation of natural language and Python code with transformers
Title（参考訳）: PyMT5: トランスフォーマーを用いた自然言語とPythonコードの多モード翻訳
Authors: Colin B. Clement, Dawn Drain, Jonathan Timcheck, Alexey Svyatkovskiy, Neel Sundaresan
Abstract要約: PyMT5はPythonメソッドのテキストからテキストへのトランスフォーマーである。自然言語のドキュメンテーション文字列(docstring)からメソッド全体を予測し、コードを一般的なスタイルのドキュメンテーションにまとめることができる。
参考スコア（独自算出の注目度）: 7.973871379728246
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Simultaneously modeling source code and natural language has many exciting applications in automated software development and understanding. Pursuant to achieving such technology, we introduce PyMT5, the Python method text-to-text transfer transformer, which is trained to translate between all pairs of Python method feature combinations: a single model that can both predict whole methods from natural language documentation strings (docstrings) and summarize code into docstrings of any common style. We present an analysis and modeling effort of a large-scale parallel corpus of 26 million Python methods and 7.7 million method-docstring pairs, demonstrating that for docstring and method generation, PyMT5 outperforms similarly-sized auto-regressive language models (GPT2) which were English pre-trained or randomly initialized. On the CodeSearchNet test set, our best model predicts 92.1% syntactically correct method bodies, achieved a BLEU score of 8.59 for method generation and 16.3 for docstring generation (summarization), and achieved a ROUGE-L F-score of 24.8 for method generation and 36.7 for docstring generation.
Abstract（参考訳）: ソースコードと自然言語を同時にモデリングすると、自動ソフトウェア開発と理解に多くのエキサイティングな応用があります。このような技術を実現するため,Python メソッドのテキスト-テキスト間の変換変換である PyMT5 を導入し,すべての Python メソッドの機能の組み合わせ間の変換を訓練した。我々は,2600万のPythonメソッドと770万のメソッドドクストリングペアからなる大規模並列コーパスの解析とモデリングを行い,ドクストリングとメソッド生成において,PyMT5は英語の事前学習あるいはランダムに初期化された同様のサイズの自動回帰言語モデル(GPT2)より優れていることを示す。 CodeSearchNetテストセットでは,構文的に正しいメソッド体92.1%,メソッド生成8.59,ドクストリング生成16.3,メソッド生成24.8,ドクストリング生成36.7のROUGE-L Fスコアが得られた。

関連論文リスト

Python is Not Always the Best Choice: Embracing Multilingual Program of Thoughts [51.49688654641581]
本稿では,多言語からの強みと多様性を生かしたMultiPoTというタスクとモデル非依存のアプローチを提案する。実験の結果、Python Self-Consistencyを著しく上回ることがわかった。特にMultiPoTはChatGPT(gpt-3.5-turbo-0701)で平均4.6%以上の改善を実現している。
論文参考訳（メタデータ） (2024-02-16T13:48:06Z)
Test-Time Training on Nearest Neighbors for Large Language Models [25.365366617508663]
Pileデータセットのテキスト埋め込みに基づく大規模分散インデックスを構築する。テスト入力毎に,本システムは隣人を検索し,テキスト上でモデルを微調整する。驚くべきことに、20以上の言語モデリングタスクにおいて、20人程度の隣人の検索とトレーニングが大幅にパフォーマンスを向上します。
論文参考訳（メタデータ） (2023-05-29T08:03:28Z)
Multi-lingual Evaluation of Code Generation Models [82.7357812992118]
本稿では,MBXPとMultilingual HumanEval,MathQA-Xという,評価コード生成モデルに関する新しいベンチマークを提案する。これらのデータセットは10以上のプログラミング言語をカバーする。コード生成モデルの性能を多言語で評価することができる。
論文参考訳（メタデータ） (2022-10-26T17:17:06Z)
GAP-Gen: Guided Automatic Python Code Generation [3.574838772430975]
本稿では,Pythonの構文的制約と意味的制約に基づくガイド付き自動Pythonコード生成手法を提案する。 GAP-Genは、Code-to-Docstringデータセットを使用して、トランスフォーマーベースの言語モデルT5とCodeT5を微調整する。実験の結果,GAP-GenはPythonの自動コード生成タスクにおいて,従来の作業よりも優れた結果が得られることがわかった。
論文参考訳（メタデータ） (2022-01-19T06:32:47Z)
Program Synthesis with Large Language Models [40.41120807053989]
我々はPythonにおけるプログラム合成のための大規模言語モデルを評価する。合成性能はモデルサイズと対数的にスケールすることがわかった。最高のモデルでさえ、特定の入力を与えられたプログラムの出力を予測できないことが分かりました。
論文参考訳（メタデータ） (2021-08-16T03:57:30Z)
Automatic Code Generation using Pre-Trained Language Models [0.0]
学習済み言語モデルの上に構築されたPython言語におけるコード生成のためのエンドツーエンドの機械学習モデルを提案する。本研究では,BLEUスコア0.22を達成し,適切なシーケンス・ツー・シーケンスベースラインよりも46%向上した,微調整モデルがコード生成タスクで良好に動作できることを実証する。
論文参考訳（メタデータ） (2021-02-21T07:21:26Z)
PyHealth: A Python Library for Health Predictive Models [53.848478115284195]
PyHealthは、医療データ上で様々な予測モデルを開発するためのオープンソースのPythonツールボックスである。データ前処理モジュールにより、複雑なヘルスケアデータセットを機械学習フレンドリーなフォーマットに変換できます。予測モデリングモジュールは、確立されたアンサンブルツリーとディープニューラルネットワークベースのアプローチを含む30以上の機械学習モデルを提供します。
論文参考訳（メタデータ） (2021-01-11T22:02:08Z)
XLM-T: Scaling up Multilingual Machine Translation with Pretrained Cross-lingual Transformer Encoders [89.0059978016914]
そこで本稿では,既製のクロスリンガルトランスフォーマでモデルを初期化し,多言語並列データで微調整するXLM-Tを提案する。この単純な方法は,10対のWMTデータセットと94対のOPUS-100コーパスにおいて,大幅な改善を実現する。
論文参考訳（メタデータ） (2020-12-31T11:16:51Z)
Language ID in the Wild: Unexpected Challenges on the Path to a Thousand-Language Web Text Corpus [15.807197703827818]
我々は最大1,629の言語でLangIDモデルをトレーニングします。これらのモデルを用いて作成したウェブクロールテキストコーパスの人手によるLangID精度は、多くの低リソース言語では5%程度であることがわかった。本稿では,ワードリストに基づく可変精度フィルタとトランスフォーマーに基づく半教師付きラングIDモデルという2種類の手法を提案する。
論文参考訳（メタデータ） (2020-10-27T19:29:17Z)
Pre-training Multilingual Neural Machine Translation by Leveraging Alignment Information [72.2412707779571]
mRASPは、汎用多言語ニューラルマシン翻訳モデルを事前訓練するためのアプローチである。我々は,低,中,豊かな資源を含む多種多様な環境における42の翻訳方向の実験を行い,エキゾチックな言語対への変換を行った。
論文参考訳（メタデータ） (2020-10-07T03:57:54Z)
Byte Pair Encoding is Suboptimal for Language Model Pretraining [49.30780227162387]
一グラムLMトークン化とバイトペア符号化(BPE)の違いを分析する。その結果,一グラムのLMトークン化手法は,下流タスクと2つの言語でBPEと一致し,BPEより優れることがわかった。我々は、将来の事前訓練されたLMの開発者が、より一般的なBPEよりもユニグラムのLMメソッドを採用することを期待する。
論文参考訳（メタデータ） (2020-04-07T21:21:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。