論文の概要: CodeTrans: Towards Cracking the Language of Silicone's Code Through
Self-Supervised Deep Learning and High Performance Computing
- arxiv url: http://arxiv.org/abs/2104.02443v1
- Date: Tue, 6 Apr 2021 11:57:12 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-07 14:26:03.311829
- Title: CodeTrans: Towards Cracking the Language of Silicone's Code Through
Self-Supervised Deep Learning and High Performance Computing
- Title（参考訳）: codetrans: 自己教師付きディープラーニングとハイパフォーマンスコンピューティングによるシリコンコードの言語解読に向けて
- Authors: Ahmed Elnaggar, Wei Ding, Llion Jones, Tom Gibbs, Tamas Feher,
Christoph Angerer, Silvia Severini, Florian Matthes and Burkhard Rost
- Abstract要約: 本稿では、ソフトウェアエンジニアリング領域のタスクのためのエンコーダデコーダトランスフォーマーモデルであるCodeTransについて説明する。
13のサブタスクを含む6つのソフトウェアエンジニアリングタスクに対するエンコーダ・デコーダ変換モデルの有効性について検討する。
codetransはすべてのタスクで最先端のモデルを上回る。
- 参考スコア（独自算出の注目度）: 4.111243115567736
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Currently, a growing number of mature natural language processing
applications make people's life more convenient. Such applications are built by
source code - the language in software engineering. However, the applications
for understanding source code language to ease the software engineering process
are under-researched. Simultaneously, the transformer model, especially its
combination with transfer learning, has been proven to be a powerful technique
for natural language processing tasks. These breakthroughs point out a
promising direction for process source code and crack software engineering
tasks. This paper describes CodeTrans - an encoder-decoder transformer model
for tasks in the software engineering domain, that explores the effectiveness
of encoder-decoder transformer models for six software engineering tasks,
including thirteen sub-tasks. Moreover, we have investigated the effect of
different training strategies, including single-task learning, transfer
learning, multi-task learning, and multi-task learning with fine-tuning.
CodeTrans outperforms the state-of-the-art models on all the tasks. To expedite
future works in the software engineering domain, we have published our
pre-trained models of CodeTrans.
https://github.com/agemagician/CodeTrans
- Abstract（参考訳）: 現在、多くの成熟した自然言語処理アプリケーションが人々の生活をより便利にしている。
このようなアプリケーションは、ソフトウェア工学の言語であるソースコードによって構築されます。
しかし、ソフトウェアエンジニアリングプロセスを楽にするためにソースコード言語を理解するアプリケーションは、あまり研究されていない。
同時に、トランスフォーマーモデル、特にトランスファーラーニングと組み合わせることで、自然言語処理タスクの強力な技術であることが証明されている。
これらのブレークスルーは、プロセスソースコードとソフトウェアエンジニアリングタスクのクラックに有望な方向を示している。
本稿では,13個のサブタスクを含む6つのソフトウェア工学タスクにおけるエンコーダ・デコーダトランスフォーマの有効性を検討する,ソフトウェア工学領域におけるタスク用エンコーダ・デコーダトランスフォーマモデルであるcodetransについて述べる。
さらに, シングルタスク学習, トランスファーラーニング, マルチタスク学習, 微調整によるマルチタスク学習など, 異なる学習方法の効果について検討した。
codetransはすべてのタスクで最先端のモデルを上回る。
ソフトウェアエンジニアリング領域における今後の作業の迅速化のために、CodeTransのトレーニング済みモデルを公開しました。
https://github.com/agemagician/CodeTrans
関連論文リスト
- Communicative Agents for Software Development [79.86905471184195]
ChatDevはチャットを利用した仮想ソフトウェア開発会社で、確立したウォーターフォールモデルを反映している。
各ステージは、プログラマ、コードレビュアー、テストエンジニアといった"ソフトウェアエージェント"のチームが参加し、協調的な対話を促進する。
ChatDevは潜在的な脆弱性を特定し、信頼できる効率とコスト効率を維持しながら幻覚を正す。
論文 参考訳（メタデータ） (2023-07-16T02:11:34Z) - Learning Transformer Programs [78.9509560355733]
設計によって機械的に解釈可能なトランスフォーマーの訓練手順を導入する。
人書きプログラムをTransformerにコンパイルする代わりに、勾配に基づく最適化を用いてトレーニングできる改良されたTransformerを設計する。
Transformer Programsは適切なソリューションを自動的に見つけ、同等のサイズの標準のTransformerと同等に動作する。
論文 参考訳（メタデータ） (2023-06-01T20:27:01Z) - CodeTF: One-stop Transformer Library for State-of-the-art Code LLM [72.1638273937025]
我々は、最先端のCode LLMとコードインテリジェンスのためのオープンソースのTransformerベースのライブラリであるCodeTFを紹介する。
我々のライブラリは、事前訓練されたコードLLMモデルと人気のあるコードベンチマークのコレクションをサポートします。
CodeTFが機械学習/生成AIとソフトウェア工学のギャップを埋められることを願っている。
論文 参考訳（メタデータ） (2023-05-31T05:24:48Z) - TransCoder: Towards Unified Transferable Code Representation Learning
Inspired by Human Skills [14.443107383265922]
本稿では,コード表現学習のためのTransCoderについて述べる。
我々は、メタラーナーとして調整可能なプレフィックスエンコーダを用いて、クロスタスクおよびクロス言語変換可能な知識をキャプチャする。
本手法は, 各種コード関連タスクの性能向上と相互強化の促進に寄与する。
論文 参考訳（メタデータ） (2023-05-23T06:59:22Z) - JavaBERT: Training a transformer-based model for the Java programming
language [1.599072005190786]
ソフトウェアコードのためのデータ検索パイプラインを導入し,Javaソフトウェアコード上でモデルをトレーニングする。
得られたモデルであるJavaBERTは、マスキングされた言語モデリングタスクに対して高い精度を示す。
論文 参考訳（メタデータ） (2021-10-20T06:49:41Z) - Using Document Similarity Methods to create Parallel Datasets for Code
Translation [60.36392618065203]
あるプログラミング言語から別のプログラミング言語へのソースコードの翻訳は、重要で時間を要する作業です。
本稿では、文書類似性手法を用いて、ノイズの多い並列データセットを作成することを提案する。
これらのモデルは、妥当なレベルのノイズに対して、地上の真実に基づいて訓練されたモデルと相容れない性能を示す。
論文 参考訳（メタデータ） (2021-10-11T17:07:58Z) - On the validity of pre-trained transformers for natural language
processing in the software engineering domain [78.32146765053318]
ソフトウェア工学データを用いて訓練されたBERT変換器モデルと一般領域データに基づく変換器との比較を行った。
ソフトウェアエンジニアリングのコンテキストを理解するために必要なタスクに対しては,ソフトウェアエンジニアリングデータの事前学習が重要であることを示す。
論文 参考訳（メタデータ） (2021-09-10T08:46:31Z) - Thinking Like Transformers [64.96770952820691]
本稿では,プログラミング言語の形式で変換器エンコーダの計算モデルを提案する。
RASPは、トランスフォーマーによって確実に学習できるタスクの解決策をプログラムするのにどのように使えるかを示す。
ヒストグラム、ソート、ダイク言語のためのRASPプログラムを提供する。
論文 参考訳（メタデータ） (2021-06-13T13:04:46Z) - Empirical Study of Transformers for Source Code [14.904366372190943]
本研究では,トランスフォーマーが様々なタスクで構文情報を利用する能力について検討する。
我々は,トランスフォーマーが純粋に構文情報に基づいて意味のある予測を行うことができることを示す。
論文 参考訳（メタデータ） (2020-10-15T19:09:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。