Fugu-MT 論文翻訳(概要): Language Modelling for Source Code with Transformer-XL

論文の概要: Language Modelling for Source Code with Transformer-XL

arxiv url: http://arxiv.org/abs/2007.15813v1
Date: Fri, 31 Jul 2020 02:42:18 GMT
ステータス: 処理完了
システム内更新日: 2022-11-04 06:02:12.141593
Title: Language Modelling for Source Code with Transformer-XL
Title（参考訳）: Transformer-XLを用いたソースコードの言語モデリング
Authors: Thomas Dowdell, Hongyu Zhang
Abstract要約: ソースコードに対する最先端のニューラルネットワークモデルの実験的評価を行う。また,Transformer-XL モデルの方が RNN モデルよりも自然度が高いことが判明した。
参考スコア（独自算出の注目度）: 7.967230034960396
License: http://creativecommons.org/licenses/by/4.0/
Abstract: It has been found that software, like natural language texts, exhibits "naturalness", which can be captured by statistical language models. In recent years, neural language models have been proposed to represent the naturalness of software through deep learning. In this paper, we conduct an experimental evaluation of state-of-the-art neural language models for source code, including RNN-based models and Transformer-XL based models. Through experiments on a large-scale Python code corpus, we find that the Transformer-XL model outperforms RNN-based models (including LSTM and GRU models) in capturing the naturalness of software, with far less computational cost.
Abstract（参考訳）: 自然言語のテキストと同様に、ソフトウェアは「自然性」を示しており、統計言語モデルによって捉えることができる。近年,ディープラーニングによるソフトウェアの自然性を表現するために,ニューラルネットワークモデルが提案されている。本稿では,rnnモデルやtransformer-xlモデルを含む,ソースコードのための最先端ニューラルネットワークモデルの実験的評価を行う。大規模なPythonコードコーパスの実験により,Transformer-XL モデルは RNN ベースのモデル(LSTM や GRU モデルを含む)よりも計算コストがはるかに少なく,ソフトウェアの自然性を捉えることができることがわかった。

関連論文リスト

Tracking Universal Features Through Fine-Tuning and Model Merging [13.600774910410514]
異なるドメインのテキストで微調整されたモデルに対して、機能がどのように出現し、消滅し、持続するかを研究する。我々の調査は、典型的な移行学習シナリオにおける機能の安定性と変換に関する深い洞察を提供することを目的としています。
論文参考訳（メタデータ） (2024-10-16T09:18:39Z)
Explicit Word Density Estimation for Language Modelling [24.8651840630298]
ニューラルネットワークと正規化フローの連続的類似に基づく新しい言語モデル群を提案する。本研究では,ニューラルネットワークと正規化フローの連続的類似に基づく新しい言語モデル群を提案する。
論文参考訳（メタデータ） (2024-06-10T15:21:33Z)
In-Context Language Learning: Architectures and Algorithms [73.93205821154605]
我々は、文脈言語学習(ICLL)において、私たちが用語する新しいモデル問題群(英語版)のレンズを通してICLを研究する。我々は,通常のICLLタスクにおいて,多種多様なニューラルシーケンスモデルを評価する。
論文参考訳（メタデータ） (2024-01-23T18:59:21Z)
Qwen Technical Report [132.54304067403922]
当社の大規模言語モデルシリーズの最初のインストールであるQwenを紹介します。 Qwenはトレーニング済みの言語モデルの基本であり、Qwen-Chatは人間のアライメント技術で微調整されたチャットモデルである。また、コーディング特化モデルであるCode-QwenとCode-Qwen-Chatも開発し、数学に焦点を当てたMath-Qwen-Chatも開発しました。
論文参考訳（メタデータ） (2023-09-28T17:07:49Z)
N-Grammer: Augmenting Transformers with latent n-grams [35.39961549040385]
本稿では,テキストシーケンスの離散潜在表現から構築したn-gramでモデルを拡張することにより,統計言語モデリングの文献に触発されたトランスフォーマーアーキテクチャの簡易かつ効果的な変更を提案する。我々は、C4データセットの言語モデリングにおけるN-GrammerモデルとSuperGLUEデータセットのテキスト分類を評価し、TransformerやPrimerといった強力なベースラインよりも優れていることを発見した。
論文参考訳（メタデータ） (2022-07-13T17:18:02Z)
Dependency-based Mixture Language Models [53.152011258252315]
依存性に基づく混合言語モデルを紹介する。より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
論文参考訳（メタデータ） (2022-03-19T06:28:30Z)
Deep Learning Transformer Architecture for Named Entity Recognition on Low Resourced Languages: State of the art results [0.0]
本稿では,低リソースの南アフリカ(SA)言語10言語を対象とした,NERのためのディープラーニング(DL)トランスフォーマーアーキテクチャモデルの評価について報告する。その結果,言語毎に離散的な微調整パラメータを適用すると,トランスフォーマーモデルの性能が著しく向上することがわかった。さらなる研究は、他の自然言語処理タスクやアプリケーション上で、より最近のトランスフォーマーアーキテクチャモデルを評価する可能性がある。
論文参考訳（メタデータ） (2021-11-01T11:02:01Z)
Factorized Neural Transducer for Efficient Language Model Adaptation [51.81097243306204]
空白および語彙予測を分解し,ニューラルトランスデューサの因子化モデルを提案する。この因子化は、音声認識のためのトランスデューサにスタンドアロン言語モデルの改善を移すことが期待できる。提案した因子化ニューラルトランスデューサは、言語モデル適応にドメイン外テキストデータを使用する場合、15%から20%のWER改善が得られることを示す。
論文参考訳（メタデータ） (2021-09-27T15:04:00Z)
Exploring Software Naturalness through Neural Language Models [56.1315223210742]
ソフトウェア自然性仮説(Software Naturalness hypothesis)は、自然言語処理で使用されるのと同じ手法でプログラミング言語を理解することができると主張している。この仮説は,事前学習されたトランスフォーマーベース言語モデルを用いて,コード解析タスクを実行することによって検討する。
論文参考訳（メタデータ） (2020-06-22T21:56:14Z)
CodeBERT: A Pre-Trained Model for Programming and Natural Languages [117.34242908773061]
CodeBERTは、プログラミング言語(PL)とナット言語(NL)のための事前訓練されたモデルである。我々はTransformerベースのニューラルアーキテクチャを用いたCodeBERTを開発した。モデルパラメータの微調整による2つのNL-PLアプリケーション上でのCodeBERTの評価を行った。
論文参考訳（メタデータ） (2020-02-19T13:09:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。