論文の概要: Empirical Study of Transformers for Source Code

• arxiv url: http://arxiv.org/abs/2010.07987v2
• Date: Thu, 24 Jun 2021 11:32:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 03:35:35.895761
• Title: Empirical Study of Transformers for Source Code
• Title（参考訳）: ソースコード変換器の実証的研究
• Authors: Nadezhda Chirkova, Sergey Troshin
• Abstract要約: 本研究では,トランスフォーマーが様々なタスクで構文情報を利用する能力について検討する。 我々は,トランスフォーマーが純粋に構文情報に基づいて意味のある予測を行うことができることを示す。
• 参考スコア（独自算出の注目度）: 14.904366372190943
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Initially developed for natural language processing (NLP), Transformers are now widely used for source code processing, due to the format similarity between source code and text. In contrast to natural language, source code is strictly structured, i.e., it follows the syntax of the programming language. Several recent works develop Transformer modifications for capturing syntactic information in source code. The drawback of these works is that they do not compare to each other and consider different tasks. In this work, we conduct a thorough empirical study of the capabilities of Transformers to utilize syntactic information in different tasks. We consider three tasks (code completion, function naming and bug fixing) and re-implement different syntax-capturing modifications in a unified framework. We show that Transformers are able to make meaningful predictions based purely on syntactic information and underline the best practices of taking the syntactic information into account for improving the performance of the model.
• Abstract（参考訳）: もともと自然言語処理(nlp)用に開発されたトランスフォーマーは、ソースコードとテキストのフォーマットの類似性から、ソースコード処理に広く使われている。 自然言語とは対照的に、ソースコードは厳密に構造化されており、プログラミング言語の構文に従う。 最近のいくつかの研究でソースコードの構文情報をキャプチャするトランスフォーマティブ修正が開発されている。 これらの作品の欠点は、互いに比較せず、異なるタスクを検討することである。 本研究では,様々なタスクで構文情報を利用するトランスフォーマーの能力について,徹底的な実証研究を行う。 我々は3つのタスク(コード補完、関数の命名、バグ修正)を検討し、統一フレームワークで異なるシンタックスキャプチャの変更を再実装する。 トランスフォーマは、純粋に構文情報に基づく有意義な予測が可能であり、モデルの性能向上のために構文情報を考慮に入れるためのベストプラクティスを基礎としている。

関連論文リスト

• Transformers are Efficient Compilers, Provably [11.459397066286822]
  トランスフォーマーベースの大規模言語モデル(LLM)は、幅広い言語関連タスクにおいて驚くほど堅牢なパフォーマンスを示している。 本稿では,表現力の観点から,トランスフォーマーをコンパイラとして用いることの正式な調査に向けて第一歩を踏み出す。 代表言語であるMini-Huskyを導入し、現代のC言語の特徴をカプセル化する。
  論文  参考訳（メタデータ） (2024-10-07T20:31:13Z)
• Algorithmic Capabilities of Random Transformers [49.73113518329544]
  埋め込み層のみを最適化したランダムトランスフォーマーによって、どのような関数が学習できるかを検討する。 これらのランダムなトランスフォーマーは、幅広い意味のあるアルゴリズムタスクを実行することができる。 以上の結果から,これらのモデルが訓練される前にも,アルゴリズム能力がトランスフォーマに存在することが示唆された。
  論文  参考訳（メタデータ） (2024-10-06T06:04:23Z)
• Understanding Code Semantics: An Evaluation of Transformer Models in Summarization [0.0]
  関数と変数名を変更することで,コード要約の有効性を評価する。 3つのプログラミング言語にまたがってデッドコードやコメントコードのような敵を導入します。
  論文  参考訳（メタデータ） (2023-10-25T02:41:50Z)
• Learning Transformer Programs [78.9509560355733]
  設計によって機械的に解釈可能なトランスフォーマーの訓練手順を導入する。 人書きプログラムをTransformerにコンパイルする代わりに、勾配に基づく最適化を用いてトレーニングできる改良されたTransformerを設計する。 Transformer Programsは適切なソリューションを自動的に見つけ、同等のサイズの標準のTransformerと同等に動作する。
  論文  参考訳（メタデータ） (2023-06-01T20:27:01Z)
• Which Features are Learned by CodeBert: An Empirical Study of the BERT-based Source Code Representation Learning [9.469346910848733]
  提案手法は,ソースコードの論理を効果的に理解できないことを示す。 ソースコードの表現は、プログラマが定義した変数と関数名に大きく依存している。
  論文  参考訳（メタデータ） (2023-01-20T05:39:26Z)
• Source Code Summarization with Structural Relative Position Guided Transformer [19.828300746504148]
  ソースコードの要約は、プログラミング言語の簡潔で明確な自然言語記述を生成することを目的としている。 近年の取り組みは、Transformerなどのニューラルネットワークにコードの構文構造を組み込むことに重点を置いている。 SCRIPTと呼ばれる構造相対位置案内変換器を提案する。
  論文  参考訳（メタデータ） (2022-02-14T07:34:33Z)
• On the validity of pre-trained transformers for natural language processing in the software engineering domain [78.32146765053318]
  ソフトウェア工学データを用いて訓練されたBERT変換器モデルと一般領域データに基づく変換器との比較を行った。 ソフトウェアエンジニアリングのコンテキストを理解するために必要なタスクに対しては,ソフトウェアエンジニアリングデータの事前学習が重要であることを示す。
  論文  参考訳（メタデータ） (2021-09-10T08:46:31Z)
• Thinking Like Transformers [64.96770952820691]
  本稿では,プログラミング言語の形式で変換器エンコーダの計算モデルを提案する。 RASPは、トランスフォーマーによって確実に学習できるタスクの解決策をプログラムするのにどのように使えるかを示す。 ヒストグラム、ソート、ダイク言語のためのRASPプログラムを提供する。
  論文  参考訳（メタデータ） (2021-06-13T13:04:46Z)
• Text Compression-aided Transformer Encoding [77.16960983003271]
  本稿では,トランスフォーマーのエンコーディングを強化するために,明示的で暗黙的なテキスト圧縮手法を提案する。 バックボーン情報、つまり入力テキストのgistは、特に焦点を当てていません。 評価の結果,提案した明示的かつ暗黙的なテキスト圧縮手法は,強いベースラインと比較して結果を改善することがわかった。
  論文  参考訳（メタデータ） (2021-02-11T11:28:39Z)
• Worse WER, but Better BLEU? Leveraging Word Embedding as Intermediate in Multitask End-to-End Speech Translation [127.54315184545796]
  音声翻訳(ST)は、ソース言語の音声からターゲット言語のテキストへの変換を学習することを目的としている。 単語埋め込みを中間語として活用することでマルチタスクSTモデルを改善することを提案する。
  論文  参考訳（メタデータ） (2020-05-21T14:22:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。