論文の概要: On the validity of pre-trained transformers for natural language processing in the software engineering domain

• arxiv url: http://arxiv.org/abs/2109.04738v1
• Date: Fri, 10 Sep 2021 08:46:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-13 13:19:26.844784
• Title: On the validity of pre-trained transformers for natural language processing in the software engineering domain
• Title（参考訳）: ソフトウェア工学領域における自然言語処理における事前学習トランスの妥当性について
• Authors: Julian von der Mosel, Alexander Trautsch, Steffen Herbold
• Abstract要約: ソフトウェア工学データを用いて訓練されたBERT変換器モデルと一般領域データに基づく変換器との比較を行った。 ソフトウェアエンジニアリングのコンテキストを理解するために必要なタスクに対しては,ソフトウェアエンジニアリングデータの事前学習が重要であることを示す。
• 参考スコア（独自算出の注目度）: 78.32146765053318
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformers are the current state-of-the-art of natural language processing in many domains and are using traction within software engineering research as well. Such models are pre-trained on large amounts of data, usually from the general domain. However, we only have a limited understanding regarding the validity of transformers within the software engineering domain, i.e., how good such models are at understanding words and sentences within a software engineering context and how this improves the state-of-the-art. Within this article, we shed light on this complex, but crucial issue. We compare BERT transformer models trained with software engineering data with transformers based on general domain data in multiple dimensions: their vocabulary, their ability to understand which words are missing, and their performance in classification tasks. Our results show that for tasks that require understanding of the software engineering context, pre-training with software engineering data is valuable, while general domain models are sufficient for general language understanding, also within the software engineering domain.
• Abstract（参考訳）: トランスフォーマーは、多くの領域における自然言語処理の最先端技術であり、ソフトウェア工学の研究でも牽引力を使用している。 このようなモデルは、通常一般的なドメインから、大量のデータで事前学習される。 しかし、ソフトウェア工学領域におけるトランスフォーマーの妥当性、すなわち、ソフトウェア工学のコンテキストにおける単語や文の理解がいかに優れているか、そしてこれが最先端の技術をどのように改善するかについて、我々は限られた理解しか持たない。 この記事では、この複雑な、しかし重要な問題を取り上げます。 ソフトウェア工学データを用いて訓練されたBERTトランスフォーマーモデルを,複数の次元の一般ドメインデータに基づくトランスフォーマーと比較する。 ソフトウェア工学の文脈を理解する必要のあるタスクに対しては、ソフトウェア工学データによる事前学習が重要であり、汎用ドメインモデルは、ソフトウェア工学領域内においても、一般的な言語理解に十分であることを示す。

関連論文リスト

• Survey: Transformer-based Models in Data Modality Conversion [0.8136541584281987]
  モダリティ・コンバージョン(Modality Conversion)は、人間が知覚情報を統合して解釈する方法を模倣して、ある形態の表現から別の形式へのデータの変換を行う。 本稿では, テキスト, 視覚, 音声の一次モーダル性に適用されたトランスフォーマーモデルについて, アーキテクチャ, 変換手法, 応用について論じる。
  論文  参考訳（メタデータ） (2024-08-08T18:39:14Z)
• Anatomy of Neural Language Models [0.0]
  トランスフォーマーベースの言語モデル(LM)は、幅広い応用において新しい最先端の結果をもたらしている。 言語モデリングのようなタスクで事前訓練されたトランスフォーマーは、コンピュータビジョンや時系列アプリケーションで広く採用されている。
  論文  参考訳（メタデータ） (2024-01-08T10:27:25Z)
• A Comprehensive Survey on Applications of Transformers for Deep Learning Tasks [60.38369406877899]
  Transformerは、シーケンシャルデータ内のコンテキスト関係を理解するために自己認識メカニズムを使用するディープニューラルネットワークである。 Transformerモデルは、入力シーケンス要素間の長い依存関係を処理し、並列処理を可能にする。 我々の調査では、トランスフォーマーベースのモデルのためのトップ5のアプリケーションドメインを特定します。
  論文  参考訳（メタデータ） (2023-06-11T23:13:51Z)
• Learning Transformer Programs [78.9509560355733]
  設計によって機械的に解釈可能なトランスフォーマーの訓練手順を導入する。 人書きプログラムをTransformerにコンパイルする代わりに、勾配に基づく最適化を用いてトレーニングできる改良されたTransformerを設計する。 Transformer Programsは適切なソリューションを自動的に見つけ、同等のサイズの標準のTransformerと同等に動作する。
  論文  参考訳（メタデータ） (2023-06-01T20:27:01Z)
• Instruction-driven history-aware policies for robotic manipulations [82.25511767738224]
  複数の入力を考慮に入れた統一型トランスフォーマー方式を提案する。 特に,我々のトランスフォーマーアーキテクチャは,(i)自然言語命令と(ii)多視点シーン観測を統合している。 RLBenchベンチマークと実世界のロボットを用いて,本手法の評価を行った。
  論文  参考訳（メタデータ） (2022-09-11T16:28:25Z)
• Thinking Like Transformers [64.96770952820691]
  本稿では,プログラミング言語の形式で変換器エンコーダの計算モデルを提案する。 RASPは、トランスフォーマーによって確実に学習できるタスクの解決策をプログラムするのにどのように使えるかを示す。 ヒストグラム、ソート、ダイク言語のためのRASPプログラムを提供する。
  論文  参考訳（メタデータ） (2021-06-13T13:04:46Z)
• CodeTrans: Towards Cracking the Language of Silicone's Code Through Self-Supervised Deep Learning and High Performance Computing [4.111243115567736]
  本稿では、ソフトウェアエンジニアリング領域のタスクのためのエンコーダデコーダトランスフォーマーモデルであるCodeTransについて説明する。 13のサブタスクを含む6つのソフトウェアエンジニアリングタスクに対するエンコーダ・デコーダ変換モデルの有効性について検討する。 codetransはすべてのタスクで最先端のモデルを上回る。
  論文  参考訳（メタデータ） (2021-04-06T11:57:12Z)
• Empirical Study of Transformers for Source Code [14.904366372190943]
  本研究では,トランスフォーマーが様々なタスクで構文情報を利用する能力について検討する。 我々は,トランスフォーマーが純粋に構文情報に基づいて意味のある予測を行うことができることを示す。
  論文  参考訳（メタデータ） (2020-10-15T19:09:15Z)
• Pretrained Transformers for Text Ranking: BERT and Beyond [53.83210899683987]
  このサーベイは、トランスフォーマーとして知られるニューラルネットワークアーキテクチャによるテキストランキングの概要を提供する。 トランスフォーマーと自己教師型事前学習の組み合わせは、自然言語処理のパラダイムシフトの原因となっている。
  論文  参考訳（メタデータ） (2020-10-13T15:20:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。