論文の概要: The EarlyBIRD Catches the Bug: On Exploiting Early Layers of Encoder Models for More Efficient Code Classification

• arxiv url: http://arxiv.org/abs/2305.04940v1
• Date: Mon, 8 May 2023 16:47:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-10 14:52:10.058009
• Title: The EarlyBIRD Catches the Bug: On Exploiting Early Layers of Encoder Models for More Efficient Code Classification
• Title（参考訳）: EarlyBIRDがバグに対処:より効率的なコード分類のためのエンコーダモデルの早期レイヤの爆発について
• Authors: Anastasiia Grishina and Max Hort and Leon Moonen
• Abstract要約: 深層NLPモデルの訓練には、かなりの計算資源が必要である。 本稿では,事前学習したトランスフォーマーモデルの初期層から,コードの合成表現を構築するための一般的なアプローチであるEarlyBIRDを提案する。
• 参考スコア（独自算出の注目度）: 1.0742675209112622
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The use of modern Natural Language Processing (NLP) techniques has shown to be beneficial for software engineering tasks, such as vulnerability detection and type inference. However, training deep NLP models requires significant computational resources. This paper explores techniques that aim at achieving the best usage of resources and available information in these models. We propose a generic approach, EarlyBIRD, to build composite representations of code from the early layers of a pre-trained transformer model. We empirically investigate the viability of this approach on the CodeBERT model by comparing the performance of 12 strategies for creating composite representations with the standard practice of only using the last encoder layer. Our evaluation on four datasets shows that several early layer combinations yield better performance on defect detection, and some combinations improve multi-class classification. More specifically, we obtain a +2 average improvement of detection accuracy on Devign with only 3 out of 12 layers of CodeBERT and a 3.3x speed-up of fine-tuning. These findings show that early layers can be used to obtain better results using the same resources, as well as to reduce resource usage during fine-tuning and inference.
• Abstract（参考訳）: 最新の自然言語処理(NLP)技術は、脆弱性検出や型推論といったソフトウェア工学のタスクに有用であることが示されている。 しかし、深層NLPモデルのトレーニングにはかなりの計算資源が必要である。 本稿では,これらのモデルにおける資源と利用可能な情報の最適利用を目的とした手法について検討する。 我々は,事前学習したトランスフォーマーモデルの初期層からコードの複合表現を構築するための汎用的手法であるearlybirdを提案する。 CodeBERTモデルにおけるこのアプローチの有効性を,合成表現を生成する12の戦略の性能と,最後のエンコーダ層のみを用いた標準手法の比較により実証的に検討した。 4つのデータセットに対する評価の結果,早期層の組み合わせにより欠陥検出性能が向上し,複数クラス分類が向上した。 より具体的には、CodeBERTの12層中3層と微調整の3.3倍のスピードアップでDevignの検出精度が平均+2向上する。 これらの結果から,早期のレイヤは同じリソースを用いてより良い結果を得ることができ,微調整や推論の際のリソース使用量を削減できることがわかった。

関連論文リスト

• Back to Basics: A Simple Recipe for Improving Out-of-Domain Retrieval in Dense Encoders [63.28408887247742]
  得られたモデルにおいて,より優れた一般化能力を得るために,トレーニング手順の改善が可能であるかを検討する。 我々は、高密度エンコーダをトレーニングするための簡単なレシピを推奨する: LoRAのようなパラメータ効率のよいMSMARCOのトレーニング。
  論文  参考訳（メタデータ） (2023-11-16T10:42:58Z)
• Towards Efficient Fine-tuning of Pre-trained Code Models: An Experimental Study and Beyond [52.656743602538825]
  微調整された事前訓練されたコードモデルは、大きな計算コストを発生させる。 我々は、レイヤーワイドで事前訓練された表現と、微調整中に符号化されたコード知識に何が起こるのかを実験的に検討する。 本稿では,レイヤ凍結により事前学習したコードモデルを効率的に微調整するTellyを提案する。
  論文  参考訳（メタデータ） (2023-04-11T13:34:13Z)
• Boosting Low-Data Instance Segmentation by Unsupervised Pre-training with Saliency Prompt [103.58323875748427]
  この研究は、低データ体制のための新しい教師なし事前学習ソリューションを提供する。 近年のPrompting技術の成功に触発されて,QEISモデルを強化した新しい事前学習手法を導入する。 実験結果から,本手法は3つのデータセット上でのいくつかのQEISモデルを大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2023-02-02T15:49:03Z)
• Towards a learning-based performance modeling for accelerating Deep Neural Networks [1.1549572298362785]
  我々は、畳み込みニューラルネットワーク(CNN)を最適化するために、機械学習技術に基づく予測モデルの調査を開始する。 MidgardベースのARM Mali GPUの予備実験では、我々の予測モデルはライブラリが手作業で選択したすべての畳み込み演算子よりも優れていた。
  論文  参考訳（メタデータ） (2022-12-09T18:28:07Z)
• Boosting the Efficiency of Parametric Detection with Hierarchical Neural Networks [4.1410005218338695]
  高速検出のための新しい手法として階層型検出ネットワーク(HDN)を提案する。 ネットワークは、統計的精度と効率の目標を同時に符号化する新しい損失関数を用いて訓練される。 2層モデルを用いた3層HDNのトレーニングにより,精度と効率が向上することを示す。
  論文  参考訳（メタデータ） (2022-07-23T19:23:00Z)
• Beyond Simple Meta-Learning: Multi-Purpose Models for Multi-Domain, Active and Continual Few-Shot Learning [41.07029317930986]
  低ラベル方式で動作するモデルの分散感応クラスを提案する。 最初の手法であるSimple CNAPSは階層的に正規化されたマハラノビス距離に基づく分類器を用いる。 我々はさらに、このアプローチをトランスダクティブ学習環境に拡張し、トランスダクティブCNAPSを提案する。
  論文  参考訳（メタデータ） (2022-01-13T18:59:02Z)
• AutoBERT-Zero: Evolving BERT Backbone from Scratch [94.89102524181986]
  そこで本稿では,提案するハイブリッドバックボーンアーキテクチャを自動検索するOP-NASアルゴリズムを提案する。 提案するOP-NASの効率を向上させるために,探索アルゴリズムと候補モデルの評価を最適化する。 実験の結果、検索されたアーキテクチャ(AutoBERT-Zero)は、様々な下流タスクにおいてBERTとそのバリエーションの異なるモデル容量を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-07-15T16:46:01Z)
• Enhancing the Generalization for Intent Classification and Out-of-Domain Detection in SLU [70.44344060176952]
  インテント分類は、音声言語理解(SLU)における主要な課題である 近年の研究では、余分なデータやラベルを使用することで、OOD検出性能が向上することが示されている。 本稿では、IND意図分類とOOD検出の両方をサポートしながら、INDデータのみを用いてモデルを訓練することを提案する。
  論文  参考訳（メタデータ） (2021-06-28T08:27:38Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)
• Deep Learning Algorithms for Rotating Machinery Intelligent Diagnosis: An Open Source Benchmark Study [0.8497188292342053]
  本稿では,機械知能診断を回転させる深層学習アルゴリズムのベンチマーク研究を行う。 評価コード全体をコードライブラリに統合し、このフィールドの開発を改善するために、このコードライブラリを一般公開します。 これらの作業により、モデルを公平かつ迅速に比較、テストするための統一されたコードフレームワークをリリースし、オープンソースコードの重要さを強調し、無駄な改善を避けるためのベースライン精度(下限)を提供し、この分野の将来的な方向性について議論する。
  論文  参考訳（メタデータ） (2020-03-06T17:24:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。