論文の概要: An Empirical Study on JIT Defect Prediction Based on BERT-style Model

• arxiv url: http://arxiv.org/abs/2403.11158v1
• Date: Sun, 17 Mar 2024 09:41:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-19 18:15:50.878702
• Title: An Empirical Study on JIT Defect Prediction Based on BERT-style Model
• Title（参考訳）: BERTモデルに基づくJIT欠陥予測に関する実証的研究
• Authors: Yuxiang Guo, Xiaopeng Gao, Bo Jiang,
• Abstract要約: 本研究では,細粒化プロセスの設定がJIT欠陥予測のためのBERT型事前学習モデルに及ぼす影響について検討する。 以上の結果から,BERTモデルにおける第1エンコーダ層の役割が明らかとなった。 これらの知見を組み合わせて,LoRAに基づくコスト効率の高い微調整手法を提案する。
• 参考スコア（独自算出の注目度）: 5.098350174933033
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Previous works on Just-In-Time (JIT) defect prediction tasks have primarily applied pre-trained models directly, neglecting the configurations of their fine-tuning process. In this study, we perform a systematic empirical study to understand the impact of the settings of the fine-tuning process on BERT-style pre-trained model for JIT defect prediction. Specifically, we explore the impact of different parameter freezing settings, parameter initialization settings, and optimizer strategies on the performance of BERT-style models for JIT defect prediction. Our findings reveal the crucial role of the first encoder layer in the BERT-style model and the project sensitivity to parameter initialization settings. Another notable finding is that the addition of a weight decay strategy in the Adam optimizer can slightly improve model performance. Additionally, we compare performance using different feature extractors (FCN, CNN, LSTM, transformer) and find that a simple network can achieve great performance. These results offer new insights for fine-tuning pre-trained models for JIT defect prediction. We combine these findings to find a cost-effective fine-tuning method based on LoRA, which achieve a comparable performance with only one-third memory consumption than original fine-tuning process.
• Abstract（参考訳）: JIT(Just-In-Time)欠陥予測タスクに関するこれまでの作業は、主にトレーニング済みのモデルを直接適用し、微調整プロセスの構成を無視してきた。 本研究では,細調整プロセスの設定がJIT欠陥予測のためのBERT型事前学習モデルに与える影響について,系統的研究を行った。 具体的には、異なるパラメータ凍結設定、パラメータ初期化設定、および最適化戦略が、JIT欠陥予測のためのBERTスタイルモデルの性能に与える影響について検討する。 本研究は,BERTモデルにおける第1エンコーダ層の役割と,パラメータ初期化設定に対するプロジェクト感度について明らかにした。 もう1つの注目すべき発見は、Adamオプティマイザにウェイト崩壊戦略を追加することで、モデル性能がわずかに改善できることである。 さらに,異なる特徴抽出器 (FCN, CNN, LSTM, トランスフォーマー) を用いて性能を比較し, 単純なネットワークで高い性能が得られることを示す。 これらの結果はJIT欠陥予測のための微調整済みモデルの新たな洞察を提供する。 これらの知見を組み合わせ,LoRAに基づくコスト効率の高い微調整法を考案し,従来の微調整法に比べて3分の1のメモリ消費で同等の性能を実現する。

関連論文リスト

• SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation [52.6922833948127]
  本研究では,事前学習した拡散モデルにおけるパラメータの重要性について検討する。 本稿では,これらの非効率パラメータをフル活用するための新しいモデル微調整法を提案する。 本手法は,下流アプリケーションにおける事前学習モデルの生成能力を向上する。
  論文  参考訳（メタデータ） (2024-09-10T16:44:47Z)
• Forecast-PEFT: Parameter-Efficient Fine-Tuning for Pre-trained Motion Forecasting Models [68.23649978697027]
  Forecast-PEFTは、モデルのパラメータの大部分を凍結し、新しく導入されたプロンプトとアダプタの調整に集中する微調整戦略である。 実験の結果,Forecast-PEFTは動作予測タスクにおいて従来のフルチューニング手法よりも優れていた。 Forecast-FTは予測性能をさらに改善し、従来のベースライン法よりも最大9.6%向上した。
  論文  参考訳（メタデータ） (2024-07-28T19:18:59Z)
• Fairer and More Accurate Tabular Models Through NAS [14.147928131445852]
  本稿では,多目的ニューラルアーキテクチャサーチ (NAS) とハイパーパラメータ最適化 (HPO) を,表データの非常に困難な領域への最初の応用として提案する。 我々はNASで精度のみに最適化されたモデルが、本質的に公正な懸念に対処できないことをしばしば示している。 公平性、正確性、あるいは両方において、最先端のバイアス緩和手法を一貫して支配するアーキテクチャを作成します。
  論文  参考訳（メタデータ） (2023-10-18T17:56:24Z)
• A study on the impact of pre-trained model on Just-In-Time defect prediction [10.205110163570502]
  RoBERTaJIT、CodeBERTJIT、BARTJIT、PLBARTJIT、GPT2JIT、CodeGPTJITの6つのモデルを構築します。 本稿では,コミットコードとコミットメッセージを入力として使用する際のモデルの性能と,トレーニング効率とモデル分布の関係について検討する。
  論文  参考訳（メタデータ） (2023-09-05T15:34:22Z)
• E^2VPT: An Effective and Efficient Approach for Visual Prompt Tuning [55.50908600818483]
  新しいタスクのための微調整された大規模な事前学習型ビジョンモデルは、パラメーター集約化が進んでいる。 本稿では,大規模なトランスフォーマーモデル適応のための効果的かつ効率的なビジュアルプロンプトチューニング(E2VPT)手法を提案する。 提案手法は2つのベンチマークにおいて,最先端のベースラインを上回っている。
  論文  参考訳（メタデータ） (2023-07-25T19:03:21Z)
• Prototypical Fine-tuning: Towards Robust Performance Under Varying Data Sizes [47.880781811936345]
  我々は、微調整事前学習言語モデル(LM)のための新しいフレームワークを提案する。 提案手法は,データポイント数やモデル固有の属性に応じて,モデルキャパシティを自動的に調整することができる。
  論文  参考訳（メタデータ） (2022-11-24T14:38:08Z)
• Design Amortization for Bayesian Optimal Experimental Design [70.13948372218849]
  予測情報ゲイン(EIG)のバウンダリに関してパラメータ化された変分モデルを最適化する。 実験者が1つの変分モデルを最適化し、潜在的に無限に多くの設計に対してEIGを推定できる新しいニューラルアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-10-07T02:12:34Z)
• Language model compression with weighted low-rank factorization [73.61874728240568]
  本稿では,モデル予測に影響を及ぼすパラメータの重要性を評価するために,フィッシャー情報を紹介する。 結果のタスク精度は、元のモデルの性能にかなり近いことがわかった。 提案手法は,タスク固有のモデルを直接圧縮し,他のコンパクトモデル戦略よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-06-30T21:57:07Z)
• Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time [69.7693300927423]
  複数モデルの重み付けを異なるパラメータ構成で微調整することにより,精度とロバスト性が向上することを示す。 モデルスープ手法は,複数の画像分類や自然言語処理タスクにまで拡張されている。
  論文  参考訳（メタデータ） (2022-03-10T17:03:49Z)
• Adapting by Pruning: A Case Study on BERT [9.963251767416967]
  対象タスクの性能を最適化するために,事前学習したモデルの神経接続をpruneするプラニングにより適応する新しいモデル適応パラダイムを提案する。 本稿では, 最適化問題として適応分割法を定式化し, モデル作成のための効率的なアルゴリズムを提案する。 以上の結果から,提案手法は細調整フルモデルと同等の性能を示しながら,BERTの最大50%の重み付けが可能であることが示唆された。
  論文  参考訳（メタデータ） (2021-05-07T15:51:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。