論文の概要: Emotion Classification In Software Engineering Texts: A Comparative
Analysis of Pre-trained Transformers Language Models
- arxiv url: http://arxiv.org/abs/2401.10845v3
- Date: Sat, 3 Feb 2024 06:54:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 03:07:28.952583
- Title: Emotion Classification In Software Engineering Texts: A Comparative
Analysis of Pre-trained Transformers Language Models
- Title(参考訳): ソフトウェア工学テキストにおける感情分類:事前学習されたトランスフォーマー言語モデルの比較分析
- Authors: Mia Mohammad Imran
- Abstract要約: 本稿では、GitHubとStack Overflowのベンチマークデータセットの2つの詳細な感情分類のために、最先端の事前訓練言語モデル(PTM)の比較分析を行う。
我々は、現在最高のパフォーマンスツールであるSEntiMojiに対して、BERT、RoBERTa、ALBERT、DeBERTa、CodeBERT、GraphCodeBERTの6つのトランスフォーマーモデルを評価する。
私たちの研究は、ソフトウェアエンジニアリングの文脈において、Anger、Love、Fear、Joy、Sadness、Surpriseといったニュアンスな感情を認識する上で、PTMがもたらす進歩の強力な証拠を提供します。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Emotion recognition in software engineering texts is critical for
understanding developer expressions and improving collaboration. This paper
presents a comparative analysis of state-of-the-art Pre-trained Language Models
(PTMs) for fine-grained emotion classification on two benchmark datasets from
GitHub and Stack Overflow. We evaluate six transformer models - BERT, RoBERTa,
ALBERT, DeBERTa, CodeBERT and GraphCodeBERT against the current best-performing
tool SEntiMoji. Our analysis reveals consistent improvements ranging from 1.17%
to 16.79% in terms of macro-averaged and micro-averaged F1 scores, with general
domain models outperforming specialized ones. To further enhance PTMs, we
incorporate polarity features in attention layer during training, demonstrating
additional average gains of 1.0\% to 10.23\% over baseline PTMs approaches. Our
work provides strong evidence for the advancements afforded by PTMs in
recognizing nuanced emotions like Anger, Love, Fear, Joy, Sadness, and Surprise
in software engineering contexts. Through comprehensive benchmarking and error
analysis, we also outline scope for improvements to address contextual gaps.
- Abstract(参考訳): ソフトウェア工学のテキストにおける感情認識は、開発者表現の理解とコラボレーションの改善に不可欠である。
本稿では,github と stack overflow の2つのベンチマークデータセットにおけるきめ細かな感情分類のための最先端事前学習言語モデル (ptm) の比較分析を行う。
我々は、現在最高のパフォーマンスツールであるSEntiMojiに対して、BERT、RoBERTa、ALBERT、DeBERTa、CodeBERT、GraphCodeBERTの6つのトランスフォーマーモデルを評価する。
分析の結果、マクロ平均値とマイクロ平均値のF1スコアは1.17%から16.79%に一貫した改善が見られ、一般ドメインモデルは特殊モデルよりも優れていた。
PTMをさらに強化するために、トレーニング中に注意層に極性特性を取り入れ、ベースラインのPTMアプローチよりも1.0\%から10.23\%の平均ゲインを増すことを示した。
私たちの研究は、ソフトウェアエンジニアリングの文脈において、怒り、愛、恐怖、喜び、悲しみ、驚きといったニュアンス的な感情を認識するptmが与えた進歩の強力な証拠を提供します。
包括的なベンチマークとエラー解析を通じて、コンテキストギャップに対処するための改善のスコープを概説する。
関連論文リスト
- T-FREX: A Transformer-based Feature Extraction Method from Mobile App
Reviews [5.235401361674881]
モバイルアプリレビュー機能抽出のためのトランスフォーマーベースの完全自動アプローチであるT-FREXを提案する。
まず、実際のクラウドソースのソフトウェアレコメンデーションプラットフォームで、ユーザから真実の一連の機能を収集します。
次に、この新たに作成されたデータセットを使用して、名前付きエンティティ認識タスクで複数のLCMを微調整する。
論文 参考訳(メタデータ) (2024-01-08T11:43:03Z) - The Devil is in the Errors: Leveraging Large Language Models for
Fine-grained Machine Translation Evaluation [93.01964988474755]
AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。
テキスト内学習と微調整によるラベル付きデータの影響について検討する。
次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
論文 参考訳(メタデータ) (2023-08-14T17:17:21Z) - On the Robustness of Aspect-based Sentiment Analysis: Rethinking Model,
Data, and Training [109.9218185711916]
アスペクトベースの感情分析(ABSA)は、ソーシャルメディアのテキストやレビューの背後にある製品やサービスの特定の側面に対して、特定の感情の極性を自動的に推測することを目的としている。
我々は、モデル、データ、トレーニングを含むあらゆる可能な角度からボトルネックを体系的に再考することで、ABSAの堅牢性を高めることを提案する。
論文 参考訳(メタデータ) (2023-04-19T11:07:43Z) - Graphix-T5: Mixing Pre-Trained Transformers with Graph-Aware Layers for
Text-to-SQL Parsing [56.232873134174056]
テキストからテキストへのパースにおける大きな課題の1つはドメインの一般化である。
そこで本研究では,テキスト・トゥ・テキスト・パーシングのための特殊なコンポーネントを備えた事前学習されたテキスト・ツー・テキスト・トランスフォーマー・モデルをさらに強化する方法について検討する。
この目的のために,レイヤを持つグラフ認識モデルによって拡張された新しいアーキテクチャ GRAPHIX-T5 を提案する。
論文 参考訳(メタデータ) (2023-01-18T13:29:05Z) - Improving the Generalizability of Text-Based Emotion Detection by
Leveraging Transformers with Psycholinguistic Features [27.799032561722893]
本稿では,両方向長短期記憶(BiLSTM)ネットワークと変換器モデル(BERT,RoBERTa)を併用したテキストベースの感情検出手法を提案する。
提案したハイブリッドモデルでは,標準的なトランスフォーマーベースアプローチと比較して,分布外データへの一般化能力の向上が期待できる。
論文 参考訳(メタデータ) (2022-12-19T13:58:48Z) - MURMUR: Modular Multi-Step Reasoning for Semi-Structured Data-to-Text
Generation [102.20036684996248]
多段階推論を用いた半構造化データからテキストを生成するための,ニューロシンボリックなモジュラーアプローチであるMURMURを提案する。
WebNLG や LogicNLG のような2つのデータ・テキスト生成タスクについて実験を行った。
論文 参考訳(メタデータ) (2022-12-16T17:36:23Z) - EditEval: An Instruction-Based Benchmark for Text Improvements [73.5918084416016]
編集機能の自動評価のためのインストラクションベース、ベンチマーク、評価スイートであるEditEvalを提示する。
InstructGPTとPEERが最良であることを示す事前学習モデルをいくつか評価するが,ほとんどのベースラインは教師付きSOTA以下である。
我々の分析は、タスクの編集によく使われるメトリクスが必ずしも相関しているとは限らないことを示し、最高の性能を持つプロンプトに対する最適化は、必ずしも異なるモデルに対して強い堅牢性を持つとは限らないことを示唆している。
論文 参考訳(メタデータ) (2022-09-27T12:26:05Z) - BERT based sentiment analysis: A software engineering perspective [0.9176056742068814]
本稿では、感情分析のためのBERTモデルを分析するための3つの戦略を提案する。
実験結果から, BERTに基づくアンサンブル手法と圧縮BERTモデルにより, 3つのデータセットのF1測定ツールよりも6-12%向上したことがわかった。
論文 参考訳(メタデータ) (2021-06-04T16:28:26Z) - DAGA: Data Augmentation with a Generation Approach for Low-resource
Tagging Tasks [88.62288327934499]
線形化ラベル付き文に基づいて訓練された言語モデルを用いた新しい拡張手法を提案する。
本手法は, 教師付き設定と半教師付き設定の両方に適用可能である。
論文 参考訳(メタデータ) (2020-11-03T07:49:15Z) - BET: A Backtranslation Approach for Easy Data Augmentation in
Transformer-based Paraphrase Identification Context [0.0]
我々はこの手法をBETと呼び、トランスフォーマーベースのアーキテクチャ上でのバックトランスレーションデータ拡張を分析する。
以上の結果から,BETはMicrosoft Research Paraphrase Corpusのパラフレーズ識別性能を,精度とF1スコアの両方で3%以上向上することが示唆された。
論文 参考訳(メタデータ) (2020-09-25T22:06:06Z) - Bidirectional Encoder Representations from Transformers (BERT): A
sentiment analysis odyssey [0.0]
本研究は,(1)高度で広く使用されている4つの感情分析技術の相対的有効性,(2)テキストデータからの感情分析における事前学習型深層学習 BERT モデルの有効性について考察した。
我々は、インターネット映画データベース(IMDB)に投稿された5万本の映画レビューのコーパスを、Sent WordNetレキシコン、ロジスティック回帰、LSTM、BERTを用いて解析するために公開している。
論文 参考訳(メタデータ) (2020-07-02T14:23:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。