論文の概要: Sentiment Analysis in Software Engineering: Evaluating Generative Pre-trained Transformers

• arxiv url: http://arxiv.org/abs/2505.14692v1
• Date: Tue, 22 Apr 2025 14:19:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-25 10:52:49.062497
• Title: Sentiment Analysis in Software Engineering: Evaluating Generative Pre-trained Transformers
• Title（参考訳）: ソフトウェア工学における感性分析: 生成的事前学習型トランスフォーマーの評価
• Authors: KM Khalid Saifullah, Faiaz Azmain, Habiba Hye,
• Abstract要約: 本研究は,SE感情分析において, BERT などの双方向トランスフォーマー, 特に GPT-4o-mini に対する性能を系統的に評価する。 その結果、微調整のGPT-4o-miniは、GitHubやJiraのような構造化およびバランスの取れたデータセット上でBERTや他の双方向モデルに匹敵するパフォーマンスを示した。 Stack Overflowのような不均衡な感情分布を持つ言語的に複雑なデータセットでは、デフォルトのGPT-4o-miniモデルはより優れた一般化を示し、微調整モデルの13.1%と比べて85.3%の精度を実現している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sentiment analysis plays a crucial role in understanding developer interactions, issue resolutions, and project dynamics within software engineering (SE). While traditional SE-specific sentiment analysis tools have made significant strides, they often fail to account for the nuanced and context-dependent language inherent to the domain. This study systematically evaluates the performance of bidirectional transformers, such as BERT, against generative pre-trained transformers, specifically GPT-4o-mini, in SE sentiment analysis. Using datasets from GitHub, Stack Overflow, and Jira, we benchmark the models' capabilities with fine-tuned and default configurations. The results reveal that fine-tuned GPT-4o-mini performs comparable to BERT and other bidirectional models on structured and balanced datasets like GitHub and Jira, achieving macro-averaged F1-scores of 0.93 and 0.98, respectively. However, on linguistically complex datasets with imbalanced sentiment distributions, such as Stack Overflow, the default GPT-4o-mini model exhibits superior generalization, achieving an accuracy of 85.3\% compared to the fine-tuned model's 13.1\%. These findings highlight the trade-offs between fine-tuning and leveraging pre-trained models for SE tasks. The study underscores the importance of aligning model architectures with dataset characteristics to optimize performance and proposes directions for future research in refining sentiment analysis tools tailored to the SE domain.
• Abstract（参考訳）: センチメント分析は、開発者のインタラクション、課題解決、そしてソフトウェア工学(SE)におけるプロジェクトのダイナミクスを理解する上で重要な役割を担います。 従来のSE固有の感情分析ツールは大きな進歩を遂げているが、ドメイン固有のニュアンスとコンテキストに依存した言語を考慮できないことが多い。 本研究は,SE感情分析において, BERT などの双方向トランスフォーマー, 特に GPT-4o-mini に対する性能を系統的に評価する。 GitHub、Stack Overflow、Jiraのデータセットを使用して、微調整とデフォルト設定でモデルの機能をベンチマークします。 その結果、微細チューニングされたGPT-4o-miniは、GitHubやJiraのような構造化およびバランスの取れたデータセット上でBERTや他の双方向モデルに匹敵するパフォーマンスを示し、それぞれ0.93と0.98のマクロ平均F1スコアを達成した。 しかし、Stack Overflowのような不均衡な感情分布を持つ言語的に複雑なデータセットでは、デフォルトのGPT-4o-miniモデルはより優れた一般化を示し、微調整モデルの13.1\%と比較して85.3\%の精度を達成する。 これらの結果から,SEタスクの微調整と事前学習モデルの活用のトレードオフが浮き彫りになった。 本研究は,SEドメインに適した感情分析ツールの精細化に向けた今後の研究に向けて,モデルアーキテクチャとデータセット特性の整合性の重要性を浮き彫りにしている。

関連論文リスト

• TWSSenti: A Novel Hybrid Framework for Topic-Wise Sentiment Analysis on Social Media Using Transformer Models [0.0]
  本研究では,感情分類の精度と頑健性を改善するために,トランスフォーマーモデルを組み合わせたハイブリッドフレームワークについて検討する。 このフレームワークは、ノイズの多いデータ、コンテキストのあいまいさ、さまざまなデータセット間の一般化といった課題に対処する。 この研究は、ソーシャルメディアのモニタリング、顧客感情分析、世論の追跡など、現実世界のタスクへの適用性を強調している。
  論文  参考訳（メタデータ） (2025-04-14T05:44:11Z)
• Instruct-DeBERTa: A Hybrid Approach for Aspect-based Sentiment Analysis on Textual Reviews [2.0143010051030417]
  Aspect-based Sentiment Analysis (ABSA)は自然言語処理(NLP)における重要な課題である 従来の感情分析手法は、全体的な感情を決定するのに有用だが、特定の製品やサービス機能に関する暗黙の意見を見逃すことが多い。 本稿では、レキシコンベースのアプローチから機械学習まで、ABSA方法論の進化を包括的に概観する。
  論文  参考訳（メタデータ） (2024-08-23T16:31:07Z)
• Emotion Classification In Software Engineering Texts: A Comparative Analysis of Pre-trained Transformers Language Models [0.0]
  本稿では、GitHubとStack Overflowのベンチマークデータセットの2つの詳細な感情分類のために、最先端の事前訓練言語モデル(PTM)の比較分析を行う。 我々は、現在最高のパフォーマンスツールであるSEntiMojiに対して、BERT、RoBERTa、ALBERT、DeBERTa、CodeBERT、GraphCodeBERTの6つのトランスフォーマーモデルを評価する。 私たちの研究は、ソフトウェアエンジニアリングの文脈において、Anger、Love、Fear、Joy、Sadness、Surpriseといったニュアンスな感情を認識する上で、PTMがもたらす進歩の強力な証拠を提供します。
  論文  参考訳（メタデータ） (2024-01-19T17:43:38Z)
• End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
  本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。 我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
  論文  参考訳（メタデータ） (2023-05-25T10:58:46Z)
• BERT based sentiment analysis: A software engineering perspective [0.9176056742068814]
  本稿では、感情分析のためのBERTモデルを分析するための3つの戦略を提案する。 実験結果から, BERTに基づくアンサンブル手法と圧縮BERTモデルにより, 3つのデータセットのF1測定ツールよりも6-12%向上したことがわかった。
  論文  参考訳（メタデータ） (2021-06-04T16:28:26Z)
• Vision Transformers are Robust Learners [65.91359312429147]
  ビジョントランスフォーマー(ViT)の一般的な腐敗や摂動、分布シフト、自然逆転例に対する堅牢性について検討します。 ViTsが実際により堅牢な学習者である理由を説明するために、定量的および定性的な指標を提供する分析を提示します。
  論文  参考訳（メタデータ） (2021-05-17T02:39:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。