論文の概要: Sentiment Analysis in Software Engineering: Evaluating Generative Pre-trained Transformers
- arxiv url: http://arxiv.org/abs/2505.14692v1
- Date: Tue, 22 Apr 2025 14:19:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-25 10:52:49.062497
- Title: Sentiment Analysis in Software Engineering: Evaluating Generative Pre-trained Transformers
- Title（参考訳）: ソフトウェア工学における感性分析: 生成的事前学習型トランスフォーマーの評価
- Authors: KM Khalid Saifullah, Faiaz Azmain, Habiba Hye,
- Abstract要約: 本研究は,SE感情分析において, BERT などの双方向トランスフォーマー, 特に GPT-4o-mini に対する性能を系統的に評価する。
その結果、微調整のGPT-4o-miniは、GitHubやJiraのような構造化およびバランスの取れたデータセット上でBERTや他の双方向モデルに匹敵するパフォーマンスを示した。
Stack Overflowのような不均衡な感情分布を持つ言語的に複雑なデータセットでは、デフォルトのGPT-4o-miniモデルはより優れた一般化を示し、微調整モデルの13.1%と比べて85.3%の精度を実現している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sentiment analysis plays a crucial role in understanding developer interactions, issue resolutions, and project dynamics within software engineering (SE). While traditional SE-specific sentiment analysis tools have made significant strides, they often fail to account for the nuanced and context-dependent language inherent to the domain. This study systematically evaluates the performance of bidirectional transformers, such as BERT, against generative pre-trained transformers, specifically GPT-4o-mini, in SE sentiment analysis. Using datasets from GitHub, Stack Overflow, and Jira, we benchmark the models' capabilities with fine-tuned and default configurations. The results reveal that fine-tuned GPT-4o-mini performs comparable to BERT and other bidirectional models on structured and balanced datasets like GitHub and Jira, achieving macro-averaged F1-scores of 0.93 and 0.98, respectively. However, on linguistically complex datasets with imbalanced sentiment distributions, such as Stack Overflow, the default GPT-4o-mini model exhibits superior generalization, achieving an accuracy of 85.3\% compared to the fine-tuned model's 13.1\%. These findings highlight the trade-offs between fine-tuning and leveraging pre-trained models for SE tasks. The study underscores the importance of aligning model architectures with dataset characteristics to optimize performance and proposes directions for future research in refining sentiment analysis tools tailored to the SE domain.
- Abstract（参考訳）: センチメント分析は、開発者のインタラクション、課題解決、そしてソフトウェア工学(SE)におけるプロジェクトのダイナミクスを理解する上で重要な役割を担います。
従来のSE固有の感情分析ツールは大きな進歩を遂げているが、ドメイン固有のニュアンスとコンテキストに依存した言語を考慮できないことが多い。
本研究は,SE感情分析において, BERT などの双方向トランスフォーマー, 特に GPT-4o-mini に対する性能を系統的に評価する。
GitHub、Stack Overflow、Jiraのデータセットを使用して、微調整とデフォルト設定でモデルの機能をベンチマークします。
その結果、微細チューニングされたGPT-4o-miniは、GitHubやJiraのような構造化およびバランスの取れたデータセット上でBERTや他の双方向モデルに匹敵するパフォーマンスを示し、それぞれ0.93と0.98のマクロ平均F1スコアを達成した。
しかし、Stack Overflowのような不均衡な感情分布を持つ言語的に複雑なデータセットでは、デフォルトのGPT-4o-miniモデルはより優れた一般化を示し、微調整モデルの13.1\%と比較して85.3\%の精度を達成する。
これらの結果から,SEタスクの微調整と事前学習モデルの活用のトレードオフが浮き彫りになった。
本研究は,SEドメインに適した感情分析ツールの精細化に向けた今後の研究に向けて,モデルアーキテクチャとデータセット特性の整合性の重要性を浮き彫りにしている。
関連論文リスト
- Forecasting NCAA Basketball Outcomes with Deep Learning: A Comparative Study of LSTM and Transformer Models [0.0]
本研究は,2025年NCAAディビジョン1男子バスケットボール大会の結果を予測するための高度な深層学習手法を探求する。
私はLong Short-Term Memory(LSTM)とTransformerアーキテクチャの2つの洗練されたシーケンスベースモデルを実装しています。
予測の堅牢性と信頼性を評価するため,BCE(Binary Cross-Entropy)とブリア損失関数(Brier loss function)を用いて,各モデル変種を訓練する。
論文 参考訳（メタデータ） (2025-08-01T14:01:44Z) - TWSSenti: A Novel Hybrid Framework for Topic-Wise Sentiment Analysis on Social Media Using Transformer Models [0.0]
本研究では,感情分類の精度と頑健性を改善するために,トランスフォーマーモデルを組み合わせたハイブリッドフレームワークについて検討する。
このフレームワークは、ノイズの多いデータ、コンテキストのあいまいさ、さまざまなデータセット間の一般化といった課題に対処する。
この研究は、ソーシャルメディアのモニタリング、顧客感情分析、世論の追跡など、現実世界のタスクへの適用性を強調している。
論文 参考訳（メタデータ） (2025-04-14T05:44:11Z) - Instruct-DeBERTa: A Hybrid Approach for Aspect-based Sentiment Analysis on Textual Reviews [2.0143010051030417]
Aspect-based Sentiment Analysis (ABSA)は自然言語処理(NLP)における重要な課題である
従来の感情分析手法は、全体的な感情を決定するのに有用だが、特定の製品やサービス機能に関する暗黙の意見を見逃すことが多い。
本稿では、レキシコンベースのアプローチから機械学習まで、ABSA方法論の進化を包括的に概観する。
論文 参考訳（メタデータ） (2024-08-23T16:31:07Z) - Implicitly Guided Design with PropEn: Match your Data to Follow the Gradient [52.2669490431145]
PropEnは'matching'にインスパイアされている。
一致したデータセットによるトレーニングは、データ分布内に留まりながら、興味のある性質の勾配を近似することを示す。
論文 参考訳（メタデータ） (2024-05-28T11:30:19Z) - Emotion Classification In Software Engineering Texts: A Comparative
Analysis of Pre-trained Transformers Language Models [0.0]
本稿では、GitHubとStack Overflowのベンチマークデータセットの2つの詳細な感情分類のために、最先端の事前訓練言語モデル(PTM)の比較分析を行う。
我々は、現在最高のパフォーマンスツールであるSEntiMojiに対して、BERT、RoBERTa、ALBERT、DeBERTa、CodeBERT、GraphCodeBERTの6つのトランスフォーマーモデルを評価する。
私たちの研究は、ソフトウェアエンジニアリングの文脈において、Anger、Love、Fear、Joy、Sadness、Surpriseといったニュアンスな感情を認識する上で、PTMがもたらす進歩の強力な証拠を提供します。
論文 参考訳（メタデータ） (2024-01-19T17:43:38Z) - End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。
我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
論文 参考訳（メタデータ） (2023-05-25T10:58:46Z) - On the Role of Bidirectionality in Language Model Pre-Training [85.14614350372004]
本研究では,次のトークン予測,テキスト入力,ゼロショットプライミング,微調整における双方向性の役割について検討する。
最大6.7Bのパラメータを持つモデルをトレーニングし、スケールで一貫性のある相違点を見つけます。
論文 参考訳（メタデータ） (2022-05-24T02:25:05Z) - BERT based sentiment analysis: A software engineering perspective [0.9176056742068814]
本稿では、感情分析のためのBERTモデルを分析するための3つの戦略を提案する。
実験結果から, BERTに基づくアンサンブル手法と圧縮BERTモデルにより, 3つのデータセットのF1測定ツールよりも6-12%向上したことがわかった。
論文 参考訳（メタデータ） (2021-06-04T16:28:26Z) - Vision Transformers are Robust Learners [65.91359312429147]
ビジョントランスフォーマー(ViT)の一般的な腐敗や摂動、分布シフト、自然逆転例に対する堅牢性について検討します。
ViTsが実際により堅牢な学習者である理由を説明するために、定量的および定性的な指標を提供する分析を提示します。
論文 参考訳（メタデータ） (2021-05-17T02:39:22Z) - Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。
ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。
マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
論文 参考訳（メタデータ） (2020-12-29T23:43:16Z) - Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。
提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。
分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
論文 参考訳（メタデータ） (2020-11-13T10:53:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。