論文の概要: Towards Trustworthy Sentiment Analysis in Software Engineering: Dataset Characteristics and Tool Selection
- arxiv url: http://arxiv.org/abs/2507.02137v2
- Date: Wed, 09 Jul 2025 23:22:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-11 12:24:00.038832
- Title: Towards Trustworthy Sentiment Analysis in Software Engineering: Dataset Characteristics and Tool Selection
- Title(参考訳): ソフトウェア工学における信頼に値する感性分析に向けて:データセットの特徴とツールの選択
- Authors: Martin Obaidi, Marc Herrmann, Jil Klünder, Kurt Schneider,
- Abstract要約: 5つのプラットフォームから10の開発者コミュニケーションデータセットの言語的特徴と統計的特徴を分析した。
本稿では,新しいデータセットに対して適切な感情分析ツールを推奨するマッピング手法とアンケートを提案する。
- 参考スコア(独自算出の注目度): 2.756862194100542
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Software development relies heavily on text-based communication, making sentiment analysis a valuable tool for understanding team dynamics and supporting trustworthy AI-driven analytics in requirements engineering. However, existing sentiment analysis tools often perform inconsistently across datasets from different platforms, due to variations in communication style and content. In this study, we analyze linguistic and statistical features of 10 developer communication datasets from five platforms and evaluate the performance of 14 sentiment analysis tools. Based on these results, we propose a mapping approach and questionnaire that recommends suitable sentiment analysis tools for new datasets, using their characteristic features as input. Our results show that dataset characteristics can be leveraged to improve tool selection, as platforms differ substantially in both linguistic and statistical properties. While transformer-based models such as SetFit and RoBERTa consistently achieve strong results, tool effectiveness remains context-dependent. Our approach supports researchers and practitioners in selecting trustworthy tools for sentiment analysis in software engineering, while highlighting the need for ongoing evaluation as communication contexts evolve.
- Abstract(参考訳): ソフトウェア開発は、テキストベースのコミュニケーションに大きく依存しており、感情分析をチームのダイナミクスを理解し、要求工学における信頼できるAI駆動分析をサポートするための貴重なツールにする。
しかし、既存の感情分析ツールは、コミュニケーションスタイルやコンテンツの変化のために、異なるプラットフォームからのデータセット間で矛盾なく機能することが多い。
本研究では,5つのプラットフォームから得られた10の開発者コミュニケーションデータセットの言語的特徴と統計的特徴を分析し,14の感情分析ツールの性能を評価する。
これらの結果に基づいて,新しいデータセットに適切な感情分析ツールを推奨するマッピング手法とアンケートを提案し,その特徴を入力として利用する。
その結果,言語特性と統計特性の両面において,プラットフォームが大きく異なるため,データセット特性を利用してツールの選択を改善することが可能であることが示唆された。
SetFitやRoBERTaのようなトランスフォーマーベースのモデルは常に強力な結果が得られるが、ツールの有効性は文脈に依存している。
我々のアプローチは、ソフトウェア工学における感情分析のための信頼できるツールの選択を研究者や実践者が支援し、コミュニケーションコンテキストが進化するにつれて継続的な評価の必要性を強調します。
関連論文リスト
- Sentiment Analysis in Software Engineering: Evaluating Generative Pre-trained Transformers [0.0]
本研究は,SE感情分析において, BERT などの双方向トランスフォーマー, 特に GPT-4o-mini に対する性能を系統的に評価する。
その結果、微調整のGPT-4o-miniは、GitHubやJiraのような構造化およびバランスの取れたデータセット上でBERTや他の双方向モデルに匹敵するパフォーマンスを示した。
Stack Overflowのような不均衡な感情分布を持つ言語的に複雑なデータセットでは、デフォルトのGPT-4o-miniモデルはより優れた一般化を示し、微調整モデルの13.1%と比べて85.3%の精度を実現している。
論文 参考訳(メタデータ) (2025-04-22T14:19:25Z) - Sentiment Analysis Tools in Software Engineering: A Systematic Mapping Study [43.44042227196935]
私たちは、特定の目的のために、開発者やステークホルダーが感情分析ツールを選択するのを助けることを目的としています。
本研究は,(1)アプリケーション領域,(2)目的,(3)使用済みデータセット,(4)感情分析ツール開発へのアプローチ,(5)既存のツールの利用,(6)研究者が直面する困難について,106の論文から得られた知見を要約したものである。
論文 参考訳(メタデータ) (2025-02-11T19:02:25Z) - On the Limitations of Combining Sentiment Analysis Tools in a Cross-Platform Setting [2.3818760805173342]
投票分類器における3つの感情分析ツールの組み合わせを信頼性と性能に応じて分析する。
結果として、この種のツールの組み合わせは、プラットフォーム内設定において良い選択であることが示された。
しかし、多数決は必ずしもクロスプラットフォームのドメインに適用する場合により良い結果をもたらすとは限らない。
論文 参考訳(メタデータ) (2025-02-10T16:51:51Z) - ToolHop: A Query-Driven Benchmark for Evaluating Large Language Models in Multi-Hop Tool Use [51.43211624452462]
995のユーザクエリと3,912の関連ツールからなるデータセットであるToolHopを提示する。
ToolHopは、多様なクエリ、意味のある相互依存性、ローカル実行可能なツール、詳細なフィードバック、検証可能な回答を保証する。
5つのモデルファミリーにまたがる14のLSMを評価し、マルチホップツールの使用シナリオを扱う上で重要な課題を明らかにした。
論文 参考訳(メタデータ) (2025-01-05T11:06:55Z) - You Shall Know a Tool by the Traces it Leaves: The Predictability of Sentiment Analysis Tools [74.98850427240464]
感情分析ツールが同じデータセットで一致しないことを示す。
感傷的アノテーションに使用される感情ツールは,その結果から予測できることを示す。
論文 参考訳(メタデータ) (2024-10-18T17:27:38Z) - Data Analysis in the Era of Generative AI [56.44807642944589]
本稿では,AIを活用したデータ分析ツールの可能性について考察する。
我々は、大規模言語とマルチモーダルモデルの出現が、データ分析ワークフローの様々な段階を強化する新しい機会を提供する方法について検討する。
次に、直感的なインタラクションを促進し、ユーザ信頼を構築し、AI支援分析ワークフローを複数のアプリにわたって合理化するための、人間中心の設計原則を調べます。
論文 参考訳(メタデータ) (2024-09-27T06:31:03Z) - Efficacy of static analysis tools for software defect detection on open-source projects [0.0]
この調査では、SonarQube、PMD、Checkstyle、FindBugsといった一般的な分析ツールを使って比較を行った。
その結果,SonarQubeの欠陥検出は,他のツールと比較してかなり優れていることがわかった。
論文 参考訳(メタデータ) (2024-05-20T19:05:32Z) - Revisiting Sentiment Analysis for Software Engineering in the Era of Large Language Models [11.388023221294686]
本研究では,ソフトウェア工学のタスクにおいて,小さな言語モデル (sLLM) を微調整したラベル付きデータ不足に対処する際の大規模言語モデル (bLLM) について検討する。
5つの確立されたデータセットを用いて、ゼロショットと少数ショットのシナリオで3つのオープンソースのbLLMを評価する。
実験により,bLLMsは訓練データと不均衡分布に制限されたデータセットに対して最先端の性能を示すことが示された。
論文 参考訳(メタデータ) (2023-10-17T09:53:03Z) - Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。
提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。
分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
論文 参考訳(メタデータ) (2020-11-13T10:53:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。