論文の概要: An Empirical Study of the Effectiveness of an Ensemble of Stand-alone
Sentiment Detection Tools for Software Engineering Datasets
- arxiv url: http://arxiv.org/abs/2111.03196v1
- Date: Thu, 4 Nov 2021 23:33:58 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-09 01:12:36.546045
- Title: An Empirical Study of the Effectiveness of an Ensemble of Stand-alone
Sentiment Detection Tools for Software Engineering Datasets
- Title（参考訳）: ソフトウェア工学データセットにおける単独感情検出ツールのアンサンブルの有効性に関する実証的研究
- Authors: Gias Uddin, Yann-Gael Gueheneuc, Foutse Khomh, Chanchal K Roy
- Abstract要約: ソフトウェアエンジニアリング(SE)における感覚分析は、多様な開発活動の分析とサポートを約束している。
本研究は, スタンドアロンSE型感情検知器の極性ラベルを組み合わせることで, アンサンブルエンジンの実現可能性について検討する。
我々は、極性ラベルと単語の袋を特徴として組み合わせ、教師付きツールであるSentiseadを開発した。
- 参考スコア（独自算出の注目度）: 13.660854474754947
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sentiment analysis in software engineering (SE) has shown promise to analyze
and support diverse development activities. We report the results of an
empirical study that we conducted to determine the feasibility of developing an
ensemble engine by combining the polarity labels of stand-alone SE-specific
sentiment detectors. Our study has two phases. In the first phase, we pick five
SE-specific sentiment detection tools from two recently published papers by Lin
et al. [31, 32], who first reported negative results with standalone sentiment
detectors and then proposed an improved SE-specific sentiment detector, POME
[31]. We report the study results on 17,581 units (sentences/documents) coming
from six currently available sentiment benchmarks for SE. We find that the
existing tools can be complementary to each other in 85-95% of the cases, i.e.,
one is wrong, but another is right. However, a majority voting-based ensemble
of those tools fails to improve the accuracy of sentiment detection. We develop
Sentisead, a supervised tool by combining the polarity labels and bag of words
as features. Sentisead improves the performance (F1-score) of the individual
tools by 4% (over Senti4SD [5]) - 100% (over POME [31]). In a second phase, we
compare and improve Sentisead infrastructure using Pre-trained Transformer
Models (PTMs). We find that a Sentisead infrastructure with RoBERTa as the
ensemble of the five stand-alone rule-based and shallow learning SE-specific
tools from Lin et al. [31, 32] offers the best F1-score of 0.805 across the six
datasets, while a stand-alone RoBERTa shows an F1-score of 0.801.
- Abstract（参考訳）: ソフトウェアエンジニアリング(SE)における感覚分析は、多様な開発活動の分析とサポートを約束している。
本研究は, スタンドアローンSE型感情検知器の極性ラベルを組み合わせることで, アンサンブルエンジン開発の可能性を検討するための実証実験の結果を報告する。
私たちの研究には2つの段階がある。
第1フェーズでは、Linらが最近発表した2つの論文から、SE固有の感情検出ツールを5つ選択する。
[31,32] は単独の感情検出器で陰性を最初に報告し,その後,se特異的感情検出器 pome [31] を改良した。
現在利用可能なSEの6つのセンチメントベンチマークから17,581ユニット(文/文書)の調査結果を報告する。
既存のツールは85～95%のケース、つまり1つが間違っていますが、もう1つが正しいケースで相互補完可能であることが分かりました。
しかし、投票ベースのツールの大多数は感情検出の精度を向上させることに失敗している。
極性ラベルと単語の袋を特徴として組み合わせ,教師付きツールであるseniseadを開発した。
Sentiseadは個々のツールのパフォーマンス(F1スコア)を4%(Senti4SD [5]以上)から100%(POME [31]以上)改善します。
第2フェーズでは,事前学習型トランスフォーマーモデル(PTM)を用いて,Sentiseadインフラストラクチャの比較と改善を行う。
我々は,RoBERTaを用いたSentiseadインフラストラクチャが,Linらによる5つのスタンドアロンルールベースおよび浅層学習SE固有のツールのアンサンブルであることを確認した。
6つのデータセットで最高のF1スコアが0.805、スタンドアローンのRoBERTaが0.801のF1スコアを示している。
関連論文リスト
- You Shall Know a Tool by the Traces it Leaves: The Predictability of Sentiment Analysis Tools [74.98850427240464]
感情分析ツールが同じデータセットで一致しないことを示す。
感傷的アノテーションに使用される感情ツールは,その結果から予測できることを示す。
論文 参考訳（メタデータ） (2024-10-18T17:27:38Z) - Implicit Sentiment Analysis Based on Chain of Thought Prompting [1.4582633500696451]
本稿では,思考の感覚分析(SAoT)フレームワークを紹介する。
このフレームワークはまず、常識と思考連鎖能力を用いてテキストの暗黙的な側面と意見を分析する。
このモデルは、レストランレビュー1120とラップトップレビュー638からなるSemEval 2014データセットで評価されている。
論文 参考訳（メタデータ） (2024-08-22T06:55:29Z) - Advancing LLM Reasoning Generalists with Preference Trees [119.57169648859707]
推論に最適化された大規模言語モデル(LLM)のスイートであるEulusを紹介する。
Eurusモデルは、様々なベンチマークでオープンソースのモデルの間で最先端の結果を得る。
論文 参考訳（メタデータ） (2024-04-02T16:25:30Z) - Tool-Augmented Reward Modeling [58.381678612409]
本稿では,外部環境へのアクセスによるRMの強化により,制約に対処するツール拡張された嗜好モデリング手法であるThemisを提案する。
我々の研究は、外部ツールをRMに統合し、様々な外部ソースとの相互作用を可能にすることを目的としている。
人間の評価では、テミスで訓練されたRLHFはベースラインと比較して平均32%の勝利率を得る。
論文 参考訳（メタデータ） (2023-10-02T09:47:40Z) - Improving Automated Program Repair with Domain Adaptation [0.0]
自動プログラム修復(APR)は、ソースコードのバグ/欠陥を修正するプロセスとして、自動化ツールによって定義される。
APRツールは最近、最先端のニューラルネットワーク処理(NLP)技術を活用することで、有望な結果を経験している。
論文 参考訳（メタデータ） (2022-12-21T23:52:09Z) - ERNIE-SPARSE: Learning Hierarchical Efficient Transformer Through
Regularized Self-Attention [48.697458429460184]
情報ボトルネック感度と異なる注目トポロジ間の不整合の2つの要因がスパース変換器の性能に影響を及ぼす可能性がある。
本稿では,ERNIE-Sparseというモデルを提案する。
i) 局所情報とグローバル情報を逐次統一する階層スパース変換器(HST) と、(ii) 注意トポロジの異なる変換器の距離を最小化する自己注意正規化(SAR) の2つの特徴がある。
論文 参考訳（メタデータ） (2022-03-23T08:47:01Z) - Understanding the Role of Affect Dimensions in Detecting Emotions from
Tweets: A Multi-task Approach [14.725717500450623]
本稿では,感情表現のカテゴリー的モデルと次元的モデルとの相関を利用して主観的分析を行うVADECを提案する。
マルチラベル感情分類と多次元感情回帰を共同トレーニングし、タスク間の関連性を活用します。
論文 参考訳（メタデータ） (2021-05-09T18:07:04Z) - Chest x-ray automated triage: a semiologic approach designed for
clinical implementation, exploiting different types of labels through a
combination of four Deep Learning architectures [83.48996461770017]
本研究では,異なる畳み込みアーキテクチャの後期融合に基づく深層学習手法を提案する。
公開胸部x線画像と機関アーカイブを組み合わせたトレーニングデータセットを4つ構築した。
4つの異なるディープラーニングアーキテクチャをトレーニングし、それらのアウトプットとレイトフュージョン戦略を組み合わせることで、統一されたツールを得ました。
論文 参考訳（メタデータ） (2020-12-23T14:38:35Z) - Using multiple ASR hypotheses to boost i18n NLU performance [1.6474262142781433]
現在の音声アシスタントは、自然言語理解(NLU)モジュールへの入力として、ASR(Automatic Speech Recognition)モジュールから得られる最良の仮説を使用する。
ドイツ語とポルトガル語の2つの言語データセットのステータスクオと比較し,NLU関連タスクの性能の変化について検討した。
論文 参考訳（メタデータ） (2020-12-07T22:37:38Z) - Tasty Burgers, Soggy Fries: Probing Aspect Robustness in Aspect-Based
Sentiment Analysis [71.40390724765903]
アスペクトベースの感情分析(ABSA)は、テキストの特定の側面に対する感情を予測することを目的としている。
既存のABSAテストセットは、モデルが対象のアスペクトの感情を非ターゲットのアスペクトと区別できるかどうかを調査するために使用できない。
我々は、対象の側面の感情から、対象でない側面の相反する感情を解き放つための新しい例を生成する。
論文 参考訳（メタデータ） (2020-09-16T22:38:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。