論文の概要: Emotion detection of social data: APIs comparative study
- arxiv url: http://arxiv.org/abs/2207.10654v1
- Date: Fri, 8 Jul 2022 08:47:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-24 11:45:20.339891
- Title: Emotion detection of social data: APIs comparative study
- Title(参考訳): 社会的データの感情検出 : APIの比較研究
- Authors: Bilal Abu-Salih, Mohammad Alhabashneh, Dengya Zhu, Albara Awajan,
Yazan Alshamaileh, Bashar Al-Shboul, Mohammad Alshraideh
- Abstract要約: 感情検出技術の発展は、企業セクターにとって非常に価値のある可能性として現れてきた。
本研究は,IBM Watson NLU, ParallelDots, Symanto-Ekman, Crystalfeel, Text to Emotion, Senpy, Textprobe, NLP Cloudの8つの技術を比較した。
選択したデータセットからの感情は、組み込みAPIを使用して導出される。
- 参考スコア(独自算出の注目度): 2.7708222692419735
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The development of emotion detection technology has emerged as a highly
valuable possibility in the corporate sector due to the nearly limitless uses
of this new discipline, particularly with the unceasing propagation of social
data. In recent years, the electronic marketplace has witnessed the
establishment of a large number of start-up businesses with an almost sole
focus on building new commercial and open-source tools and APIs for emotion
detection and recognition. Yet, these tools and APIs must be continuously
reviewed and evaluated, and their performances should be reported and
discussed. There is a lack of research to empirically compare current emotion
detection technologies in terms of the results obtained from each model using
the same textual dataset. Also, there is a lack of comparative studies that
apply benchmark comparison to social data. This study compares eight
technologies; IBM Watson NLU, ParallelDots, Symanto-Ekman, Crystalfeel, Text to
Emotion, Senpy, Textprobe, and NLP Cloud. The comparison was undertaken using
two different datasets. The emotions from the chosen datasets were then derived
using the incorporated APIs. The performance of these APIs was assessed using
the aggregated scores that they delivered as well as the theoretically proven
evaluation metrics such as the micro-average of accuracy, classification error,
precision, recall, and f1-score. Lastly, the assessment of these APIs
incorporating the evaluation measures is reported and discussed.
- Abstract(参考訳): 感情検出技術の発展は、この新しい分野のほとんど無限の用途、特に社会データの拡散の進展により、企業セクターにとって非常に価値の高い可能性として現れてきた。
近年、電子マーケットプレイスは、感情の検出と認識のための新しい商用およびオープンソースツールとapiの開発にほとんど焦点を絞った、多くのスタートアップビジネスの設立を目撃している。
しかし、これらのツールとAPIは継続的にレビューされ、評価されなければならない。
同じテキストデータセットを用いて各モデルから得られた結果から,現在の感情検出技術を実証的に比較する研究は乏しい。
また、ベンチマーク比較を社会データに適用する比較研究が不足している。
本研究は,IBM Watson NLU, ParallelDots, Symanto-Ekman, Crystalfeel, Text to Emotion, Senpy, Textprobe, NLP Cloudの8つの技術を比較した。
比較は2つの異なるデータセットを用いて行った。
選択したデータセットからの感情は、組み込みAPIを使用して導出される。
これらのAPIのパフォーマンスは、彼らが提供した集計スコアと、精度のマイクロ平均、分類誤差、精度、リコール、f1スコアなどの理論的に証明された評価指標を用いて評価された。
最後に,これらの評価手法を取り入れたAPIの評価について報告する。
関連論文リスト
- EmoBench: Evaluating the Emotional Intelligence of Large Language Models [73.60839120040887]
EmoBenchは、確立された心理学理論に基づいて、マシン感情知能(EI)の包括的な定義を提案するベンチマークである。
EmoBenchには、英語と中国語で400の手作りの質問が含まれている。
以上の結果から,既存の大規模言語モデルのEIと平均的な人間の間には,かなりのギャップがみられ,今後の研究に向けての有望な方向性が浮かび上がっている。
論文 参考訳(メタデータ) (2024-02-19T11:48:09Z) - Speech and Text-Based Emotion Recognizer [0.9168634432094885]
我々は、音声感情認識のための公開データセットからバランスの取れたコーパスを構築する。
最良システムはマルチモーダル音声とテキストベースモデルであり,UA(Unweighed Accuracy)+WA(Weighed Accuracy)を119.66のベースラインアルゴリズムと比較して157.57の性能を提供する。
論文 参考訳(メタデータ) (2023-12-10T05:17:39Z) - Data Augmentation for Emotion Detection in Small Imbalanced Text Data [0.0]
課題の1つは、感情で注釈付けされた利用可能なデータセットが不足していることだ。
我々は、小さな不均衡なデータセットに適用した場合に、データ拡張技術が与える影響を正確に調査した。
実験結果から,分類器モデルの訓練に拡張データを用いることで,大幅な改善が得られた。
論文 参考訳(メタデータ) (2023-10-25T21:29:36Z) - HAlf-MAsked Model for Named Entity Sentiment analysis [0.0]
RuSentNE-23の評価において、異なるトランスフォーマーベースのソリューション NESA について検討した。
この問題を克服するためのいくつかのアプローチを提案し、その中にはマスク付きエンティティで与えられたデータに渡される新たなパス技術がある。
提案モデルでは,RuSentNE-23評価データに対して最高の結果が得られ,エンティティレベルの感情分析における一貫性が向上することを示す。
論文 参考訳(メタデータ) (2023-08-30T06:53:24Z) - Evaluating Embedding APIs for Information Retrieval [51.24236853841468]
ドメインの一般化と多言語検索における既存のセマンティック埋め込みAPIの機能を評価する。
BM25の結果をAPIを使って再ランク付けすることは、予算に優しいアプローチであり、英語でもっとも効果的である。
非英語検索では、再ランク付けは結果を改善するが、BM25のハイブリッドモデルは高いコストで機能する。
論文 参考訳(メタデータ) (2023-05-10T16:40:52Z) - A Review of Benchmarks for Visual Defect Detection in the Manufacturing
Industry [63.52264764099532]
本稿では,既存のベンチマークを用いて,それらの特性とユースケースを比較し,公開する。
産業メトリクスの要求と試験手順についての研究は、研究されたベンチマークに提示され、適用されます。
論文 参考訳(メタデータ) (2023-05-05T07:44:23Z) - Persian Emotion Detection using ParsBERT and Imbalanced Data Handling
Approaches [0.0]
EmoParsとArmanEmoは、ペルシャ語のための新しい人間のラベル付き感情データセットである。
EmoParsを評価し,ArmanEmoと比較した。
我々のモデルはArmanEmoとEmoParsでそれぞれ0.81と0.76のマクロ平均F1スコアに達する。
論文 参考訳(メタデータ) (2022-11-15T10:22:49Z) - Multimodal Emotion Recognition with Modality-Pairwise Unsupervised
Contrastive Loss [80.79641247882012]
マルチモーダル感情認識(MER)のための教師なし特徴学習に着目した。
個別の感情を考慮し、モダリティテキスト、音声、視覚が使用される。
本手法は, 対のモダリティ間のコントラスト損失に基づくもので, MER文学における最初の試みである。
論文 参考訳(メタデータ) (2022-07-23T10:11:24Z) - A Study on the Evaluation of Generative Models [19.18642459565609]
潜在的生成モデルは、確率値を返さないが、近年は普及している。
本研究では,高品質な合成データセットの生成による生成モデルの評価指標について検討する。
FIDとISはいくつかのf-divergensと相関するが、クローズドモデルのランクは様々である。
論文 参考訳(メタデータ) (2022-06-22T09:27:31Z) - AES Systems Are Both Overstable And Oversensitive: Explaining Why And
Proposing Defenses [66.49753193098356]
スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。
のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。
高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
論文 参考訳(メタデータ) (2021-09-24T03:49:38Z) - Evaluation Toolkit For Robustness Testing Of Automatic Essay Scoring
Systems [64.4896118325552]
モデル逆算評価スキームと関連するメトリクスを用いて、現状のAESモデルを評価する。
AESモデルは非常に過大評価されていることがわかった。質問の話題に関係のない内容の重い修正(25%まで)でさえ、モデルが生み出すスコアを低下させることはない。
論文 参考訳(メタデータ) (2020-07-14T03:49:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。