論文の概要: Benchmarking ChatGPT and DeepSeek in April 2025: A Novel Dual Perspective Sentiment Analysis Using Lexicon-Based and Deep Learning Approaches
- arxiv url: http://arxiv.org/abs/2509.19346v1
- Date: Tue, 16 Sep 2025 20:58:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-25 20:53:19.498681
- Title: Benchmarking ChatGPT and DeepSeek in April 2025: A Novel Dual Perspective Sentiment Analysis Using Lexicon-Based and Deep Learning Approaches
- Title(参考訳): 2025年4月におけるChatGPTとDeepSeekのベンチマーク: 語彙に基づく深層学習アプローチを用いた新しい双対視点知覚分析
- Authors: Maryam Mahdi Alhusseini, Mohammad-Reza Feizi-Derakhshi,
- Abstract要約: 本研究は,Google Play StoreのChatGPTとDeepSeekのユーザレビューを分析するための,新しい二重パースペクティブアプローチを提案する。
語彙に基づく感情分析(TextBlob)と、畳み込みニューラルネットワーク(CNN)やBidirectional Long Short Term Memory(Bi LSTM)ネットワークを含むディープラーニングの分類モデルを統合する。
- 参考スコア(独自算出の注目度): 1.4968127458030251
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This study presents a novel dual-perspective approach to analyzing user reviews for ChatGPT and DeepSeek on the Google Play Store, integrating lexicon-based sentiment analysis (TextBlob) with deep learning classification models, including Convolutional Neural Networks (CNN) and Bidirectional Long Short Term Memory (Bi LSTM) Networks. Unlike prior research, which focuses on either lexicon-based strategies or predictive deep learning models in isolation, this study conducts an extensive investigation into user satisfaction with Large Language Model (LLM) based applications. A Dataset of 4,000 authentic user reviews was collected, which were carefully preprocessed and subjected to oversampling to achieve balanced classes. The balanced test set of 1,700 Reviews were used for model testing. Results from the experiments reveal that ChatGPT received significantly more positive sentiment than DeepSeek. Furthermore, deep learning based classification demonstrated superior performance over lexicon analysis, with CNN outperforming Bi-LSTM by achieving 96.41 percent accuracy and near perfect classification of negative reviews, alongside high F1-scores for neutral and positive sentiments. This research sets a new methodological standard for measuring sentiment in LLM-based applications and provides practical insights for developers and researchers seeking to improve user-centric AI system design.
- Abstract(参考訳): 本研究は,Google Play StoreのChatGPTとDeepSeekのユーザレビューを分析するための,新たなデュアルパースペクティブアプローチを提案し,語彙に基づく感情分析(TextBlob)と,畳み込みニューラルネットワーク(CNN)や双方向長短期記憶(Bidirectional Long Term Memory)ネットワークを含むディープラーニング分類モデルを統合する。
辞書ベースの戦略や予測的深層学習モデルに単独で焦点をあてた先行研究とは異なり、この研究はLarge Language Model (LLM)ベースのアプリケーションによるユーザ満足度に関する広範な調査を行っている。
4000の認証されたユーザレビューのデータセットが収集され、慎重に事前処理され、バランスの取れたクラスを達成するためにオーバーサンプリングされる。
1,700台のレビューのバランスの取れたテストセットがモデルテストに使用された。
実験の結果、ChatGPTはDeepSeekよりもかなり肯定的な感情を受けたことが明らかになった。
さらに、ディープラーニングに基づく分類は、辞書分析よりも優れた性能を示し、CNNは96.41パーセントの精度と否定的レビューのほぼ完全な分類を達成し、中立感と肯定的な感情に対する高いF1スコアとともに、Bi-LSTMを上回った。
本研究は、LLMベースのアプリケーションにおける感情を測定するための新しい方法論標準を設定し、ユーザー中心のAIシステム設計の改善を目指す開発者や研究者に実践的な洞察を提供する。
関連論文リスト
- Revisiting Nearest Neighbor for Tabular Data: A Deep Tabular Baseline Two Decades Later [76.66498833720411]
K$-nearest neighbors (KNN) はもともと,インスタンス間のセマンティックな類似性を捉えるために線形投影を学習するために設計されたものだ。
意外なことに、SGDを用いたNAAの実装と次元減少のない実装は、表データの良好な性能をすでに達成しています。
本稿では、損失関数、予測戦略、深いアーキテクチャなど、これらの改善の背景にある要因を分析して、論文を締めくくる。
論文 参考訳(メタデータ) (2024-07-03T16:38:57Z) - SOUL: Towards Sentiment and Opinion Understanding of Language [96.74878032417054]
我々は、言語感覚とオピニオン理解(SOUL)と呼ばれる新しいタスクを提案する。
SOULは2つのサブタスクを通して感情理解を評価することを目的としている:レビュー(RC)と正当化生成(JG)。
論文 参考訳(メタデータ) (2023-10-27T06:48:48Z) - The Languini Kitchen: Enabling Language Modelling Research at Different
Scales of Compute [66.84421705029624]
本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。
私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。
この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
論文 参考訳(メタデータ) (2023-09-20T10:31:17Z) - Unveiling the Sentinels: Assessing AI Performance in Cybersecurity Peer
Review [4.081120388114928]
サイバーセキュリティの分野では、ダブルブラインドピアレビューの実践がデファクトスタンダードである。
本稿では、ピアレビューの聖杯に触れ、学術的セキュリティカンファレンスのレビューにおけるAIのパフォーマンスについて光を当てることを目的としている。
本研究では,人間レビュアーと機械学習モデルから得られた結果を比較し,評価結果の予測可能性について検討する。
論文 参考訳(メタデータ) (2023-09-11T13:51:40Z) - Adversarial Capsule Networks for Romanian Satire Detection and Sentiment
Analysis [0.13048920509133807]
サファイア検出と感情分析は、自然言語処理タスクを集中的に探求している。
研究資源が少ない言語では、文字レベルの逆数過程に基づく人工的な例を生成する方法がある。
本研究では, よく知られたNLPモデルの改良を行い, 対角訓練とカプセルネットワークについて検討する。
提案したフレームワークは2つのタスクの既存の手法より優れており、99.08%の精度が達成されている。
論文 参考訳(メタデータ) (2023-06-13T15:23:44Z) - Pre-trained Embeddings for Entity Resolution: An Experimental Analysis
[Experiment, Analysis & Benchmark] [65.11858854040544]
我々は、17の確立されたベンチマークデータセットに対して、12のポピュラー言語モデルの徹底的な実験分析を行う。
まず、全ての入力エンティティを高密度な埋め込みベクトルに変換するためのベクトル化のオーバーヘッドを評価する。
次に,そのブロッキング性能を調査し,詳細なスケーラビリティ解析を行い,最先端のディープラーニングベースのブロッキング手法と比較する。
第3に、教師なしマッチングと教師なしマッチングの両方に対して、相対的な性能で締めくくります。
論文 参考訳(メタデータ) (2023-04-24T08:53:54Z) - UniASM: Binary Code Similarity Detection without Fine-tuning [2.2329530239800035]
モデルがバイナリコードの複雑なニュアンスをキャプチャすることを保証するために,新しいリッチ・セマンティック関数表現手法を提案する。
新たに設計された2つのトレーニングタスクを含むUniASMという,UniLMベースのバイナリコード埋め込みモデルを紹介した。
実験の結果,UniASMは評価データセットに対する最先端(SOTA)アプローチよりも優れていた。
論文 参考訳(メタデータ) (2022-10-28T14:04:57Z) - A Large Scale Search Dataset for Unbiased Learning to Rank [51.97967284268577]
我々は、非バイアス学習のためのBaidu-ULTRデータセットをランク付けする。
ランダムに12億の検索セッションと7,008のエキスパートアノテートクエリをサンプリングする。
1)本来のセマンティックな特徴と,使用が容易な事前学習言語モデル,(2)位置,表示高さ,抽象表現などの十分な表示情報,(3)居住時間のような検索結果ページ(SERP)に対するリッチなユーザフィードバックを提供する。
論文 参考訳(メタデータ) (2022-07-07T02:37:25Z) - Robustness Gym: Unifying the NLP Evaluation Landscape [91.80175115162218]
ディープニューラルネットワークは、現実のシステムにデプロイすると脆くなることが多い。
最近の研究は、そのようなモデルの堅牢性をテストすることに重点を置いている。
単純かつ評価可能なツールキットであるRobustness Gymの形で解を提案する。
論文 参考訳(メタデータ) (2021-01-13T02:37:54Z) - Sentiment Analysis for Sinhala Language using Deep Learning Techniques [1.0499611180329804]
本稿では,RNN,LSTM,Bi-LSTM,カプセルネットワークなどの標準シーケンスモデルの利用について,より包括的な研究を行った。
この4つのクラスに注釈を付けた15059年のシンハラのニュースコメントと、948万のトークンからなるコーパスのデータセットが公開されている。
論文 参考訳(メタデータ) (2020-11-14T12:02:30Z) - Bidirectional Encoder Representations from Transformers (BERT): A
sentiment analysis odyssey [0.0]
本研究は,(1)高度で広く使用されている4つの感情分析技術の相対的有効性,(2)テキストデータからの感情分析における事前学習型深層学習 BERT モデルの有効性について考察した。
我々は、インターネット映画データベース(IMDB)に投稿された5万本の映画レビューのコーパスを、Sent WordNetレキシコン、ロジスティック回帰、LSTM、BERTを用いて解析するために公開している。
論文 参考訳(メタデータ) (2020-07-02T14:23:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。