論文の概要: Will Affective Computing Emerge from Foundation Models and General AI? A
First Evaluation on ChatGPT
- arxiv url: http://arxiv.org/abs/2303.03186v1
- Date: Fri, 3 Mar 2023 16:11:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-07 15:48:15.967535
- Title: Will Affective Computing Emerge from Foundation Models and General AI? A
First Evaluation on ChatGPT
- Title（参考訳）: Afive Computingはファンデーションモデルと汎用AIから生まれるのか?
ChatGPTに関する最初の評価
- Authors: Mostafa M. Amin, Erik Cambria, Bj\"orn W. Schuller
- Abstract要約: ChatGPTは多くの自然言語処理タスクに対して有能な性能を示している。
本稿では,3つの感情計算問題に対して,テキスト分類を行うChatGPTの能力を評価する。
- 参考スコア（独自算出の注目度）: 12.456183060562317
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: ChatGPT has shown the potential of emerging general artificial intelligence
capabilities, as it has demonstrated competent performance across many natural
language processing tasks. In this work, we evaluate the capabilities of
ChatGPT to perform text classification on three affective computing problems,
namely, big-five personality prediction, sentiment analysis, and suicide
tendency detection. We utilise three baselines, a robust language model
(RoBERTa-base), a legacy word model with pretrained embeddings (Word2Vec), and
a simple bag-of-words baseline (BoW). Results show that the RoBERTa trained for
a specific downstream task generally has a superior performance. On the other
hand, ChatGPT provides decent results, and is relatively comparable to the
Word2Vec and BoW baselines. ChatGPT further shows robustness against noisy
data, where Word2Vec models achieve worse results due to noise. Results
indicate that ChatGPT is a good generalist model that is capable of achieving
good results across various problems without any specialised training, however,
it is not as good as a specialised model for a downstream task.
- Abstract（参考訳）: chatgptは、多くの自然言語処理タスクで有能なパフォーマンスを示したため、新たな汎用人工知能機能の可能性を示した。
本研究では,ChatGPTの3つの感情的コンピューティング問題,すなわち5つの人格予測,感情分析,自殺傾向検出におけるテキスト分類機能を評価する。
我々は、3つのベースライン、ロバスト言語モデル(RoBERTa-base)、事前訓練された埋め込み(Word2Vec)を持つレガシーワードモデル(BoW)を利用する。
その結果、特定の下流タスクのために訓練されたロバータは一般的に優れた性能を示す。
一方、ChatGPTは十分な結果を提供しており、Word2VecやBoWのベースラインと比較的同等である。
さらにChatGPTは、Word2Vecモデルがノイズによって悪化するノイズデータに対して堅牢性を示す。
以上の結果から,ChatGPTは様々な問題に対して優れた結果が得られる優れた一般モデルであるが,下流タスクの特化モデルほど良いものではないことが示唆された。
関連論文リスト
- An Energy-based Model for Word-level AutoCompletion in Computer-aided Translation [97.3797716862478]
Word-level AutoCompletion (WLAC) は、コンピュータ支援翻訳における報奨だが挑戦的なタスクである。
既存の作業は、入力コンテキストの隠れベクターを対応するラベルにマッピングするニューラルネットワークに基づく分類モデルを通じて、このタスクに対処する。
そこで本研究では,WLACのエネルギーモデルを提案する。
論文 参考訳（メタデータ） (2024-07-29T15:07:19Z) - A Wide Evaluation of ChatGPT on Affective Computing Tasks [32.557383931586266]
GPT-4 と GPT-3.5 という ChatGPT モデルの13 個の感情計算問題に対する性能について検討した。
我々はChatGPTを、エンドツーエンドのリカレントニューラルネットワークやトランスフォーマーといった従来のNLP手法と比較する。
この結果は、ChatGPTモデルが幅広い感情的コンピューティング問題において創発的能力を示すものである。
論文 参考訳（メタデータ） (2023-08-26T16:10:30Z) - Can ChatGPT's Responses Boost Traditional Natural Language Processing? [12.456183060562317]
ChatGPTは、問題解決のために特に訓練されることなく、新しい能力の可能性を示してきた。
以前の研究は、感情的なコンピューティングタスクでこれらの出現する能力を実証した。
私たちは、ChatGPTが既存の特殊化モデルを融合させる新しい知識を持っているかどうかを調べてこれを拡張します。
論文 参考訳（メタデータ） (2023-07-06T15:42:05Z) - ChatGPT-Crawler: Find out if ChatGPT really knows what it's talking
about [15.19126287569545]
本研究では,異なる対話型QAコーパスからChatGPTが生成する応答について検討する。
この研究はBERT類似度スコアを用いて、これらの回答を正しい回答と比較し、自然言語推論(NLI)ラベルを得る。
調査では、ChatGPTが質問に対する誤った回答を提供し、モデルがエラーを起こしやすい領域について洞察を与えている事例を特定した。
論文 参考訳（メタデータ） (2023-04-06T18:42:47Z) - Is ChatGPT a Good NLG Evaluator? A Preliminary Study [121.77986688862302]
NLG測定値として信頼性を示すため,ChatGPTのメタ評価を行った。
実験の結果,ChatGPTは従来の自動測定値と比較して,人間の判断と最先端あるいは競合的な相関を達成できた。
我々の予備研究は、汎用的な信頼性のあるNLGメトリックの出現を促すことを願っている。
論文 参考訳（メタデータ） (2023-03-07T16:57:20Z) - ChatGPT: Jack of all trades, master of none [4.693597927153063]
OpenAIはChat Generative Pre-trained Transformer (ChatGPT)をリリースした。
25種類のNLPタスクにおけるChatGPTの機能について検討した。
われわれはChatGPTとGPT-4のプロンプト処理を自動化し,49k以上の応答を解析した。
論文 参考訳（メタデータ） (2023-02-21T15:20:37Z) - Can ChatGPT Understand Too? A Comparative Study on ChatGPT and
Fine-tuned BERT [103.57103957631067]
チャットGPTは、人間の質問に対する流動的で高品質な応答を生成できるため、大きな注目を集めている。
そこで我々は,ChatGPTの理解能力を,最も人気のあるGLUEベンチマークで評価し,より詳細な4種類のBERTスタイルのモデルと比較した。
2)ChatGPTは,感情分析や質問応答タスクにおいて,BERTと同等のパフォーマンスを達成している。
論文 参考訳（メタデータ） (2023-02-19T12:29:33Z) - Is ChatGPT a General-Purpose Natural Language Processing Task Solver? [113.22611481694825]
大規模言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクをゼロショットで実行できることを実証している。
近年、ChatGPTのデビューは自然言語処理(NLP)コミュニティから大きな注目を集めている。
ChatGPTが多くのNLPタスクをゼロショットで実行できるジェネラリストモデルとして機能するかどうかはまだ分かっていない。
論文 参考訳（メタデータ） (2023-02-08T09:44:51Z) - A Causal Framework to Quantify the Robustness of Mathematical Reasoning
with Language Models [81.15974174627785]
入力空間における直接的介入に対する頑健さと感度の観点から言語モデルの振舞いについて検討する。
しかし, GPT-3 Davinciモデル(175B)は, 他のGPTモデルと比較して, 頑健さと感度の両面で劇的な改善を実現している。
論文 参考訳（メタデータ） (2022-10-21T15:12:37Z) - Language Models are Few-Shot Learners [61.36677350504291]
言語モデルのスケールアップにより、タスクに依存しない、少数ショットのパフォーマンスが大幅に向上することを示す。
我々は、1750億のパラメータを持つ自動回帰言語モデルであるGPT-3を訓練し、その性能を数ショットでテストする。
GPT-3は、翻訳、質問応答、クローズタスクを含む多くのNLPデータセットで高いパフォーマンスを達成する。
論文 参考訳（メタデータ） (2020-05-28T17:29:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。