論文の概要: On Prompt Sensitivity of ChatGPT in Affective Computing
- arxiv url: http://arxiv.org/abs/2403.14006v1
- Date: Wed, 20 Mar 2024 22:11:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-22 17:59:26.182837
- Title: On Prompt Sensitivity of ChatGPT in Affective Computing
- Title（参考訳）: 影響計算におけるChatGPTのプロンプト感度について
- Authors: Mostafa M. Amin, Björn W. Schuller,
- Abstract要約: 本稿では,異なるプロンプトや生成パラメータに基づいて基礎モデルの性能評価と評価を行う手法を提案する。
感情分析, 毒性検出, 皮肉検出の3つの主要な問題に対して, 感情計算の範囲内でChatGPTの評価を行った。
- 参考スコア（独自算出の注目度）: 46.93320580613236
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent studies have demonstrated the emerging capabilities of foundation models like ChatGPT in several fields, including affective computing. However, accessing these emerging capabilities is facilitated through prompt engineering. Despite the existence of some prompting techniques, the field is still rapidly evolving and many prompting ideas still require investigation. In this work, we introduce a method to evaluate and investigate the sensitivity of the performance of foundation models based on different prompts or generation parameters. We perform our evaluation on ChatGPT within the scope of affective computing on three major problems, namely sentiment analysis, toxicity detection, and sarcasm detection. First, we carry out a sensitivity analysis on pivotal parameters in auto-regressive text generation, specifically the temperature parameter $T$ and the top-$p$ parameter in Nucleus sampling, dictating how conservative or creative the model should be during generation. Furthermore, we explore the efficacy of several prompting ideas, where we explore how giving different incentives or structures affect the performance. Our evaluation takes into consideration performance measures on the affective computing tasks, and the effectiveness of the model to follow the stated instructions, hence generating easy-to-parse responses to be smoothly used in downstream applications.
- Abstract（参考訳）: 最近の研究は、ChatGPTのような基礎モデルが、感情コンピューティングを含むいくつかの分野で出現する可能性を実証している。
しかし、これらの新興機能へのアクセスは、迅速なエンジニアリングによって容易になる。
いくつかの急進的な技術が存在するにもかかわらず、この分野はまだ急速に進化しており、多くの急進的なアイデアは依然として調査を必要としている。
本研究では,異なるプロンプトや生成パラメータに基づいて基礎モデルの性能評価と評価を行う手法を提案する。
感情分析, 毒性検出, 皮肉検出の3つの主要な問題に対して, 感情計算の範囲内でChatGPTの評価を行った。
まず、自動回帰テキスト生成におけるピボットパラメータ、特にNucleusサンプリングにおける温度パラメータ$T$とトップ$p$パラメータの感度分析を行い、生成中のモデルの保守性や創造性を決定する。
さらに、異なるインセンティブや構造を与えることがパフォーマンスに与える影響について検討する。
本評価では, 情意計算タスクの性能評価と, 提案した指示に従うモデルの有効性を考慮し, 下流アプリケーションでスムーズに使用可能なパース応答を生成する。
関連論文リスト
- A Closer Look at System Prompt Robustness [2.5525497052179995]
開発者は、重要なコンテキスト、出力フォーマット、パーソナリティ、ガードレール、コンテンツポリシー、安全対策を指定するためのシステムプロンプトに依存する。
実際には、モデルは関連するガードレールを考慮することを忘れたり、システムとユーザ間の矛盾する要求を解決するのに失敗することが多い。
OpenAIのGPTストアとHuggingFaceのHuggingChatから収集されたプロンプトに基づいて、現実的な新しい評価と微調整データセットを作成します。
論文 参考訳（メタデータ） (2025-02-15T18:10:45Z) - Likelihood as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
言語モデルの性能の効果的な指標としての可能性を示す。
提案手法は,より優れた性能をもたらすプロンプトの選択と構築のための尺度として,疑似可能性を利用する2つの手法を提案する。
論文 参考訳（メタデータ） (2024-11-12T13:14:09Z) - Impacts of floating-point non-associativity on reproducibility for HPC and deep learning applications [0.0]
浮動小数点非連想性に起因する並列プログラムにおける変数の実行は、アルゴリズムに大きな影響を与えることが知られている。
並列プログラミングモデルにおける浮動小数点非連想性の統計的性質について検討する。
我々は、ディープラーニングのためのGPUデプロイメントのコンテキスト内で、最近追加されたPyTorchの決定論的オプションについて検討する。
論文 参考訳（メタデータ） (2024-08-09T16:07:37Z) - How are Prompts Different in Terms of Sensitivity? [50.67313477651395]
本稿では,関数の感度に基づく包括的即時解析を提案する。
出力に対する入力トークンの関連性に異なるプロンプトがどう影響するかを実証的に示すために、勾配に基づく唾液度スコアを使用する。
本稿では, 感度推定をペナルティ項として組み込んだ感度認識復号法を標準グリーディ復号法で導入する。
論文 参考訳（メタデータ） (2023-11-13T10:52:01Z) - Automatic Sensor-free Affect Detection: A Systematic Literature Review [0.0]
本稿では,センサレス感情検出に関する総合的な文献レビューを行う。
この分野の明らかな成熟度は、モデルの一貫した性能によって証明されているにもかかわらず、将来の研究には十分な範囲がある。
モデル開発プラクティスやメソッドの洗練も必要です。
論文 参考訳（メタデータ） (2023-10-11T13:24:27Z) - A Wide Evaluation of ChatGPT on Affective Computing Tasks [32.557383931586266]
GPT-4 と GPT-3.5 という ChatGPT モデルの13 個の感情計算問題に対する性能について検討した。
我々はChatGPTを、エンドツーエンドのリカレントニューラルネットワークやトランスフォーマーといった従来のNLP手法と比較する。
この結果は、ChatGPTモデルが幅広い感情的コンピューティング問題において創発的能力を示すものである。
論文 参考訳（メタデータ） (2023-08-26T16:10:30Z) - To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。
我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。
評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
論文 参考訳（メタデータ） (2023-04-04T03:04:28Z) - A Causal Framework to Quantify the Robustness of Mathematical Reasoning
with Language Models [81.15974174627785]
入力空間における直接的介入に対する頑健さと感度の観点から言語モデルの振舞いについて検討する。
しかし, GPT-3 Davinciモデル(175B)は, 他のGPTモデルと比較して, 頑健さと感度の両面で劇的な改善を実現している。
論文 参考訳（メタデータ） (2022-10-21T15:12:37Z) - Artificial Text Detection via Examining the Topology of Attention Maps [58.46367297712477]
トポロジカルデータ分析(TDA)に基づく3種類の解釈可能なトポロジカル特徴を提案する。
BERTモデルから派生した特徴が3つの共通データセットにおいて、カウントベースとニューラルベースベースラインを最大10%上回っていることを実証的に示す。
特徴の探索解析は表面に対する感度と構文的性質を明らかにしている。
論文 参考訳（メタデータ） (2021-09-10T12:13:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。