論文の概要: Quality Assurance of A GPT-based Sentiment Analysis System: Adversarial Review Data Generation and Detection

• arxiv url: http://arxiv.org/abs/2310.05312v1
• Date: Mon, 9 Oct 2023 00:01:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-23 04:16:02.917680
• Title: Quality Assurance of A GPT-based Sentiment Analysis System: Adversarial Review Data Generation and Detection
• Title（参考訳）: GPTを用いた感性分析システムの品質保証:データ生成・検出の逆レビュー
• Authors: Tinghui Ouyang, Hoang-Quoc Nguyen-Son, Huy H. Nguyen, Isao Echizen, Yoshiki Seo
• Abstract要約: GPTに基づく感情分析モデルが最初に構築され、AI品質分析の基準として研究されている。 データ品質に関する品質分析は、コンテンツベースのアプローチを用いて、合理的な敵のレビューコメントを生成することを含む、実施される。 Amazon.comのレビューデータと微調整のGPTモデルに基づく実験が実施された。
• 参考スコア（独自算出の注目度）: 10.567108680774782
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Large Language Models (LLMs) have been garnering significant attention of AI researchers, especially following the widespread popularity of ChatGPT. However, due to LLMs' intricate architecture and vast parameters, several concerns and challenges regarding their quality assurance require to be addressed. In this paper, a fine-tuned GPT-based sentiment analysis model is first constructed and studied as the reference in AI quality analysis. Then, the quality analysis related to data adequacy is implemented, including employing the content-based approach to generate reasonable adversarial review comments as the wrongly-annotated data, and developing surprise adequacy (SA)-based techniques to detect these abnormal data. Experiments based on Amazon.com review data and a fine-tuned GPT model were implemented. Results were thoroughly discussed from the perspective of AI quality assurance to present the quality analysis of an LLM model on generated adversarial textual data and the effectiveness of using SA on anomaly detection in data quality assurance.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、特にChatGPTの普及以降、AI研究者の注目を集めている。 しかし、LLMの複雑なアーキテクチャと膨大なパラメータのため、品質保証に関するいくつかの懸念と課題に対処する必要がある。 本稿では,AI品質分析の基準として,GPTを用いた感情分析モデルの構築と研究を行った。 そして、コンテンツベースのアプローチを用いて、適切な相手レビューコメントを誤った注釈付きデータとして生成することや、これらの異常データを検出するためのサプライズアデクシー(SA)ベースの技術を開発することを含む、データ妥当性に関する品質分析を実施する。 Amazon.comのレビューデータと微調整のGPTモデルに基づく実験が実施された。 結果は,ai品質保証の観点から徹底的に議論され,生成された逆行文データに対するllmモデルの品質分析と,データ品質保証におけるsaを用いた異常検出の有効性について述べる。

関連論文リスト

• Are AI Detectors Good Enough? A Survey on Quality of Datasets With Machine-Generated Texts [0.0]
  AIフラグメントを備えた膨大な数の検出器とコレクションが出現し、いくつかの検出方法は認識品質を99.9%まで向上させた。 検出器は実際に非常に信頼性が高いのか、あるいは評価データセットの質が低いことから高いベンチマークスコアを得るのか? 本稿では,AI生成コンテンツ検出専用のコンペからのデータセットを体系的にレビューし,AI生成フラグメントを含むデータセットの品質を評価する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-18T17:59:57Z)
• Analysis of Socially Unacceptable Discourse with Zero-shot Learning [2.3999111269325266]
  社会的に受け入れられない談話(SUD)の分析は、オンラインのポジティブな環境を維持するために不可欠である。 本研究では、事前学習したトランスフォーマーモデルとプロンプト技術を活用して、SUDの検出と特徴付けのためのエンタテインメントベースのゼロショットテキスト分類(unsupervised method)の有効性について検討する。 以上の結果から,これらのモデルがデータの発見に有効であることを示すとともに,ラベル付きデータセットを生成して,過激主義的物語の分析と評価を行う上で,このアプローチの有望な性質を明らかにすることができた。
  論文  参考訳（メタデータ） (2024-09-10T07:32:00Z)
• Unveiling the Flaws: Exploring Imperfections in Synthetic Data and Mitigation Strategies for Large Language Models [89.88010750772413]
  大規模言語モデル(LLM)の学習における高品質なデータ不足問題に対する解決法として,合成データを提案する。 我々の研究は、Q-A(Q-A)ペア、一般的な合成データに関連するこれらの特定の欠陥を掘り下げ、これらの欠陥を軽減するための未学習技術に基づく方法を提案する。 我々の研究は、より堅牢で効率的なLLMトレーニングを促進することを目的として、合成データの効果的な利用に関する重要な洞察を得た。
  論文  参考訳（メタデータ） (2024-06-18T08:38:59Z)
• Unveiling the Achilles' Heel of NLG Evaluators: A Unified Adversarial Framework Driven by Large Language Models [52.368110271614285]
  我々は,NLG評価器に対する新しいブラックボックス対逆フレームワークであるAdvEvalを紹介する。 AdvEvalは、人間と被害者の評価者との強い意見の相違をもたらすデータを生成するために特別に調整されている。 我々は,12名の被害者評価者と11名のNLGデータセットを用いて,対話,要約,質問評価などのタスクを分散した実験を行った。
  論文  参考訳（メタデータ） (2024-05-23T14:48:15Z)
• Stability Analysis of ChatGPT-based Sentiment Analysis in AI Quality Assurance [7.002143951776267]
  この研究は、ChatGPTが基盤とする拡張型AIモデルの動作と堅牢性の両方に関連する安定性の問題に焦点をあてている。 その結果,ChatGPTをベースとした感情分析システムの構築は,様々な操作要因に起因する不確実性を示すことがわかった。
  論文  参考訳（メタデータ） (2024-01-15T03:00:39Z)
• CritiqueLLM: Towards an Informative Critique Generation Model for Evaluation of Large Language Model Generation [87.44350003888646]
  Eval-Instructは、疑似参照でポイントワイズした批評を取得し、マルチパスプロンプトを通じてこれらの批評を修正できる。 CritiqueLLMは、ChatGPTとすべてのオープンソースベースラインを上回るように実証的に示されています。
  論文  参考訳（メタデータ） (2023-11-30T16:52:42Z)
• From Static Benchmarks to Adaptive Testing: Psychometrics in AI Evaluation [60.14902811624433]
  本稿では,静的評価手法から適応テストへのパラダイムシフトについて論じる。 これには、ベンチマークで各テスト項目の特性と価値を推定し、リアルタイムでアイテムを動的に調整することが含まれる。 我々は、AI評価にサイコメトリックを採用する現在のアプローチ、アドバンテージ、そして根底にある理由を分析します。
  論文  参考訳（メタデータ） (2023-06-18T09:54:33Z)
• Quality In / Quality Out: Assessing Data quality in an Anomaly Detection Benchmark [0.13764085113103217]
  同じベンチマークデータセット(異常検出のためのフローベースリアルタイムデータセットであるUGR'16)に対する比較的小さな変更は、考慮した機械学習技術よりも、モデルパフォーマンスに著しく影響することを示します。 この結果から,自律型ネットワークにおけるデータ品質評価と最適化技術に,より注意を払う必要があることが示唆された。
  論文  参考訳（メタデータ） (2023-05-31T12:03:12Z)
• Does Synthetic Data Generation of LLMs Help Clinical Text Mining? [51.205078179427645]
  臨床テキストマイニングにおけるOpenAIのChatGPTの可能性を検討する。 本稿では,高品質な合成データを大量に生成する新たな学習パラダイムを提案する。 提案手法により,下流タスクの性能が大幅に向上した。
  論文  参考訳（メタデータ） (2023-03-08T03:56:31Z)
• Hybrid Deep Learning Model using SPCAGAN Augmentation for Insider Threat Analysis [7.576808824987132]
  ディープラーニングを用いた異常検出には包括的データが必要であるが、機密性に関する懸念からインサイダー脅威データは利用できない。 本研究では,不均一なデータソースから入力を受ける線形多様体学習に基づく生成逆ネットワークSPCAGANを提案する。 提案手法は誤差が低く,精度が高く,従来のモデルよりもはるかに優れた合成インサイダー脅威データを生成する。
  論文  参考訳（メタデータ） (2022-03-06T02:08:48Z)
• Generalized Visual Quality Assessment of GAN-Generated Face Images [79.47386781978531]
  GAN生成顔画像(GFI)の汎用品質評価に向けた主観的・客観的品質の検討 我々は、利用可能なGANアルゴリズムと見えないGANアルゴリズムの両方から、GFIの正確な品質予測を可能にする品質評価モデルを開発する。
  論文  参考訳（メタデータ） (2022-01-28T07:54:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。