論文の概要: Are AI Detectors Good Enough? A Survey on Quality of Datasets With Machine-Generated Texts

• arxiv url: http://arxiv.org/abs/2410.14677v1
• Date: Fri, 18 Oct 2024 17:59:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:25:31.407412
• Title: Are AI Detectors Good Enough? A Survey on Quality of Datasets With Machine-Generated Texts
• Title（参考訳）: AI検出器は十分か? 機械生成テキストによるデータセットの品質調査
• Authors: German Gritsai, Anastasia Voznyuk, Andrey Grabovoy, Yury Chekhovich,
• Abstract要約: AIフラグメントを備えた膨大な数の検出器とコレクションが出現し、いくつかの検出方法は認識品質を99.9%まで向上させた。 検出器は実際に非常に信頼性が高いのか、あるいは評価データセットの質が低いことから高いベンチマークスコアを得るのか? 本稿では,AI生成コンテンツ検出専用のコンペからのデータセットを体系的にレビューし,AI生成フラグメントを含むデータセットの品質を評価する手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: The rapid development of autoregressive Large Language Models (LLMs) has significantly improved the quality of generated texts, necessitating reliable machine-generated text detectors. A huge number of detectors and collections with AI fragments have emerged, and several detection methods even showed recognition quality up to 99.9% according to the target metrics in such collections. However, the quality of such detectors tends to drop dramatically in the wild, posing a question: Are detectors actually highly trustworthy or do their high benchmark scores come from the poor quality of evaluation datasets? In this paper, we emphasise the need for robust and qualitative methods for evaluating generated data to be secure against bias and low generalising ability of future model. We present a systematic review of datasets from competitions dedicated to AI-generated content detection and propose methods for evaluating the quality of datasets containing AI-generated fragments. In addition, we discuss the possibility of using high-quality generated data to achieve two goals: improving the training of detection models and improving the training datasets themselves. Our contribution aims to facilitate a better understanding of the dynamics between human and machine text, which will ultimately support the integrity of information in an increasingly automated world.
• Abstract（参考訳）: LLM(autoregressive Large Language Models)の急速な開発により、生成したテキストの品質が大幅に向上し、信頼性の高い機械生成テキスト検出器が必要とされるようになった。 AIフラグメントを備えた膨大な数の検出器とコレクションが出現し、いくつかの検出方法は、これらのコレクションのターゲットメトリクスに従って、認識品質を99.9%にまで向上させた。 しかし、そのような検出器の品質は、荒野で劇的に低下する傾向にあり、疑問を呈する: 検出器は実際、信頼性が高いのか、ベンチマークスコアが高いのかは、評価データセットの質が悪いからだ。 本稿では,将来モデルのバイアスや一般化能力の低下に対して,生成したデータを評価するための頑健で定性的な手法の必要性を強調した。 本稿では,AI生成コンテンツ検出専用のコンペからのデータセットを体系的にレビューし,AI生成フラグメントを含むデータセットの品質を評価する手法を提案する。 さらに,高品質な生成データを用いて,検出モデルのトレーニングの改善と,トレーニングデータセット自体の改善という,2つの目標を達成する可能性についても論じる。 私たちの貢献は、人間と機械のテキスト間のダイナミクスをより深く理解することを目的としています。

関連論文リスト

• SONAR: A Synthetic AI-Audio Detection Framework and Benchmark [59.09338266364506]
  SONARはAI-Audio Detection FrameworkとBenchmarkの合成である。 最先端のAI合成聴覚コンテンツを識別するための総合的な評価を提供することを目的としている。 従来のモデルとファンデーションベースのディープフェイク検出システムの両方で、AIオーディオ検出を均一にベンチマークする最初のフレームワークである。
  論文  参考訳（メタデータ） (2024-10-06T01:03:42Z)
• Q-Ground: Image Quality Grounding with Large Multi-modality Models [61.72022069880346]
  Q-Groundは、大規模な視覚的品質グラウンドに取り組むための最初のフレームワークである。 Q-Groundは、大規模なマルチモダリティモデルと詳細な視覚的品質分析を組み合わせる。 コントリビューションの中心は、QGround-100Kデータセットの導入です。
  論文  参考訳（メタデータ） (2024-07-24T06:42:46Z)
• Improving Interpretability and Robustness for the Detection of AI-Generated Images [6.116075037154215]
  凍結したCLIP埋め込みに基づいて、既存の最先端AIGI検出手法を解析する。 さまざまなAIジェネレータが生成する画像が実際の画像とどのように異なるかを示す。
  論文  参考訳（メタデータ） (2024-06-21T10:33:09Z)
• AI-Driven Frameworks for Enhancing Data Quality in Big Data Ecosystems: Error_Detection, Correction, and Metadata Integration [0.0]
  この論文は、ビッグデータの品質を包括的に向上することを目的とした、新しい相互接続フレームワークセットを提案する。 まず,データ品質を正確に評価するために,新しい品質指標と重み付きスコアシステムを導入する。 第3に,AIモデルを用いた各種品質異常検出のための汎用フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-06T21:36:45Z)
• Data Readiness for AI: A 360-Degree Survey [0.9343816282846432]
  粗悪な品質データは不正確で非効率なAIモデルを生成する。 データ品質の改善に多くの研究開発努力が費やされている。 本稿では、構造化データセットと非構造化データセットのためのAI(DRAI)メトリクスのためのデータ準備性の分類法を提案する。
  論文  参考訳（メタデータ） (2024-04-08T15:19:57Z)
• Exploring Precision and Recall to assess the quality and diversity of LLMs [82.21278402856079]
  我々はtextscLlama-2 や textscMistral のような大規模言語モデル (LLM) のための新しい評価フレームワークを提案する。 このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
  論文  参考訳（メタデータ） (2024-02-16T13:53:26Z)
• AART: AI-Assisted Red-Teaming with Diverse Data Generation for New LLM-powered Applications [5.465142671132731]
  大規模言語モデル(LLM)のアドバイザリテストは、安全で責任のあるデプロイメントに不可欠である。 本稿では,新しい下流アプリケーション上でのLCM生成の安全性をテストするために,逆評価データセットの自動生成のための新しいアプローチを提案する。 AI支援のレッドチーム(AART)と呼ばれています。
  論文  参考訳（メタデータ） (2023-11-14T23:28:23Z)
• On Responsible Machine Learning Datasets with Fairness, Privacy, and Regulatory Norms [56.119374302685934]
  AI技術の信頼性に関する深刻な懸念があった。 機械学習とディープラーニングのアルゴリズムは、開発に使用されるデータに大きく依存する。 本稿では,責任あるルーブリックを用いてデータセットを評価するフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-24T14:01:53Z)
• On the Possibilities of AI-Generated Text Detection [76.55825911221434]
  機械が生成するテキストが人間に近い品質を近似するにつれて、検出に必要なサンプルサイズが増大すると主張している。 GPT-2, GPT-3.5-Turbo, Llama, Llama-2-13B-Chat-HF, Llama-2-70B-Chat-HFなどの最先端テキストジェネレータをoBERTa-Large/Base-Detector, GPTZeroなどの検出器に対して試験した。
  論文  参考訳（メタデータ） (2023-04-10T17:47:39Z)
• DAGA: Data Augmentation with a Generation Approach for Low-resource Tagging Tasks [88.62288327934499]
  線形化ラベル付き文に基づいて訓練された言語モデルを用いた新しい拡張手法を提案する。 本手法は, 教師付き設定と半教師付き設定の両方に適用可能である。
  論文  参考訳（メタデータ） (2020-11-03T07:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。