論文の概要: Who Said That? Benchmarking Social Media AI Detection

• arxiv url: http://arxiv.org/abs/2310.08240v1
• Date: Thu, 12 Oct 2023 11:35:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-14 11:41:37.714539
• Title: Who Said That? Benchmarking Social Media AI Detection
• Title（参考訳）: 誰が言った? ソーシャルメディアAI検出のベンチマーク
• Authors: Wanyun Cui, Linqiu Zhang, Qianle Wang, Shuyang Cai
• Abstract要約: 本稿では、実ソーシャルメディアプラットフォームにおけるAIテキスト検出モデルの能力を評価するために開発された新しいベンチマークであるSAID(Social media AI Detection)を紹介する。 ZhihuやQuoraといった人気のソーシャルメディアプラットフォームから、AI生成テキストが組み込まれている。 Zhihuデータセットに基づく我々の研究の注目すべき発見は、アノテータがAI生成テキストと人間生成テキストを96.5%の平均精度で区別できることを示している。
• 参考スコア（独自算出の注目度）: 12.862865254507177
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: AI-generated text has proliferated across various online platforms, offering both transformative prospects and posing significant risks related to misinformation and manipulation. Addressing these challenges, this paper introduces SAID (Social media AI Detection), a novel benchmark developed to assess AI-text detection models' capabilities in real social media platforms. It incorporates real AI-generate text from popular social media platforms like Zhihu and Quora. Unlike existing benchmarks, SAID deals with content that reflects the sophisticated strategies employed by real AI users on the Internet which may evade detection or gain visibility, providing a more realistic and challenging evaluation landscape. A notable finding of our study, based on the Zhihu dataset, reveals that annotators can distinguish between AI-generated and human-generated texts with an average accuracy rate of 96.5%. This finding necessitates a re-evaluation of human capability in recognizing AI-generated text in today's widely AI-influenced environment. Furthermore, we present a new user-oriented AI-text detection challenge focusing on the practicality and effectiveness of identifying AI-generated text based on user information and multiple responses. The experimental results demonstrate that conducting detection tasks on actual social media platforms proves to be more challenging compared to traditional simulated AI-text detection, resulting in a decreased accuracy. On the other hand, user-oriented AI-generated text detection significantly improve the accuracy of detection.
• Abstract（参考訳）: AI生成テキストは、さまざまなオンラインプラットフォームで普及し、変革的な見通しを提供し、誤情報や操作に関連する重大なリスクを生じさせている。 本稿では,実際のソーシャルメディアプラットフォームにおいて,aiテキスト検出モデルの能力を評価するための新しいベンチマークである said (social media ai detection) を紹介する。 ZhihuやQuoraといったソーシャルメディアプラットフォームからのAI生成テキストを組み込んでいる。 既存のベンチマークとは異なり、その内容はインターネット上の本物のaiユーザが採用する高度な戦略を反映しており、検出や可視性の向上を回避し、より現実的で困難な評価環境を提供する。 Zhihuデータセットに基づく我々の研究の注目すべき発見は、アノテータがAI生成テキストと人間生成テキストを96.5%の平均精度で区別できることを示している。 この発見は、今日の広くAIに影響を及ぼす環境において、AI生成したテキストを認識する能力の再評価を必要とする。 さらに,ユーザ情報と複数応答に基づくAI生成テキストの同定の実用性と有効性に着目した,ユーザ指向のAIテキスト検出課題を提案する。 実験の結果,実際のソーシャルメディアプラットフォーム上での検知タスクの実行は,従来のAIテキスト検出よりも困難であることが証明された。 一方、ユーザ指向のAI生成テキスト検出は、検出精度を大幅に向上させる。

関連論文リスト

• SONAR: A Synthetic AI-Audio Detection Framework and Benchmark [59.09338266364506]
  SONARはAI-Audio Detection FrameworkとBenchmarkの合成である。 最先端のAI合成聴覚コンテンツを識別するための総合的な評価を提供することを目的としている。 従来のモデルとファンデーションベースのディープフェイク検出システムの両方で、AIオーディオ検出を均一にベンチマークする最初のフレームワークである。
  論文  参考訳（メタデータ） (2024-10-06T01:03:42Z)
• Is Contrasting All You Need? Contrastive Learning for the Detection and Attribution of AI-generated Text [4.902089836908786]
  WhosAIは、与えられた入力テキストが人間かAIによって生成されたかを予測するために設計された3重ネットワークコントラスト学習フレームワークである。 提案するフレームワークは,チューリングテストとオーサリングの両タスクにおいて,優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-07-12T15:44:56Z)
• Detecting AI-Generated Text: Factors Influencing Detectability with Current Methods [13.14749943120523]
  テキストが人工知能(AI)によって作成されたかどうかを知ることは、その信頼性を決定する上で重要である。 AIGT検出に対する最先端のアプローチには、透かし、統計学的およびスタイリスティック分析、機械学習分類などがある。 AIGTテキストがどのようなシナリオで「検出可能」であるかを判断するために、結合する健全な要因についての洞察を提供することを目指している。
  論文  参考訳（メタデータ） (2024-06-21T18:31:49Z)
• Enhancing Text Authenticity: A Novel Hybrid Approach for AI-Generated Text Detection [8.149808049643344]
  本稿では,TF-IDF技術と高度な機械学習モデルを組み合わせた新しいハイブリッド手法を提案する。 提案手法は既存手法と比較して優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-06-01T10:21:54Z)
• Who Writes the Review, Human or AI? [0.36498648388765503]
  本研究では,AIによる書評と人間による書評を正確に区別する手法を提案する。 提案手法は移動学習を利用して,異なるトピック間で生成したテキストを識別する。 実験の結果、元のテキストのソースを検出でき、精度96.86%に達することが示されている。
  論文  参考訳（メタデータ） (2024-05-30T17:38:44Z)
• Towards Possibilities & Impossibilities of AI-generated Text Detection: A Survey [97.33926242130732]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の領域に革命をもたらし、人間のようなテキスト応答を生成する能力を持つ。 これらの進歩にもかかわらず、既存の文献のいくつかは、LLMの潜在的な誤用について深刻な懸念を提起している。 これらの懸念に対処するために、研究コミュニティのコンセンサスは、AI生成テキストを検出するアルゴリズムソリューションを開発することである。
  論文  参考訳（メタデータ） (2023-10-23T18:11:32Z)
• Watermarking Conditional Text Generation for AI Detection: Unveiling Challenges and a Semantic-Aware Watermark Remedy [52.765898203824975]
  本研究では,条件付きテキスト生成と入力コンテキストの特性を考慮した意味認識型透かしアルゴリズムを提案する。 実験結果から,提案手法は様々なテキスト生成モデルに対して大幅な改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2023-07-25T20:24:22Z)
• On the Possibilities of AI-Generated Text Detection [76.55825911221434]
  機械が生成するテキストが人間に近い品質を近似するにつれて、検出に必要なサンプルサイズが増大すると主張している。 GPT-2, GPT-3.5-Turbo, Llama, Llama-2-13B-Chat-HF, Llama-2-70B-Chat-HFなどの最先端テキストジェネレータをoBERTa-Large/Base-Detector, GPTZeroなどの検出器に対して試験した。
  論文  参考訳（メタデータ） (2023-04-10T17:47:39Z)
• The Role of AI in Drug Discovery: Challenges, Opportunities, and Strategies [97.5153823429076]
  この分野でのAIのメリット、課題、欠点についてレビューする。 データ拡張、説明可能なAIの使用、従来の実験手法とAIの統合についても論じている。
  論文  参考訳（メタデータ） (2022-12-08T23:23:39Z)
• Multimodal Emotion Recognition using Transfer Learning from Speaker Recognition and BERT-based models [53.31917090073727]
  本稿では,音声とテキストのモダリティから,伝達学習モデルと微調整モデルとを融合したニューラルネットワークによる感情認識フレームワークを提案する。 本稿では,対話型感情的モーションキャプチャー・データセットにおけるマルチモーダル・アプローチの有効性を評価する。
  論文  参考訳（メタデータ） (2022-02-16T00:23:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。