論文の概要: Who Said That? Benchmarking Social Media AI Detection
- arxiv url: http://arxiv.org/abs/2310.08240v1
- Date: Thu, 12 Oct 2023 11:35:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-14 11:41:37.714539
- Title: Who Said That? Benchmarking Social Media AI Detection
- Title(参考訳): 誰が言った?
ソーシャルメディアAI検出のベンチマーク
- Authors: Wanyun Cui, Linqiu Zhang, Qianle Wang, Shuyang Cai
- Abstract要約: 本稿では、実ソーシャルメディアプラットフォームにおけるAIテキスト検出モデルの能力を評価するために開発された新しいベンチマークであるSAID(Social media AI Detection)を紹介する。
ZhihuやQuoraといった人気のソーシャルメディアプラットフォームから、AI生成テキストが組み込まれている。
Zhihuデータセットに基づく我々の研究の注目すべき発見は、アノテータがAI生成テキストと人間生成テキストを96.5%の平均精度で区別できることを示している。
- 参考スコア(独自算出の注目度): 12.862865254507177
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: AI-generated text has proliferated across various online platforms, offering
both transformative prospects and posing significant risks related to
misinformation and manipulation. Addressing these challenges, this paper
introduces SAID (Social media AI Detection), a novel benchmark developed to
assess AI-text detection models' capabilities in real social media platforms.
It incorporates real AI-generate text from popular social media platforms like
Zhihu and Quora. Unlike existing benchmarks, SAID deals with content that
reflects the sophisticated strategies employed by real AI users on the Internet
which may evade detection or gain visibility, providing a more realistic and
challenging evaluation landscape. A notable finding of our study, based on the
Zhihu dataset, reveals that annotators can distinguish between AI-generated and
human-generated texts with an average accuracy rate of 96.5%. This finding
necessitates a re-evaluation of human capability in recognizing AI-generated
text in today's widely AI-influenced environment. Furthermore, we present a new
user-oriented AI-text detection challenge focusing on the practicality and
effectiveness of identifying AI-generated text based on user information and
multiple responses. The experimental results demonstrate that conducting
detection tasks on actual social media platforms proves to be more challenging
compared to traditional simulated AI-text detection, resulting in a decreased
accuracy. On the other hand, user-oriented AI-generated text detection
significantly improve the accuracy of detection.
- Abstract(参考訳): AI生成テキストは、さまざまなオンラインプラットフォームで普及し、変革的な見通しを提供し、誤情報や操作に関連する重大なリスクを生じさせている。
本稿では,実際のソーシャルメディアプラットフォームにおいて,aiテキスト検出モデルの能力を評価するための新しいベンチマークである said (social media ai detection) を紹介する。
ZhihuやQuoraといったソーシャルメディアプラットフォームからのAI生成テキストを組み込んでいる。
既存のベンチマークとは異なり、その内容はインターネット上の本物のaiユーザが採用する高度な戦略を反映しており、検出や可視性の向上を回避し、より現実的で困難な評価環境を提供する。
Zhihuデータセットに基づく我々の研究の注目すべき発見は、アノテータがAI生成テキストと人間生成テキストを96.5%の平均精度で区別できることを示している。
この発見は、今日の広くAIに影響を及ぼす環境において、AI生成したテキストを認識する能力の再評価を必要とする。
さらに,ユーザ情報と複数応答に基づくAI生成テキストの同定の実用性と有効性に着目した,ユーザ指向のAIテキスト検出課題を提案する。
実験の結果,実際のソーシャルメディアプラットフォーム上での検知タスクの実行は,従来のAIテキスト検出よりも困難であることが証明された。
一方、ユーザ指向のAI生成テキスト検出は、検出精度を大幅に向上させる。
関連論文リスト
- Detecting AI Generated Text Based on NLP and Machine Learning Approaches [0.0]
自然言語処理の最近の進歩により、AIモデルは将来、人間が書いた書式と同一の書体を生成することができる。
これには深い倫理的、法的、社会的反感があるかもしれない。
本手法は,電子テキストと人文テキストを区別する機械学習手法を含む。
論文 参考訳(メタデータ) (2024-04-15T16:37:44Z) - A Survey of AI-generated Text Forensic Systems: Detection, Attribution,
and Characterization [13.44566185792894]
AI生成テキスト鑑定は、LLMの誤用に対処する新たな分野である。
本稿では,検出,帰属,特性の3つの主要な柱に着目した詳細な分類法を紹介する。
我々は、AI生成テキスト法医学研究の利用可能なリソースを探究し、AI時代の法医学システムの進化的課題と今後の方向性について論じる。
論文 参考訳(メタデータ) (2024-03-02T09:39:13Z) - Generative AI in Writing Research Papers: A New Type of Algorithmic Bias
and Uncertainty in Scholarly Work [0.38850145898707145]
大規模言語モデル(LLM)と生成AIツールは、バイアスを特定し、対処する上での課題を提示している。
生成型AIツールは、不正な一般化、幻覚、レッド・チーム・プロンプトのような敵攻撃を目標とする可能性がある。
研究原稿の執筆過程に生成AIを組み込むことで,新しいタイプの文脈依存型アルゴリズムバイアスがもたらされることがわかった。
論文 参考訳(メタデータ) (2023-12-04T04:05:04Z) - Towards Possibilities & Impossibilities of AI-generated Text Detection:
A Survey [97.33926242130732]
大規模言語モデル(LLM)は、自然言語処理(NLP)の領域に革命をもたらし、人間のようなテキスト応答を生成する能力を持つ。
これらの進歩にもかかわらず、既存の文献のいくつかは、LLMの潜在的な誤用について深刻な懸念を提起している。
これらの懸念に対処するために、研究コミュニティのコンセンサスは、AI生成テキストを検出するアルゴリズムソリューションを開発することである。
論文 参考訳(メタデータ) (2023-10-23T18:11:32Z) - Watermarking Conditional Text Generation for AI Detection: Unveiling
Challenges and a Semantic-Aware Watermark Remedy [52.765898203824975]
本研究では,条件付きテキスト生成と入力コンテキストの特性を考慮した意味認識型透かしアルゴリズムを提案する。
実験結果から,提案手法は様々なテキスト生成モデルに対して大幅な改善をもたらすことが示された。
論文 参考訳(メタデータ) (2023-07-25T20:24:22Z) - RADAR: Robust AI-Text Detection via Adversarial Learning [69.5883095262619]
RADARはパラフラザーと検出器の対向訓練に基づいている。
パラフレーズの目標は、AIテキスト検出を避けるために現実的なコンテンツを生成することである。
RADARは検出器からのフィードバックを使ってパラフラザーを更新する。
論文 参考訳(メタデータ) (2023-07-07T21:13:27Z) - On the Possibilities of AI-Generated Text Detection [76.55825911221434]
機械が生成するテキストが人間に近い品質を近似するにつれて、検出に必要なサンプルサイズが増大すると主張している。
GPT-2, GPT-3.5-Turbo, Llama, Llama-2-13B-Chat-HF, Llama-2-70B-Chat-HFなどの最先端テキストジェネレータをoBERTa-Large/Base-Detector, GPTZeroなどの検出器に対して試験した。
論文 参考訳(メタデータ) (2023-04-10T17:47:39Z) - The Role of AI in Drug Discovery: Challenges, Opportunities, and
Strategies [97.5153823429076]
この分野でのAIのメリット、課題、欠点についてレビューする。
データ拡張、説明可能なAIの使用、従来の実験手法とAIの統合についても論じている。
論文 参考訳(メタデータ) (2022-12-08T23:23:39Z) - Multimodal Emotion Recognition using Transfer Learning from Speaker
Recognition and BERT-based models [53.31917090073727]
本稿では,音声とテキストのモダリティから,伝達学習モデルと微調整モデルとを融合したニューラルネットワークによる感情認識フレームワークを提案する。
本稿では,対話型感情的モーションキャプチャー・データセットにおけるマルチモーダル・アプローチの有効性を評価する。
論文 参考訳(メタデータ) (2022-02-16T00:23:42Z) - LioNets: A Neural-Specific Local Interpretation Technique Exploiting
Penultimate Layer Information [6.570220157893279]
解釈可能な機械学習(IML)は研究の緊急のトピックである。
本稿では,テキストデータと時系列データに適用される局所的,神経特異的な解釈プロセスに焦点を当てる。
論文 参考訳(メタデータ) (2021-04-13T09:39:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。