Fugu-MT 論文翻訳(概要): Who Said That? Benchmarking Social Media AI Detection

論文の概要: Who Said That? Benchmarking Social Media AI Detection

arxiv url: http://arxiv.org/abs/2310.08240v1
Date: Thu, 12 Oct 2023 11:35:24 GMT
ステータス: 処理完了
システム内更新日: 2023-10-14 11:41:37.714539
Title: Who Said That? Benchmarking Social Media AI Detection
Title（参考訳）: 誰が言った? ソーシャルメディアAI検出のベンチマーク
Authors: Wanyun Cui, Linqiu Zhang, Qianle Wang, Shuyang Cai
Abstract要約: 本稿では、実ソーシャルメディアプラットフォームにおけるAIテキスト検出モデルの能力を評価するために開発された新しいベンチマークであるSAID(Social media AI Detection)を紹介する。 ZhihuやQuoraといった人気のソーシャルメディアプラットフォームから、AI生成テキストが組み込まれている。 Zhihuデータセットに基づく我々の研究の注目すべき発見は、アノテータがAI生成テキストと人間生成テキストを96.5%の平均精度で区別できることを示している。
参考スコア（独自算出の注目度）: 12.862865254507177
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: AI-generated text has proliferated across various online platforms, offering both transformative prospects and posing significant risks related to misinformation and manipulation. Addressing these challenges, this paper introduces SAID (Social media AI Detection), a novel benchmark developed to assess AI-text detection models' capabilities in real social media platforms. It incorporates real AI-generate text from popular social media platforms like Zhihu and Quora. Unlike existing benchmarks, SAID deals with content that reflects the sophisticated strategies employed by real AI users on the Internet which may evade detection or gain visibility, providing a more realistic and challenging evaluation landscape. A notable finding of our study, based on the Zhihu dataset, reveals that annotators can distinguish between AI-generated and human-generated texts with an average accuracy rate of 96.5%. This finding necessitates a re-evaluation of human capability in recognizing AI-generated text in today's widely AI-influenced environment. Furthermore, we present a new user-oriented AI-text detection challenge focusing on the practicality and effectiveness of identifying AI-generated text based on user information and multiple responses. The experimental results demonstrate that conducting detection tasks on actual social media platforms proves to be more challenging compared to traditional simulated AI-text detection, resulting in a decreased accuracy. On the other hand, user-oriented AI-generated text detection significantly improve the accuracy of detection.
Abstract（参考訳）: AI生成テキストは、さまざまなオンラインプラットフォームで普及し、変革的な見通しを提供し、誤情報や操作に関連する重大なリスクを生じさせている。本稿では,実際のソーシャルメディアプラットフォームにおいて,aiテキスト検出モデルの能力を評価するための新しいベンチマークである said (social media ai detection) を紹介する。 ZhihuやQuoraといったソーシャルメディアプラットフォームからのAI生成テキストを組み込んでいる。既存のベンチマークとは異なり、その内容はインターネット上の本物のaiユーザが採用する高度な戦略を反映しており、検出や可視性の向上を回避し、より現実的で困難な評価環境を提供する。 Zhihuデータセットに基づく我々の研究の注目すべき発見は、アノテータがAI生成テキストと人間生成テキストを96.5%の平均精度で区別できることを示している。この発見は、今日の広くAIに影響を及ぼす環境において、AI生成したテキストを認識する能力の再評価を必要とする。さらに,ユーザ情報と複数応答に基づくAI生成テキストの同定の実用性と有効性に着目した,ユーザ指向のAIテキスト検出課題を提案する。実験の結果,実際のソーシャルメディアプラットフォーム上での検知タスクの実行は,従来のAIテキスト検出よりも困難であることが証明された。一方、ユーザ指向のAI生成テキスト検出は、検出精度を大幅に向上させる。

関連論文リスト

Who Writes What: Unveiling the Impact of Author Roles on AI-generated Text Detection [44.05134959039957]
本稿では,社会言語学的属性・ジェンダー,CEFR習熟度,学術分野,言語環境に影響を及ぼすAIテキスト検出装置について検討する。 CEFRの習熟度と言語環境は一貫して検出器の精度に影響を与え,性別や学術分野は検出器に依存した効果を示した。これらの発見は、特定の人口集団に不公平に罰を与えるのを避けるために、社会的に認識されたAIテキストの検出が不可欠であることを示している。
論文参考訳（メタデータ） (2025-02-18T07:49:31Z)
AI-generated Image Quality Assessment in Visual Communication [72.11144790293086]
AIGI-VCは、視覚コミュニケーションにおけるAI生成画像の品質評価データベースである。データセットは、14の広告トピックと8つの感情タイプにまたがる2500のイメージで構成されている。粗い人間の嗜好アノテーションときめ細かい嗜好記述を提供し、選好予測、解釈、推論におけるIQAメソッドの能力をベンチマークする。
論文参考訳（メタデータ） (2024-12-20T08:47:07Z)
SONAR: A Synthetic AI-Audio Detection Framework and Benchmark [59.09338266364506]
SONARはAI-Audio Detection FrameworkとBenchmarkの合成である。最先端のAI合成聴覚コンテンツを識別するための総合的な評価を提供することを目的としている。従来のモデルとファンデーションベースのディープフェイク検出システムの両方で、AIオーディオ検出を均一にベンチマークする最初のフレームワークである。
論文参考訳（メタデータ） (2024-10-06T01:03:42Z)
Is Contrasting All You Need? Contrastive Learning for the Detection and Attribution of AI-generated Text [4.902089836908786]
WhosAIは、与えられた入力テキストが人間かAIによって生成されたかを予測するために設計された3重ネットワークコントラスト学習フレームワークである。提案するフレームワークは,チューリングテストとオーサリングの両タスクにおいて,優れた結果が得られることを示す。
論文参考訳（メタデータ） (2024-07-12T15:44:56Z)
Detecting AI-Generated Text: Factors Influencing Detectability with Current Methods [13.14749943120523]
テキストが人工知能(AI)によって作成されたかどうかを知ることは、その信頼性を決定する上で重要である。 AIGT検出に対する最先端のアプローチには、透かし、統計学的およびスタイリスティック分析、機械学習分類などがある。 AIGTテキストがどのようなシナリオで「検出可能」であるかを判断するために、結合する健全な要因についての洞察を提供することを目指している。
論文参考訳（メタデータ） (2024-06-21T18:31:49Z)
Enhancing Text Authenticity: A Novel Hybrid Approach for AI-Generated Text Detection [8.149808049643344]
本稿では,TF-IDF技術と高度な機械学習モデルを組み合わせた新しいハイブリッド手法を提案する。提案手法は既存手法と比較して優れた性能を発揮する。
論文参考訳（メタデータ） (2024-06-01T10:21:54Z)
Who Writes the Review, Human or AI? [0.36498648388765503]
本研究では,AIによる書評と人間による書評を正確に区別する手法を提案する。提案手法は移動学習を利用して,異なるトピック間で生成したテキストを識別する。実験の結果、元のテキストのソースを検出でき、精度96.86%に達することが示されている。
論文参考訳（メタデータ） (2024-05-30T17:38:44Z)
Towards Possibilities & Impossibilities of AI-generated Text Detection: A Survey [97.33926242130732]
大規模言語モデル(LLM)は、自然言語処理(NLP)の領域に革命をもたらし、人間のようなテキスト応答を生成する能力を持つ。これらの進歩にもかかわらず、既存の文献のいくつかは、LLMの潜在的な誤用について深刻な懸念を提起している。これらの懸念に対処するために、研究コミュニティのコンセンサスは、AI生成テキストを検出するアルゴリズムソリューションを開発することである。
論文参考訳（メタデータ） (2023-10-23T18:11:32Z)
On the Possibilities of AI-Generated Text Detection [76.55825911221434]
機械が生成するテキストが人間に近い品質を近似するにつれて、検出に必要なサンプルサイズが増大すると主張している。 GPT-2, GPT-3.5-Turbo, Llama, Llama-2-13B-Chat-HF, Llama-2-70B-Chat-HFなどの最先端テキストジェネレータをoBERTa-Large/Base-Detector, GPTZeroなどの検出器に対して試験した。
論文参考訳（メタデータ） (2023-04-10T17:47:39Z)
Can AI-Generated Text be Reliably Detected? [50.95804851595018]
大規模言語モデル(LLM)は、様々なアプリケーションで非常によく機能します。盗作、偽ニュースの発生、スパムなどの活動においてこれらのモデルが誤用される可能性があることは、彼らの責任ある使用に対する懸念を引き起こしている。我々は、攻撃者の存在下で、これらのAIテキスト検出装置の堅牢性を強調テストする。
論文参考訳（メタデータ） (2023-03-17T17:53:19Z)
The Role of AI in Drug Discovery: Challenges, Opportunities, and Strategies [97.5153823429076]
この分野でのAIのメリット、課題、欠点についてレビューする。データ拡張、説明可能なAIの使用、従来の実験手法とAIの統合についても論じている。
論文参考訳（メタデータ） (2022-12-08T23:23:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。