論文の概要: AI "News" Content Farms Are Easy to Make and Hard to Detect: A Case Study in Italian
- arxiv url: http://arxiv.org/abs/2406.12128v1
- Date: Mon, 17 Jun 2024 22:19:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-19 23:37:50.956028
- Title: AI "News" Content Farms Are Easy to Make and Hard to Detect: A Case Study in Italian
- Title（参考訳）: AIの「新しい」コンテンツファームは作りやすく、検出も難しい
- Authors: Giovanni Puccetti, Anna Rogers, Chiara Alzetta, Felice Dell'Orletta, Andrea Esuli,
- Abstract要約: 大規模言語モデル (LLMs) は、実際のニュース記事に伝達可能な合成テキストを生成するために「コンテンツファーム」モデル (CFMs) として使われることが多い。
Llama (v1) は、主に英語で訓練されており、イタリア語の母語話者が合成語として識別するのに苦労するニュースのようなテキストを生成するのに十分であることを示す。
- 参考スコア（独自算出の注目度）: 18.410994374810105
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) are increasingly used as "content farm" models (CFMs), to generate synthetic text that could pass for real news articles. This is already happening even for languages that do not have high-quality monolingual LLMs. We show that fine-tuning Llama (v1), mostly trained on English, on as little as 40K Italian news articles, is sufficient for producing news-like texts that native speakers of Italian struggle to identify as synthetic. We investigate three LLMs and three methods of detecting synthetic texts (log-likelihood, DetectGPT, and supervised classification), finding that they all perform better than human raters, but they are all impractical in the real world (requiring either access to token likelihood information or a large dataset of CFM texts). We also explore the possibility of creating a proxy CFM: an LLM fine-tuned on a similar dataset to one used by the real "content farm". We find that even a small amount of fine-tuning data suffices for creating a successful detector, but we need to know which base LLM is used, which is a major challenge. Our results suggest that there are currently no practical methods for detecting synthetic news-like texts 'in the wild', while generating them is too easy. We highlight the urgency of more NLP research on this problem.
- Abstract（参考訳）: 大規模言語モデル (LLMs) は、実際のニュース記事に伝達可能な合成テキストを生成するために「コンテンツファーム」モデル (CFMs) として使われることが多い。
高品質なモノリンガルLLMを持たない言語でも、これはすでに起こっています。
Llama (v1)は、主に英語で訓練され、40Kものイタリア語のニュース記事で、イタリア語の母語話者が合成語として識別するのに苦労するニュースのようなテキストを生成するのに十分であることを示す。
我々は,3つのLCMと3つの合成テキスト(log-likelihood, DetectGPT, 教師付き分類)の検出方法を調査し,それらすべてが人間のレーダよりも優れていることを発見した。
また、プロキシCFMを作成する可能性についても検討する。LLMは、実際の"コンテンツファーム"で使用されるものと類似したデータセットを微調整したものだ。
検出を成功させるためには、少量の微調整データでも十分であることがわかったが、どのLLMが使われているのかを知る必要がある。
以上の結果から,現在,合成ニュースのようなテキストを「野生」に検出する方法は存在せず,生成も容易すぎることが示唆された。
この問題に関するNLP研究の緊急性を強調した。
関連論文リスト
- TransMI: A Framework to Create Strong Baselines from Multilingual Pretrained Language Models for Transliterated Data [50.40191599304911]
そこで我々は,Transliterate Transliteration-Merge (TransMI)を提案する。
結果は、モデルやタスクによって異なるが、3%から34%の改善が一貫したことを示している。
論文 参考訳（メタデータ） (2024-05-16T09:08:09Z) - How to Use Large Language Models for Text Coding: The Case of Fatherhood
Roles in Public Policy Documents [21.090506974145566]
大規模言語モデル(LLM)は、政治科学におけるテキスト分析の新しい機会を開いた。
本研究では,非英語政治科学テキストの3つの元の符号化課題についてLLMを評価した。
論文 参考訳（メタデータ） (2023-11-20T15:34:45Z) - Skywork: A More Open Bilingual Foundation Model [55.927396986873816]
英語と中国語の両方のテキストから引き出された3.2兆以上のトークンのコーパスをトレーニングした,大規模言語モデル(LLM)のファミリーであるSkywork-13Bを紹介する。
我々のモデルは,一般的なベンチマークに優れるだけでなく,さまざまなドメインにおける中国語のモデリングにおける芸術的パフォーマンスの即興性も達成できることを示す。
論文 参考訳（メタデータ） (2023-10-30T08:31:47Z) - GlotLID: Language Identification for Low-Resource Languages [51.38634652914054]
GlotLID-M は広い範囲、信頼性、効率性のデシラタを満たす LID モデルである。
1665の言語を識別し、以前の作業に比べてカバー範囲が大幅に増加した。
論文 参考訳（メタデータ） (2023-10-24T23:45:57Z) - On Bilingual Lexicon Induction with Large Language Models [81.6546357879259]
本稿では,バイリンガル辞書開発における次世代大規模言語モデルの可能性について検討する。
本研究では,1) 教師なしBLIにおけるゼロショットプロンプトと,2) シード翻訳ペアの組による少数ショットインコンテキストプロンプトについて検討する。
私たちの研究は、テキストからテキストへのmLLMの強力なBLI機能を示す最初のものです。
論文 参考訳（メタデータ） (2023-10-21T12:43:27Z) - SeqXGPT: Sentence-Level AI-Generated Text Detection [62.3792779440284]
大規模言語モデル(LLM)を用いた文書の合成による文レベル検出の課題について紹介する。
次に,文レベルのAIGT検出機能として,ホワイトボックスLEMのログ確率リストを利用した textbfSequence textbfX (Check) textbfGPT を提案する。
論文 参考訳（メタデータ） (2023-10-13T07:18:53Z) - Bad Actor, Good Advisor: Exploring the Role of Large Language Models in
Fake News Detection [22.658378054986624]
大規模言語モデル(LLM)は、様々なタスクにおいて顕著なパフォーマンスを示している。
LLMは望ましいマルチパースペクティブな合理性を提供するが、基本的なSLMである細調整のBERTよりも性能が低い。
偽ニュース検出において、現在のLSMは微調整されたSLMの代わりにはならないが、SLMの優れたアドバイザである可能性が示唆された。
論文 参考訳（メタデータ） (2023-09-21T16:47:30Z) - Fake News Detectors are Biased against Texts Generated by Large Language
Models [39.36284616311687]
フェイクニュースの拡散は、信頼を弱め、社会への脅威を訴える重要な課題として浮上している。
本稿では,人間の書き起こしとLLM生成の両方の誤情報を含むシナリオにおいて,偽ニュース検知器を評価するための新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2023-09-15T18:04:40Z) - Multilingual Controllable Transformer-Based Lexical Simplification [4.718531520078843]
本稿では,制御可能なトランスフォーマーを用いたLexical Simplification(LS)システムであるmTLSを提案する。
この研究の新規性は、複雑な単語のより単純な代替法を学ぶために、事前訓練されたマスキング言語モデルから抽出された言語固有の接頭辞、制御トークン、および候補を使用することにある。
論文 参考訳（メタデータ） (2023-07-05T08:48:19Z) - MAGE: Machine-generated Text Detection in the Wild [82.70561073277801]
大規模言語モデル(LLM)は人間レベルのテキスト生成を実現し、効果的なAI生成テキスト検出の必要性を強調している。
我々は、異なるLLMによって生成される多様な人文やテキストからテキストを収集することで、包括的なテストベッドを構築する。
問題にもかかわらず、トップパフォーマンス検出器は、新しいLCMによって生成された86.54%のドメイン外のテキストを識別することができ、アプリケーションシナリオの実現可能性を示している。
論文 参考訳（メタデータ） (2023-05-22T17:13:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。