論文の概要: Machine Generated Text: A Comprehensive Survey of Threat Models and
Detection Methods
- arxiv url: http://arxiv.org/abs/2210.07321v1
- Date: Thu, 13 Oct 2022 19:46:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-17 15:51:02.388735
- Title: Machine Generated Text: A Comprehensive Survey of Threat Models and
Detection Methods
- Title(参考訳): 機械生成テキスト:脅威モデルと検出方法の総合的な調査
- Authors: Evan Crothers, Nathalie Japkowicz, Herna Viktor
- Abstract要約: 自然言語生成(NLG)は、人間が作成したテキストと区別が難しい機械生成テキストを生み出している。
強力なオープンソースモデルは無償で利用可能であり、生成モデルへのアクセスを民主化するユーザフレンドリーなツールが急増している。
機械生成テキストの検出は、NLGモデルの悪用を減らすための重要な対策である。
- 参考スコア(独自算出の注目度): 6.978441815839558
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Advances in natural language generation (NLG) have resulted in machine
generated text that is increasingly difficult to distinguish from human
authored text. Powerful open-source models are freely available, and
user-friendly tools democratizing access to generative models are
proliferating. The great potential of state-of-the-art NLG systems is tempered
by the multitude of avenues for abuse. Detection of machine generated text is a
key countermeasure for reducing abuse of NLG models, with significant technical
challenges and numerous open problems. We provide a survey that includes both
1) an extensive analysis of threat models posed by contemporary NLG systems,
and 2) the most complete review of machine generated text detection methods to
date. This survey places machine generated text within its cybersecurity and
social context, and provides strong guidance for future work addressing the
most critical threat models, and ensuring detection systems themselves
demonstrate trustworthiness through fairness, robustness, and accountability.
- Abstract(参考訳): 自然言語生成(NLG)の進歩により、機械が生成するテキストは、人間が作成したテキストと区別することがますます困難になっている。
強力なオープンソースモデルが無償で利用可能であり、生成モデルへのアクセスを民主化するユーザフレンドリーなツールが普及している。
最先端のNLGシステムの大きなポテンシャルは、乱用のための多くの道のりに誘惑されている。
機械生成テキストの検出は、NLGモデルの悪用を減らすための重要な対策であり、重要な技術的課題と多くのオープンな問題がある。
両方を含む調査を行います。
1)現代のnlgシステムによる脅威モデルの広範囲な分析、および
2) 機械が生成したテキスト検出手法の最も完全なレビュー。
この調査は、マシンが生成したテキストをサイバーセキュリティと社会的コンテキスト内に配置し、最も重要な脅威モデルに対処する将来の作業のための強力なガイダンスを提供し、公正性、堅牢性、説明責任を通じて、検出システム自体が信頼性を実証する。
関連論文リスト
- In-Context Experience Replay Facilitates Safety Red-Teaming of Text-to-Image Diffusion Models [97.82118821263825]
テキスト・ツー・イメージ(T2I)モデルは目覚ましい進歩を見せているが、有害なコンテンツを生成する可能性はまだMLコミュニティにとって重要な関心事である。
ICERは,解釈可能かつ意味論的に意味のある重要なプロンプトを生成する新しい赤チームフレームワークである。
我々の研究は、より堅牢な安全メカニズムをT2Iシステムで開発するための重要な洞察を提供する。
論文 参考訳(メタデータ) (2024-11-25T04:17:24Z) - Detecting Machine-Generated Long-Form Content with Latent-Space Variables [54.07946647012579]
既存のゼロショット検出器は主に、現実世界のドメインシフトに弱いトークンレベルの分布に焦点を当てている。
本稿では,イベント遷移などの抽象的要素を機械対人文検出の鍵となる要因として組み込んだ,より堅牢な手法を提案する。
論文 参考訳(メタデータ) (2024-10-04T18:42:09Z) - Humanizing Machine-Generated Content: Evading AI-Text Detection through Adversarial Attack [24.954755569786396]
そこで本研究では,機械生成コンテンツの小さな摂動を回避して検出を回避すべく,より広いレベルの敵攻撃のためのフレームワークを提案する。
我々は、ホワイトボックスとブラックボックスの2つの攻撃設定を検討し、現在の検出モデルのロバスト性を高める可能性を評価するために、動的シナリオにおける逆学習を採用する。
実験の結果、現在の検出モデルは10秒で妥協でき、機械が生成したテキストを人間の書き起こしコンテンツとして誤分類する結果となった。
論文 参考訳(メタデータ) (2024-04-02T12:49:22Z) - Evaluating Robustness of Generative Search Engine on Adversarial Factual Questions [89.35345649303451]
生成検索エンジンは、人々がオンラインで情報を求める方法を変える可能性を秘めている。
しかし,既存の大規模言語モデル(LLM)が支援する生成検索エンジンからの応答は必ずしも正確ではない。
検索強化世代は、敵がシステム全体を回避できるため、安全上の懸念を増す。
論文 参考訳(メタデータ) (2024-02-25T11:22:19Z) - Detection of Machine-Generated Text: Literature Survey [0.0]
本研究の目的は,機械生成テキスト分野における成果と成果をコンパイルし,合成することである。
また、機械が生成するテキストの傾向を概観し、より大きな社会的意味を探求する。
論文 参考訳(メタデータ) (2024-01-02T01:44:15Z) - Towards Possibilities & Impossibilities of AI-generated Text Detection:
A Survey [97.33926242130732]
大規模言語モデル(LLM)は、自然言語処理(NLP)の領域に革命をもたらし、人間のようなテキスト応答を生成する能力を持つ。
これらの進歩にもかかわらず、既存の文献のいくつかは、LLMの潜在的な誤用について深刻な懸念を提起している。
これらの懸念に対処するために、研究コミュニティのコンセンサスは、AI生成テキストを検出するアルゴリズムソリューションを開発することである。
論文 参考訳(メタデータ) (2023-10-23T18:11:32Z) - FacTool: Factuality Detection in Generative AI -- A Tool Augmented
Framework for Multi-Task and Multi-Domain Scenarios [87.12753459582116]
より広い範囲のタスクは、生成モデルによって処理されると、事実エラーを含むリスクが増大する。
大規模言語モデルにより生成されたテキストの事実誤りを検出するためのタスクおよびドメインに依存しないフレームワークであるFacToolを提案する。
論文 参考訳(メタデータ) (2023-07-25T14:20:51Z) - G3Detector: General GPT-Generated Text Detector [26.47122201110071]
本研究では,多分野にわたる合成テキストの同定に長けた,予測できないが強力な検出手法を提案する。
我々の検出器は、様々なモデルアーキテクチャと復号化戦略で一様に優れた性能を示す。
また、強力な検出回避技術を用いて生成されたテキストを識別する機能も備えている。
論文 参考訳(メタデータ) (2023-05-22T03:35:00Z) - On the Possibilities of AI-Generated Text Detection [76.55825911221434]
機械が生成するテキストが人間に近い品質を近似するにつれて、検出に必要なサンプルサイズが増大すると主張している。
GPT-2, GPT-3.5-Turbo, Llama, Llama-2-13B-Chat-HF, Llama-2-70B-Chat-HFなどの最先端テキストジェネレータをoBERTa-Large/Base-Detector, GPTZeroなどの検出器に対して試験した。
論文 参考訳(メタデータ) (2023-04-10T17:47:39Z) - A Comprehensive Survey of Natural Language Generation Advances from the
Perspective of Digital Deception [1.557442325082254]
自然言語生成(NLG)の分野について概観する。
NLGを構成する中心概念の高レベル分類について概説する。
我々は、既存のテキスト生成システムでしばしば現れるバイアスのリスクを含む、NLGの幅広い課題について論じる。
論文 参考訳(メタデータ) (2022-08-11T11:27:38Z) - RoFT: A Tool for Evaluating Human Detection of Machine-Generated Text [25.80571756447762]
われわれはReal or Fake Text (RoFT)を紹介した。
本稿では,RoFTを用いたニュース記事の検出結果について述べる。
論文 参考訳(メタデータ) (2020-10-06T22:47:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。