論文の概要: Assaying on the Robustness of Zero-Shot Machine-Generated Text Detectors

• arxiv url: http://arxiv.org/abs/2312.12918v2
• Date: Thu, 21 Dec 2023 02:09:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-22 17:23:04.109408
• Title: Assaying on the Robustness of Zero-Shot Machine-Generated Text Detectors
• Title（参考訳）: ゼロショットマシン生成テキスト検出器のロバスト性の測定
• Authors: Yi-Fan Zhang and Zhang Zhang and Liang Wang and Tieniu Tan and Rong Jin
• Abstract要約: 先進的なLarge Language Models (LLMs) とその特殊な変種を探索し、いくつかの方法でこの分野に寄与する。 トピックと検出性能の間に有意な相関関係が発見された。 これらの調査は、様々なトピックにまたがるこれらの検出手法の適応性と堅牢性に光を当てた。
• 参考スコア（独自算出の注目度）: 57.7003399760813
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To combat the potential misuse of Natural Language Generation (NLG) technology, a variety of algorithms have been developed for the detection of AI-generated texts. Traditionally, this task is treated as a binary classification problem. Although supervised learning has demonstrated promising results, acquiring labeled data for detection purposes poses real-world challenges and the risk of overfitting. In an effort to address these issues, we delve into the realm of zero-shot machine-generated text detection. Existing zero-shot detectors, typically designed for specific tasks or topics, often assume uniform testing scenarios, limiting their practicality. In our research, we explore various advanced Large Language Models (LLMs) and their specialized variants, contributing to this field in several ways. In empirical studies, we uncover a significant correlation between topics and detection performance. Secondly, we delve into the influence of topic shifts on zero-shot detectors. These investigations shed light on the adaptability and robustness of these detection methods across diverse topics. The code is available at \url{https://github.com/yfzhang114/robustness-detection}.
• Abstract（参考訳）: 自然言語生成技術(NLG)の潜在的な誤用に対抗するため、AI生成テキストの検出のために様々なアルゴリズムが開発された。 伝統的に、このタスクは二項分類問題として扱われる。 教師付き学習は有望な結果を示しているが、検出目的のラベル付きデータを取得すると、現実の課題や過度な適合のリスクが生じる。 これらの問題に対処するため、ゼロショットマシン生成テキスト検出の領域を探究しました。 既存のゼロショット検出器は、通常特定のタスクやトピック用に設計されており、しばしば一様のテストシナリオを仮定し、実用性を制限する。 本研究では,多種多様な大規模言語モデル (LLM) とその特殊変種を探索し,この分野にいくつかの形で貢献する。 実証実験では,トピックと検出性能の有意な相関が明らかになった。 次に,話題シフトがゼロショット検出器に与える影響について考察する。 これらの調査は、様々なトピックにわたる検出手法の適応性と堅牢性に光を当てた。 コードは \url{https://github.com/yfzhang114/robustness-detection} で入手できる。

関連論文リスト

• DetectRL: Benchmarking LLM-Generated Text Detection in Real-World Scenarios [38.952481877244644]
  我々は,最新技術(SOTA)検出技術でさえも,このタスクにおいてまだ性能が劣っていることを強調した新しいベンチマークであるTectorRLを提案する。 我々は,現在のSOTA検出器の強度と限界を明らかにした。 DetectRLは、実世界のシナリオにおける検出器の評価に有効なベンチマークになり得ると考えている。
  論文  参考訳（メタデータ） (2024-10-31T09:01:25Z)
• Detecting Machine-Generated Long-Form Content with Latent-Space Variables [54.07946647012579]
  既存のゼロショット検出器は主に、現実世界のドメインシフトに弱いトークンレベルの分布に焦点を当てている。 本稿では,イベント遷移などの抽象的要素を機械対人文検出の鍵となる要因として組み込んだ,より堅牢な手法を提案する。
  論文  参考訳（メタデータ） (2024-10-04T18:42:09Z)
• Navigating the Shadows: Unveiling Effective Disturbances for Modern AI Content Detectors [24.954755569786396]
  AIテキスト検出は、人間と機械が生成したコンテンツを区別するために現れた。 近年の研究では、これらの検出システムは、しばしば頑丈さを欠き、摂動テキストを効果的に区別する難しさを欠いていることが示されている。 我々の研究は、非公式な文章と専門的な文章の両方で現実世界のシナリオをシミュレートし、現在の検出器のアウト・オブ・ボックスのパフォーマンスを探求する。
  論文  参考訳（メタデータ） (2024-06-13T08:37:01Z)
• The Impact of Prompts on Zero-Shot Detection of AI-Generated Text [4.337364406035291]
  チャットベースのアプリケーションでは、ユーザーは一般的にAI生成テキストのプロンプトを入力し、利用する。 本稿では,AI生成テキストの検出精度に対するプロンプトの影響を実証的に分析するための評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-29T11:33:34Z)
• AI-generated text boundary detection with RoFT [7.2286849324485445]
  テキストの書き起こし部分と機械生成部分の境界を検出する方法について検討する。 特に,境界検出に対するパープレキシティに基づくアプローチは,RoBERTaモデルの教師付き微調整よりも,ドメイン固有データの特異性に頑健であることがわかった。
  論文  参考訳（メタデータ） (2023-11-14T17:48:19Z)
• Towards Possibilities & Impossibilities of AI-generated Text Detection: A Survey [97.33926242130732]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の領域に革命をもたらし、人間のようなテキスト応答を生成する能力を持つ。 これらの進歩にもかかわらず、既存の文献のいくつかは、LLMの潜在的な誤用について深刻な懸念を提起している。 これらの懸念に対処するために、研究コミュニティのコンセンサスは、AI生成テキストを検出するアルゴリズムソリューションを開発することである。
  論文  参考訳（メタデータ） (2023-10-23T18:11:32Z)
• MAGE: Machine-generated Text Detection in the Wild [82.70561073277801]
  大規模言語モデル(LLM)は人間レベルのテキスト生成を実現し、効果的なAI生成テキスト検出の必要性を強調している。 我々は、異なるLLMによって生成される多様な人文やテキストからテキストを収集することで、包括的なテストベッドを構築する。 問題にもかかわらず、トップパフォーマンス検出器は、新しいLCMによって生成された86.54%のドメイン外のテキストを識別することができ、アプリケーションシナリオの実現可能性を示している。
  論文  参考訳（メタデータ） (2023-05-22T17:13:29Z)
• On the Possibilities of AI-Generated Text Detection [76.55825911221434]
  機械が生成するテキストが人間に近い品質を近似するにつれて、検出に必要なサンプルサイズが増大すると主張している。 GPT-2, GPT-3.5-Turbo, Llama, Llama-2-13B-Chat-HF, Llama-2-70B-Chat-HFなどの最先端テキストジェネレータをoBERTa-Large/Base-Detector, GPTZeroなどの検出器に対して試験した。
  論文  参考訳（メタデータ） (2023-04-10T17:47:39Z)
• Can AI-Generated Text be Reliably Detected? [54.670136179857344]
  LLMの規制されていない使用は、盗作、偽ニュースの生成、スパムなど、悪意のある結果をもたらす可能性がある。 最近の研究は、生成されたテキスト出力に存在する特定のモデルシグネチャを使用するか、透かし技術を適用してこの問題に対処しようとしている。 本稿では,これらの検出器は実用シナリオにおいて信頼性が低いことを示す。
  論文  参考訳（メタデータ） (2023-03-17T17:53:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。