論文の概要: GenAI Content Detection Task 3: Cross-Domain Machine-Generated Text Detection Challenge

• arxiv url: http://arxiv.org/abs/2501.08913v1
• Date: Wed, 15 Jan 2025 16:21:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-16 15:53:21.077900
• Title: GenAI Content Detection Task 3: Cross-Domain Machine-Generated Text Detection Challenge
• Title（参考訳）: GenAIコンテンツ検出タスク3:クロスドメインマシン生成テキスト検出チャレンジ
• Authors: Liam Dugan, Andrew Zhu, Firoj Alam, Preslav Nakov, Marianna Apidianaki, Chris Callison-Burch,
• Abstract要約: モデルが巨大な、固定された、多数のドメインとLLMから生成されたテキストを検出できるかどうかを問う。 3ヶ月の間に、23の検出器を提出した9つのチームによって、我々のタスクが試みられた。 その結果, RAID から生成したテキストに対して, 5% の偽陽性率を維持しながら, 精度が 99% を超えることが判明した。
• 参考スコア（独自算出の注目度）: 71.69373986176839
• License:
• Abstract: Recently there have been many shared tasks targeting the detection of generated text from Large Language Models (LLMs). However, these shared tasks tend to focus either on cases where text is limited to one particular domain or cases where text can be from many domains, some of which may not be seen during test time. In this shared task, using the newly released RAID benchmark, we aim to answer whether or not models can detect generated text from a large, yet fixed, number of domains and LLMs, all of which are seen during training. Over the course of three months, our task was attempted by 9 teams with 23 detector submissions. We find that multiple participants were able to obtain accuracies of over 99% on machine-generated text from RAID while maintaining a 5% False Positive Rate -- suggesting that detectors are able to robustly detect text from many domains and models simultaneously. We discuss potential interpretations of this result and provide directions for future research.
• Abstract（参考訳）: 近年,Large Language Models (LLMs) から生成されたテキストの検出を目的とした共有タスクが多数存在する。 しかしながら、これらの共有タスクは、テキストが特定のドメインに限られている場合や、テキストが多くのドメインから来ている場合に焦点を当てる傾向がある。 この共有タスクでは、RAIDベンチマークを用いて、モデルが大きな、固定されている、多数のドメインとLLMから生成されたテキストを検出できるかどうかを、トレーニング中にすべて見ることができるかどうかを問う。 3ヶ月の間に、23の検出器を提出した9つのチームによって、我々のタスクが試みられた。 複数の参加者がRAIDから機械生成テキストの99%以上を取得でき、5%の偽陽性率を維持した結果、検出者が複数のドメインやモデルからテキストを同時に検出できることが示唆された。 この結果の潜在的な解釈について論じ、今後の研究の方向性を示す。

関連論文リスト

• Detecting Machine-Generated Long-Form Content with Latent-Space Variables [54.07946647012579]
  既存のゼロショット検出器は主に、現実世界のドメインシフトに弱いトークンレベルの分布に焦点を当てている。 本稿では,イベント遷移などの抽象的要素を機械対人文検出の鍵となる要因として組み込んだ,より堅牢な手法を提案する。
  論文  参考訳（メタデータ） (2024-10-04T18:42:09Z)
• Assaying on the Robustness of Zero-Shot Machine-Generated Text Detectors [57.7003399760813]
  先進的なLarge Language Models (LLMs) とその特殊な変種を探索し、いくつかの方法でこの分野に寄与する。 トピックと検出性能の間に有意な相関関係が発見された。 これらの調査は、様々なトピックにまたがるこれらの検出手法の適応性と堅牢性に光を当てた。
  論文  参考訳（メタデータ） (2023-12-20T10:53:53Z)
• AI-generated text boundary detection with RoFT [7.2286849324485445]
  テキストの書き起こし部分と機械生成部分の境界を検出する方法について検討する。 特に,境界検出に対するパープレキシティに基づくアプローチは,RoBERTaモデルの教師付き微調整よりも,ドメイン固有データの特異性に頑健であることがわかった。
  論文  参考訳（メタデータ） (2023-11-14T17:48:19Z)
• M4: Multi-generator, Multi-domain, and Multi-lingual Black-Box Machine-Generated Text Detection [69.29017069438228]
  大規模言語モデル(LLM)は,多様なユーザクエリに対して,流動的な応答を生成する優れた能力を示している。 これはまた、ジャーナリズム、教育、アカデミアにおけるそのようなテキストの誤用の可能性への懸念も提起している。 本研究では,機械が生成したテキストを検知し,潜在的誤用を特定できる自動システムの構築を試みている。
  論文  参考訳（メタデータ） (2023-05-24T08:55:11Z)
• MAGE: Machine-generated Text Detection in the Wild [82.70561073277801]
  大規模言語モデル(LLM)は人間レベルのテキスト生成を実現し、効果的なAI生成テキスト検出の必要性を強調している。 我々は、異なるLLMによって生成される多様な人文やテキストからテキストを収集することで、包括的なテストベッドを構築する。 問題にもかかわらず、トップパフォーマンス検出器は、新しいLCMによって生成された86.54%のドメイン外のテキストを識別することができ、アプリケーションシナリオの実現可能性を示している。
  論文  参考訳（メタデータ） (2023-05-22T17:13:29Z)
• On the Possibilities of AI-Generated Text Detection [76.55825911221434]
  機械が生成するテキストが人間に近い品質を近似するにつれて、検出に必要なサンプルサイズが増大すると主張している。 GPT-2, GPT-3.5-Turbo, Llama, Llama-2-13B-Chat-HF, Llama-2-70B-Chat-HFなどの最先端テキストジェネレータをoBERTa-Large/Base-Detector, GPTZeroなどの検出器に対して試験した。
  論文  参考訳（メタデータ） (2023-04-10T17:47:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。