論文の概要: AI-generated text boundary detection with RoFT
- arxiv url: http://arxiv.org/abs/2311.08349v3
- Date: Wed, 4 Sep 2024 15:19:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-07 04:31:07.998330
- Title: AI-generated text boundary detection with RoFT
- Title（参考訳）: RoFTを用いたAIによるテキスト境界検出
- Authors: Laida Kushnareva, Tatiana Gaintseva, German Magai, Serguei Barannikov, Dmitry Abulkhanov, Kristian Kuznetsov, Eduard Tulchinskii, Irina Piontkovskaya, Sergey Nikolenko,
- Abstract要約: テキストの書き起こし部分と機械生成部分の境界を検出する方法について検討する。
特に,境界検出に対するパープレキシティに基づくアプローチは,RoBERTaモデルの教師付き微調整よりも,ドメイン固有データの特異性に頑健であることがわかった。
- 参考スコア（独自算出の注目度）: 7.2286849324485445
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Due to the rapid development of large language models, people increasingly often encounter texts that may start as written by a human but continue as machine-generated. Detecting the boundary between human-written and machine-generated parts of such texts is a challenging problem that has not received much attention in literature. We attempt to bridge this gap and examine several ways to adapt state of the art artificial text detection classifiers to the boundary detection setting. We push all detectors to their limits, using the Real or Fake text benchmark that contains short texts on several topics and includes generations of various language models. We use this diversity to deeply examine the robustness of all detectors in cross-domain and cross-model settings to provide baselines and insights for future research. In particular, we find that perplexity-based approaches to boundary detection tend to be more robust to peculiarities of domain-specific data than supervised fine-tuning of the RoBERTa model; we also find which features of the text confuse boundary detection algorithms and negatively influence their performance in cross-domain settings.
- Abstract（参考訳）: 大規模な言語モデルの開発が急速に進んでいるため、人々は人間によって書かれたように始まるが、機械が生成したように続くテキストに遭遇することが多い。
このような文章の人文と機械生成部分の境界を検出することは、文学的にはあまり注目されていない難しい問題である。
我々はこのギャップを埋め、最先端の人工テキスト検出分類器を境界検出設定に適応させるいくつかの方法を検討する。
我々は、RealまたはFakeのテキストベンチマークを使用して、いくつかのトピックに関する短いテキストと、さまざまな言語モデルの世代を含むすべての検出器をその限界まで押し付けます。
この多様性を利用して、クロスドメインおよびクロスモデル設定における全ての検出器の堅牢性を深く検討し、将来の研究のベースラインと洞察を提供する。
特に、境界検出の難易度に基づくアプローチは、RoBERTaモデルの教師付き微調整よりも、ドメイン固有のデータに対して堅牢である傾向があり、また、テキストのどの特徴が境界検出アルゴリズムを混乱させ、ドメイン間設定においてその性能に悪影響を及ぼすかが分かる。
関連論文リスト
- Exploring the Limitations of Detecting Machine-Generated Text [29.06307663406079]
テキストの書き方の違いを判定し,機械が生成したテキストを検出するための分類性能について批判的に検討する。
分類器は文体的変化やテキストの複雑さの違いに非常に敏感であることがわかった。
さらに,検出システムは,複雑なテキストに対して高い性能を保ちながら,読みやすいテキストを誤分類することが特に考えられる。
論文 参考訳（メタデータ） (2024-06-16T21:02:02Z) - Navigating the Shadows: Unveiling Effective Disturbances for Modern AI Content Detectors [24.954755569786396]
AIテキスト検出は、人間と機械が生成したコンテンツを区別するために現れた。
近年の研究では、これらの検出システムは、しばしば頑丈さを欠き、摂動テキストを効果的に区別する難しさを欠いていることが示されている。
我々の研究は、非公式な文章と専門的な文章の両方で現実世界のシナリオをシミュレートし、現在の検出器のアウト・オブ・ボックスのパフォーマンスを探求する。
論文 参考訳（メタデータ） (2024-06-13T08:37:01Z) - Towards Unified Multi-granularity Text Detection with Interactive Attention [56.79437272168507]
Detect Any Text"は、シーンテキストの検出、レイアウト分析、ドキュメントページの検出を結合的なエンドツーエンドモデルに統合する高度なパラダイムである。
DATにおける重要なイノベーションは、テキストインスタンスの表現学習を大幅に強化する、粒度横断型アテンションモジュールである。
テストによると、DATは様々なテキスト関連ベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-05-30T07:25:23Z) - Spotting AI's Touch: Identifying LLM-Paraphrased Spans in Text [61.22649031769564]
我々は、新しいフレームワーク、パラフレーズテキストスパン検出(PTD)を提案する。
PTDは、テキスト内でパラフレーズ付きテキストを識別することを目的としている。
パラフレーズ付きテキストスパン検出のための専用データセットであるPASTEDを構築した。
論文 参考訳（メタデータ） (2024-05-21T11:22:27Z) - Assaying on the Robustness of Zero-Shot Machine-Generated Text Detectors [57.7003399760813]
先進的なLarge Language Models (LLMs) とその特殊な変種を探索し、いくつかの方法でこの分野に寄与する。
トピックと検出性能の間に有意な相関関係が発見された。
これらの調査は、様々なトピックにまたがるこれらの検出手法の適応性と堅牢性に光を当てた。
論文 参考訳（メタデータ） (2023-12-20T10:53:53Z) - Towards Possibilities & Impossibilities of AI-generated Text Detection:
A Survey [97.33926242130732]
大規模言語モデル(LLM)は、自然言語処理(NLP)の領域に革命をもたらし、人間のようなテキスト応答を生成する能力を持つ。
これらの進歩にもかかわらず、既存の文献のいくつかは、LLMの潜在的な誤用について深刻な懸念を提起している。
これらの懸念に対処するために、研究コミュニティのコンセンサスは、AI生成テキストを検出するアルゴリズムソリューションを開発することである。
論文 参考訳（メタデータ） (2023-10-23T18:11:32Z) - MAGE: Machine-generated Text Detection in the Wild [82.70561073277801]
大規模言語モデル(LLM)は人間レベルのテキスト生成を実現し、効果的なAI生成テキスト検出の必要性を強調している。
我々は、異なるLLMによって生成される多様な人文やテキストからテキストを収集することで、包括的なテストベッドを構築する。
問題にもかかわらず、トップパフォーマンス検出器は、新しいLCMによって生成された86.54%のドメイン外のテキストを識別することができ、アプリケーションシナリオの実現可能性を示している。
論文 参考訳（メタデータ） (2023-05-22T17:13:29Z) - On the Possibilities of AI-Generated Text Detection [76.55825911221434]
機械が生成するテキストが人間に近い品質を近似するにつれて、検出に必要なサンプルサイズが増大すると主張している。
GPT-2, GPT-3.5-Turbo, Llama, Llama-2-13B-Chat-HF, Llama-2-70B-Chat-HFなどの最先端テキストジェネレータをoBERTa-Large/Base-Detector, GPTZeroなどの検出器に対して試験した。
論文 参考訳（メタデータ） (2023-04-10T17:47:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。