論文の概要: Paraphrase Detection: Human vs. Machine Content
- arxiv url: http://arxiv.org/abs/2303.13989v1
- Date: Fri, 24 Mar 2023 13:25:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-27 14:29:43.912329
- Title: Paraphrase Detection: Human vs. Machine Content
- Title（参考訳）: パラフレーズ検出:人間と機械のコンテンツ
- Authors: Jonas Becker and Jan Philip Wahle and Terry Ruas and Bela Gipp
- Abstract要約: 人間が書いたパラフレーズは、難易度、多様性、類似性の点で機械生成のパラフレーズを超えている。
トランスフォーマーは、意味的に多様なコーパスに優れたTF-IDFを持つデータセット間で最も効果的な方法として登場した。
- 参考スコア（独自算出の注目度）: 3.8768839735240737
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: The growing prominence of large language models, such as GPT-4 and ChatGPT,
has led to increased concerns over academic integrity due to the potential for
machine-generated content and paraphrasing. Although studies have explored the
detection of human- and machine-paraphrased content, the comparison between
these types of content remains underexplored. In this paper, we conduct a
comprehensive analysis of various datasets commonly employed for paraphrase
detection tasks and evaluate an array of detection methods. Our findings
highlight the strengths and limitations of different detection methods in terms
of performance on individual datasets, revealing a lack of suitable
machine-generated datasets that can be aligned with human expectations. Our
main finding is that human-authored paraphrases exceed machine-generated ones
in terms of difficulty, diversity, and similarity implying that automatically
generated texts are not yet on par with human-level performance. Transformers
emerged as the most effective method across datasets with TF-IDF excelling on
semantically diverse corpora. Additionally, we identify four datasets as the
most diverse and challenging for paraphrase detection.
- Abstract（参考訳）: GPT-4やChatGPTといった大規模言語モデルの普及は、機械生成コンテンツやパラフレーズ化の可能性により、学術的整合性に対する懸念が高まっている。
人間と機械によるパラフロードコンテンツの検出についての研究は行われてきたが、これらのタイプのコンテンツの比較は未調査のままである。
本稿では,パラファーゼ検出タスクに一般的に使用される各種データセットの包括的解析を行い,検出手法の配列を評価する。
この結果から,個々のデータセットのパフォーマンスの観点から異なる検出手法の長所と短所を強調し,人間の期待に合致する適切なマシン生成データセットの欠如を明らかにした。
我々の主な発見は、人間が書いたパラフレーズが機械で作成したものを超え、難易度、多様性、類似性は、自動生成されたテキストが人間レベルのパフォーマンスとまだ一致していないことを示唆している。
トランスフォーマーは、意味的に多様なコーパスに優れたTF-IDFを持つデータセット間で最も効果的な方法として登場した。
さらに、4つのデータセットをパラフレーズ検出の最も多様で困難なものとして特定した。
関連論文リスト
- TAD-Bench: A Comprehensive Benchmark for Embedding-Based Text Anomaly Detection [18.14471932503304]
テキスト異常検出は、自然言語処理タスクにおけるスパム、誤情報、および攻撃的な言語を特定するために重要である。
埋め込みベースのメソッドの採用が増えているにもかかわらず、様々なアプリケーションシナリオにおけるそれらの有効性と一般化性は、まだ未調査のままである。
テキスト異常検出のための埋め込み型アプローチを体系的に評価するベンチマークであるTAD-Benchを提案する。
論文 参考訳（メタデータ） (2025-01-21T08:13:10Z) - Detecting Machine-Generated Long-Form Content with Latent-Space Variables [54.07946647012579]
既存のゼロショット検出器は主に、現実世界のドメインシフトに弱いトークンレベルの分布に焦点を当てている。
本稿では,イベント遷移などの抽象的要素を機械対人文検出の鍵となる要因として組み込んだ,より堅牢な手法を提案する。
論文 参考訳（メタデータ） (2024-10-04T18:42:09Z) - MUGC: Machine Generated versus User Generated Content Detection [1.6602942962521352]
従来の手法は, 機械生成データの同定において高い精度を示す。
機械生成テキストは短く、人間生成コンテンツに比べて単語の多様性が低い傾向にある。
可読性、バイアス、モラル、影響の比較は、機械生成コンテンツと人間生成コンテンツの間に明確なコントラストを示す。
論文 参考訳（メタデータ） (2024-03-28T07:33:53Z) - DEMASQ: Unmasking the ChatGPT Wordsmith [63.8746084667206]
そこで本研究では,ChatGPT生成内容を正確に識別する効果的なChatGPT検出器DEMASQを提案する。
提案手法は, 人為的, 機械的, 人為的, 人為的, 機械的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人
論文 参考訳（メタデータ） (2023-11-08T21:13:05Z) - HC3 Plus: A Semantic-Invariant Human ChatGPT Comparison Corpus [22.302137281411646]
ChatGPTはその素晴らしいパフォーマンスのために大きな関心を集めている。
その潜在的なリスクについて懸念が高まっている。
ChatGPT生成テキストを検出するために使用される現在のデータセットは、主に質問応答タスクに焦点を当てている。
論文 参考訳（メタデータ） (2023-09-06T05:33:57Z) - On the Possibilities of AI-Generated Text Detection [76.55825911221434]
機械が生成するテキストが人間に近い品質を近似するにつれて、検出に必要なサンプルサイズが増大すると主張している。
GPT-2, GPT-3.5-Turbo, Llama, Llama-2-13B-Chat-HF, Llama-2-70B-Chat-HFなどの最先端テキストジェネレータをoBERTa-Large/Base-Detector, GPTZeroなどの検出器に対して試験した。
論文 参考訳（メタデータ） (2023-04-10T17:47:39Z) - MGTBench: Benchmarking Machine-Generated Text Detection [54.81446366272403]
本稿では,強力な大規模言語モデル(LLM)に対するMGT検出のための最初のベンチマークフレームワークを提案する。
一般に単語が多ければ多いほど性能が向上し,ほとんどの検出手法はトレーニングサンプルをはるかに少なくして同様の性能が得られることを示す。
本研究は, テキスト属性タスクにおいて, モデルに基づく検出手法が依然として有効であることを示す。
論文 参考訳（メタデータ） (2023-03-26T21:12:36Z) - Human-in-the-Loop Disinformation Detection: Stance, Sentiment, or
Something Else? [93.91375268580806]
政治とパンデミックは、機械学習対応の偽ニュース検出アルゴリズムの開発に十分な動機を与えている。
既存の文献は、主に完全自動化されたケースに焦点を当てているが、その結果得られた技術は、軍事応用に必要な様々なトピック、ソース、時間スケールに関する偽情報を確実に検出することはできない。
既に利用可能なアナリストを人間のループとして活用することにより、感情分析、アスペクトベースの感情分析、姿勢検出といった標準的な機械学習技術は、部分的に自動化された偽情報検出システムに使用するためのもっとも有効な方法となる。
論文 参考訳（メタデータ） (2021-11-09T13:30:34Z) - MGD-GAN: Text-to-Pedestrian generation through Multi-Grained
Discrimination [96.91091607251526]
本稿では, 人的部分に基づく識別器と自己対応型識別器を併用した多点識別拡張生成適応ネットワークを提案する。
HPDモジュールには、多彩な外観と鮮明な詳細を強制するために、きめ細かい単語レベルの注意機構が採用されている。
様々な測定値に対する大幅な改善は、MGD-GANがテキストからペデストリアン合成シナリオに有効であることを示す。
論文 参考訳（メタデータ） (2020-10-02T12:24:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。