Fugu-MT 論文翻訳(概要): RoFT: A Tool for Evaluating Human Detection of Machine-Generated Text

論文の概要: RoFT: A Tool for Evaluating Human Detection of Machine-Generated Text

arxiv url: http://arxiv.org/abs/2010.03070v1
Date: Tue, 6 Oct 2020 22:47:43 GMT
ステータス: 処理完了
システム内更新日: 2022-10-10 05:26:08.146511
Title: RoFT: A Tool for Evaluating Human Detection of Machine-Generated Text
Title（参考訳）: RoFT: 機械生成テキストの人的検出評価ツール
Authors: Liam Dugan, Daphne Ippolito, Arun Kirubarajan and Chris Callison-Burch
Abstract要約: われわれはReal or Fake Text (RoFT)を紹介した。本稿では,RoFTを用いたニュース記事の検出結果について述べる。
参考スコア（独自算出の注目度）: 25.80571756447762
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In recent years, large neural networks for natural language generation (NLG) have made leaps and bounds in their ability to generate fluent text. However, the tasks of evaluating quality differences between NLG systems and understanding how humans perceive the generated text remain both crucial and difficult. In this system demonstration, we present Real or Fake Text (RoFT), a website that tackles both of these challenges by inviting users to try their hand at detecting machine-generated text in a variety of domains. We introduce a novel evaluation task based on detecting the boundary at which a text passage that starts off human-written transitions to being machine-generated. We show preliminary results of using RoFT to evaluate detection of machine-generated news articles.
Abstract（参考訳）: 近年、自然言語生成のための大規模ニューラルネットワーク(NLG)は、流用テキストを生成する能力の飛躍と限界を生み出している。しかしながら,NLGシステム間の品質差を評価し,人間が生成したテキストをどのように知覚するかを理解するタスクは,依然として重要かつ困難なままである。本システムデモでは,ユーザに対して,様々な領域における機械生成テキストの検出を試みることにより,これらの課題を解決するwebサイトであるreal or fake text (roft)を提案する。本稿では,人間が書き始めた文章が機械生成に移行する境界を検出することに基づく新しい評価タスクを提案する。マシン生成ニュースの検出に roft を用いた場合の予備結果を示す。

関連論文リスト

RKadiyala at SemEval-2024 Task 8: Black-Box Word-Level Text Boundary Detection in Partially Machine Generated Texts [0.0]
本稿では,与えられたテキストのどの部分が単語レベルで生成されたかを特定するための信頼性の高いアプローチをいくつか紹介する。本稿では,プロプライエタリシステムとの比較,未確認領域におけるモデルの性能,ジェネレータのテキストの比較を行う。その結果,検出能の他の側面との比較とともに,検出精度が著しく向上した。
論文参考訳（メタデータ） (2024-10-22T03:21:59Z)
Detecting Machine-Generated Long-Form Content with Latent-Space Variables [54.07946647012579]
既存のゼロショット検出器は主に、現実世界のドメインシフトに弱いトークンレベルの分布に焦点を当てている。本稿では,イベント遷移などの抽象的要素を機械対人文検出の鍵となる要因として組み込んだ,より堅牢な手法を提案する。
論文参考訳（メタデータ） (2024-10-04T18:42:09Z)
Deciphering Textual Authenticity: A Generalized Strategy through the Lens of Large Language Semantics for Detecting Human vs. Machine-Generated Text [8.290557547578146]
プリトレーニング済みのT5エンコーダとLLM埋め込みサブクラスタリングを組み合わせた,機械生成テキスト検出システムT5LLMCipherを導入する。提案手法は,機械生成テキストの平均F1スコアが19.6%増加し,非可視ジェネレータやドメインでF1スコアが平均上昇する,最先端の一般化能力を提供する。
論文参考訳（メタデータ） (2024-01-17T18:45:13Z)
AI-generated text boundary detection with RoFT [7.2286849324485445]
テキストの書き起こし部分と機械生成部分の境界を検出する方法について検討する。特に,境界検出に対するパープレキシティに基づくアプローチは,RoBERTaモデルの教師付き微調整よりも,ドメイン固有データの特異性に頑健であることがわかった。
論文参考訳（メタデータ） (2023-11-14T17:48:19Z)
TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。 TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
論文参考訳（メタデータ） (2023-06-06T03:37:41Z)
MAGE: Machine-generated Text Detection in the Wild [82.70561073277801]
大規模言語モデル(LLM)は人間レベルのテキスト生成を実現し、効果的なAI生成テキスト検出の必要性を強調している。我々は、異なるLLMによって生成される多様な人文やテキストからテキストを収集することで、包括的なテストベッドを構築する。問題にもかかわらず、トップパフォーマンス検出器は、新しいLCMによって生成された86.54%のドメイン外のテキストを識別することができ、アプリケーションシナリオの実現可能性を示している。
論文参考訳（メタデータ） (2023-05-22T17:13:29Z)
On the Possibilities of AI-Generated Text Detection [76.55825911221434]
機械が生成するテキストが人間に近い品質を近似するにつれて、検出に必要なサンプルサイズが増大すると主張している。 GPT-2, GPT-3.5-Turbo, Llama, Llama-2-13B-Chat-HF, Llama-2-70B-Chat-HFなどの最先端テキストジェネレータをoBERTa-Large/Base-Detector, GPTZeroなどの検出器に対して試験した。
論文参考訳（メタデータ） (2023-04-10T17:47:39Z)
Real or Fake Text?: Investigating Human Ability to Detect Boundaries Between Human-Written and Machine-Generated Text [23.622347443796183]
我々は、テキストが人間の書き起こしから始まり、最先端のニューラルネットワークモデルによって生成されるようになる、より現実的な状況について研究する。この課題でアノテータはしばしば苦労するが、アノテータのスキルにはかなりのばらつきがあり、適切なインセンティブが与えられると、アノテータは時間とともに改善できることを示す。
論文参考訳（メタデータ） (2022-12-24T06:40:25Z)
Visualize Before You Write: Imagination-Guided Open-Ended Text Generation [68.96699389728964]
我々は、機械生成画像を用いて、オープンエンドテキスト生成における言語モデルをガイドするiNLGを提案する。オープンエンドテキスト生成タスクにおけるiNLGの有効性について実験と解析を行った。
論文参考訳（メタデータ） (2022-10-07T18:01:09Z)
Controllable Text Generation with Focused Variation [71.07811310799664]
Focused-Variation Network (FVN) は言語生成を制御する新しいモデルである。 FVNは、コードブック内の各属性に対する非結合なラテント空間を学習し、制御性と多様性の両方を可能にする。我々は、注釈付きコンテンツとスタイルを持つ2つのテキスト生成データセット上でFVNを評価し、自動評価と人的評価により、最先端のパフォーマンスを示す。
論文参考訳（メタデータ） (2020-09-25T06:31:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。