論文の概要: Learning to Rewrite: Generalized LLM-Generated Text Detection

• arxiv url: http://arxiv.org/abs/2408.04237v1
• Date: Thu, 8 Aug 2024 05:53:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-09 16:29:12.445029
• Title: Learning to Rewrite: Generalized LLM-Generated Text Detection
• Title（参考訳）: 書き直し学習:汎用LLMテキスト検出
• Authors: Wei Hao, Ran Li, Weiliang Zhao, Junfeng Yang, Chengzhi Mao,
• Abstract要約: 大規模言語モデル(LLM)は、非現実的なコンテンツを作成し、偽情報を拡散するために、大規模に悪用される。 入力テキストの書き直し,LLM生成コンテンツに対する最小限の編集,人文テキストに対するさらなる編集を行うためのLLMのトレーニングを提案する。 我々の研究は、LLMが適切に訓練された場合、機械生成テキストを効果的に検出できることを示唆している。
• 参考スコア（独自算出の注目度）: 19.9477991969521
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models (LLMs) can be abused at scale to create non-factual content and spread disinformation. Detecting LLM-generated content is essential to mitigate these risks, but current classifiers often fail to generalize in open-world contexts. Prior work shows that LLMs tend to rewrite LLM-generated content less frequently, which can be used for detection and naturally generalizes to unforeseen data. However, we find that the rewriting edit distance between human and LLM content can be indistinguishable across domains, leading to detection failures. We propose training an LLM to rewrite input text, producing minimal edits for LLM-generated content and more edits for human-written text, deriving a distinguishable and generalizable edit distance difference across different domains. Experiments on text from 21 independent domains and three popular LLMs (e.g., GPT-4o, Gemini, and Llama-3) show that our classifier outperforms the state-of-the-art zero-shot classifier by up to 20.6% on AUROC score and the rewriting classifier by 9.2% on F1 score. Our work suggests that LLM can effectively detect machine-generated text if they are trained properly.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、非現実的なコンテンツを作成し、偽情報を拡散するために、大規模に悪用される。 LLM生成コンテンツの検出はこれらのリスクを軽減するために不可欠であるが、現在の分類器はオープンワールドの文脈において一般化に失敗することが多い。 以前の研究は、LCMが生成したコンテンツの書き直し頻度が低い傾向を示しており、検出に使用でき、予期せぬデータに自然に一般化することができる。 しかし、人間とLLMの編集距離の書き換えは、ドメイン間で区別できないため、検出に失敗する可能性がある。 入力テキストの書き直しにLLMを訓練し、LLM生成したコンテンツに対する最小限の編集と人書きテキストに対するさらなる編集を提案し、異なるドメイン間で識別可能で一般化可能な編集距離差を導出する。 21の独立ドメインと3つのLLM(例えば、GPT-4o、Gemini、Llama-3)のテキストによる実験により、我々の分類器は、最先端のゼロショット分類器を最大20.6%、書き直し分類器を9.2%、F1スコアを最大9.2%上回った。 我々の研究は、LLMが適切に訓練された場合、機械生成テキストを効果的に検出できることを示唆している。

関連論文リスト

• Which LLMs are Difficult to Detect? A Detailed Analysis of Potential Factors Contributing to Difficulties in LLM Text Detection [43.66875548677324]
  我々は、不均衡なデータセットで分類器を訓練するためにLibAUCライブラリを使用してAIGテキスト分類器を訓練する。 We results in the Deepfake Text dataset shows that AIG-text detection are various across domain。 学生エッセイに焦点をあてたIvy Pandaデータセットでは, LLMのOpenAIファミリは, 分類者が人文と区別することが極めて困難であった。
  論文  参考訳（メタデータ） (2024-10-18T21:42:37Z)
• Can AI writing be salvaged? Mitigating Idiosyncrasies and Improving Human-AI Alignment in the Writing Process through Edits [39.00434175773803]
  私たちはプロの作家を雇い、いくつかの創造的なドメインで段落を編集しました。 LAMPコーパス 1,057 LLM- generated paragraphs by professional writer based by our taxonomy。 LAMPの分析から,本研究で用いたLLMはいずれも,書字品質の面では優れていないことが明らかとなった。
  論文  参考訳（メタデータ） (2024-09-22T16:13:00Z)
• Robustness of LLMs to Perturbations in Text [2.0670689746336]
  大規模言語モデル(LLM)は素晴らしいパフォーマンスを示していますが、現実のデータでは避けられないノイズを処理できますか? この研究は、LLMのテキストのモルフォロジー変化に対するレジリエンスを調査することによって、この重要な問題に取り組む。 以上の結果から, LLM は, 一般の信念とは対照的に, 文中での騒々しい摂動に対して静かであることが明らかとなった。
  論文  参考訳（メタデータ） (2024-07-12T04:50:17Z)
• WikiContradict: A Benchmark for Evaluating LLMs on Real-World Knowledge Conflicts from Wikipedia [59.96425443250666]
  Retrieval-augmented Generation (RAG) は,大規模言語モデル(LLM)の限界を緩和する,有望なソリューションとして登場した。 本研究では,ウィキペディアからの矛盾文に基づく質問に対するLLM生成回答の総合評価を行う。 我々は、単一のパスを持つRAGと2つの矛盾するパスを持つRAGを含む、様々なQAシナリオ下で、クローズドおよびオープンソース両方のLSMをベンチマークする。
  論文  参考訳（メタデータ） (2024-06-19T20:13:42Z)
• ReMoDetect: Reward Models Recognize Aligned LLM's Generations [55.06804460642062]
  大型言語モデル (LLM) は人間の好むテキストを生成する。 本稿では,これらのモデルで共有される共通特性について述べる。 報奨モデルの検出能力をさらに向上する2つのトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-05-27T17:38:33Z)
• TM-TREK at SemEval-2024 Task 8: Towards LLM-Based Automatic Boundary Detection for Human-Machine Mixed Text [0.0]
  本稿では,人文と機械生成の混合テキストにおける境界を識別する大規模言語モデルの能力について検討する。 LLMのアンサンブルモデルは,SemEval'24コンペティションタスク8の「Human-Machine Mixed Text Detection」サブタスクにおいて,第1位を獲得した。
  論文  参考訳（メタデータ） (2024-04-01T03:54:42Z)
• Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation [128.01050030936028]
  InFO-RAG という情報改質訓練手法を提案する。 InFO-RAGは低コストで、様々なタスクにまたがっている。 LLaMA2の性能を平均9.39%向上させる。
  論文  参考訳（メタデータ） (2024-02-28T08:24:38Z)
• See the Unseen: Better Context-Consistent Knowledge-Editing by Noises [73.54237379082795]
  知識編集が大規模言語モデル(LLM)の知識を更新 既存の作業はこの特性を無視し、編集には一般化が欠けている。 実験により、異なる文脈がLLMに与える影響は、同じ知識を思い出す際にガウス的な分布に従うことが判明した。
  論文  参考訳（メタデータ） (2024-01-15T09:09:14Z)
• LLMRefine: Pinpointing and Refining Large Language Models via Fine-Grained Actionable Feedback [65.84061725174269]
  最近の大規模言語モデル(LLM)は、世代品質を改善するために人間のフィードバックを活用している。 LLMの出力を最適化する推論時間最適化手法であるLLMRefineを提案する。 機械翻訳、長文質問応答(QA)、話題要約を含む3つのテキスト生成タスクについて実験を行った。 LLMRefineは、すべてのベースラインアプローチを一貫して上回り、翻訳タスクの1.7 MetricXポイント、ASQAの8.1 ROUGE-L、トピックの要約の2.2 ROUGE-Lの改善を実現している。
  論文  参考訳（メタデータ） (2023-11-15T19:52:11Z)
• LLatrieval: LLM-Verified Retrieval for Verifiable Generation [67.93134176912477]
  検証可能な生成は、大きな言語モデル(LLM)がドキュメントをサポートするテキストを生成することを目的としている。 本稿では,LLatrieval (Large Language Model Verified Retrieval)を提案する。 実験により、LLatrievalは幅広いベースラインを著しく上回り、最先端の結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-11-14T01:38:02Z)
• Detecting LLM-Generated Text in Computing Education: A Comparative Study for ChatGPT Cases [0.0]
  大規模言語モデル(LLM)は、教育における学術的完全性に深刻な脅威をもたらしている。 現代の検出器は、学術的完全性を維持するための完全なソリューションを提供するために、まだ改善を必要としている。
  論文  参考訳（メタデータ） (2023-07-10T12:18:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。