論文の概要: EditLens: Quantifying the Extent of AI Editing in Text
- arxiv url: http://arxiv.org/abs/2510.03154v1
- Date: Fri, 03 Oct 2025 16:27:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-06 16:35:52.48375
- Title: EditLens: Quantifying the Extent of AI Editing in Text
- Title(参考訳): EditLens:テキストによるAI編集の限界を定量化する
- Authors: Katherine Thai, Bradley Emi, Elyas Masrour, Mohit Iyyer,
- Abstract要約: AIで編集されたテキストは、人間が書いたテキストやAIで生成したテキストと区別可能であることを示す。
テキスト内に存在するAI編集量を予測する回帰モデルをトレーニングする。
AIによって編集されたテキストが検出できるだけでなく、AIによる人間の文章への変化の度合いも検出できることを示す。
- 参考スコア(独自算出の注目度): 23.457378805409714
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: A significant proportion of queries to large language models ask them to edit user-provided text, rather than generate new text from scratch. While previous work focuses on detecting fully AI-generated text, we demonstrate that AI-edited text is distinguishable from human-written and AI-generated text. First, we propose using lightweight similarity metrics to quantify the magnitude of AI editing present in a text given the original human-written text and validate these metrics with human annotators. Using these similarity metrics as intermediate supervision, we then train EditLens, a regression model that predicts the amount of AI editing present within a text. Our model achieves state-of-the-art performance on both binary (F1=94.7%) and ternary (F1=90.4%) classification tasks in distinguishing human, AI, and mixed writing. Not only do we show that AI-edited text can be detected, but also that the degree of change made by AI to human writing can be detected, which has implications for authorship attribution, education, and policy. Finally, as a case study, we use our model to analyze the effects of AI-edits applied by Grammarly, a popular writing assistance tool. To encourage further research, we commit to publicly releasing our models and dataset.
- Abstract(参考訳): 大きな言語モデルに対するクエリのかなりの割合は、スクラッチから新しいテキストを生成するのではなく、ユーザが提供するテキストを編集するように求めている。
これまでの研究は、完全なAI生成テキストの検出に重点を置いていたが、AI編集されたテキストは、人間の書き起こしやAI生成テキストと区別可能であることを実証した。
まず,人間の手書きテキストから得られたテキスト中のAI編集の規模を定量化するために,軽量な類似度指標を用いて,これらの指標を人間のアノテータで検証する。
これらの類似度指標を中間監視として使用し、テキスト内に存在するAI編集量を予測する回帰モデルであるEditLensをトレーニングする。
本モデルでは,2進数(F1=94.7%)と3進数(F1=90.4%)の2進数(F1=94.7%)の2進数(F1=90.4%)を用いて,人間,AI,混合文字の区別を行う。
AIによって編集されたテキストが検出可能であるだけでなく、著者の帰属、教育、政策に影響を及ぼすような、AIによる人文への変化の度合いも検出できることを示す。
最後に、ケーススタディとして、一般的な筆記支援ツールであるGrammarlyが適用したAI編集の効果を分析するために、私たちのモデルを使用します。
さらなる研究を促進するため、私たちはモデルとデータセットを公開することを約束します。
関連論文リスト
- Fine-Grained Detection of AI-Generated Text Using Sentence-Level Segmentation [3.088244520495001]
人間とAI生成テキスト間の遷移を検出するための文レベルのシーケンスラベリングモデルの提案
我々のモデルは、ニューラルネットワーク(NN)と条件ランダムフィールド(CRF)を組み込んだ最先端の事前学習トランスフォーマーモデルを組み合わせる。
評価は、協力的な人間とAI生成されたテキストを含む2つの公開ベンチマークデータセットで実行される。
論文 参考訳(メタデータ) (2025-09-22T14:22:55Z) - Almost AI, Almost Human: The Challenge of Detecting AI-Polished Writing [55.2480439325792]
本研究では、AI-Polished-Text Evaluationデータセットを用いて、12の最先端AIテキスト検出器を体系的に評価する。
我々の発見によると、検出器は、最小限に洗練されたテキストをAI生成としてフラグ付けし、AIの関与度を区別し、古いモデルや小さなモデルに対するバイアスを示す。
論文 参考訳(メタデータ) (2025-02-21T18:45:37Z) - Group-Adaptive Threshold Optimization for Robust AI-Generated Text Detection [58.419940585826744]
本稿では,確率的AIテキスト検出のためのグループ固有しきい値最適化アルゴリズムであるFairOPTを紹介する。
属性(例えば、テキストの長さと書き込みスタイル)に基づいてデータをサブグループに分割し、FairOPTを実装して、各グループに対する決定しきい値の学習を行い、不一致を低減しました。
我々のフレームワークは、後処理によるAI生成コンテンツ検出において、より堅牢な分類の道を開く。
論文 参考訳(メタデータ) (2025-02-06T21:58:48Z) - DAMAGE: Detecting Adversarially Modified AI Generated Text [0.13108652488669736]
既存のAI検出器の多くが、人間化されたテキストを検出できないことを示す。
偽陽性率を低く保ちながら、人間化されたAIテキストを検出する頑健なモデルを実証する。
論文 参考訳(メタデータ) (2025-01-06T23:43:49Z) - Is Contrasting All You Need? Contrastive Learning for the Detection and Attribution of AI-generated Text [4.902089836908786]
WhosAIは、与えられた入力テキストが人間かAIによって生成されたかを予測するために設計された3重ネットワークコントラスト学習フレームワークである。
提案するフレームワークは,チューリングテストとオーサリングの両タスクにおいて,優れた結果が得られることを示す。
論文 参考訳(メタデータ) (2024-07-12T15:44:56Z) - Raidar: geneRative AI Detection viA Rewriting [42.477151044325595]
大規模な言語モデル(LLM)は、書き直しのタスクを行う場合、AI生成テキストよりも人間の書き起こしテキストを変更する傾向にある。
テキストの書き直しを LLM に促し,出力の編集距離を計算することで,AI 生成コンテンツを検出する手法を提案する。
この結果から,機械自体のレンズを通した機械生成テキストのユニークなインプリントが明らかになった。
論文 参考訳(メタデータ) (2024-01-23T18:57:53Z) - On the Possibilities of AI-Generated Text Detection [76.55825911221434]
機械が生成するテキストが人間に近い品質を近似するにつれて、検出に必要なサンプルサイズが増大すると主張している。
GPT-2, GPT-3.5-Turbo, Llama, Llama-2-13B-Chat-HF, Llama-2-70B-Chat-HFなどの最先端テキストジェネレータをoBERTa-Large/Base-Detector, GPTZeroなどの検出器に対して試験した。
論文 参考訳(メタデータ) (2023-04-10T17:47:39Z) - Paraphrasing evades detectors of AI-generated text, but retrieval is an
effective defense [56.077252790310176]
本稿では,パラフレーズ生成モデル(DIPPER)を提案する。
DIPPERを使って3つの大きな言語モデル(GPT3.5-davinci-003)で生成されたテキストを言い換えると、透かしを含むいくつかの検出器を回避できた。
我々は,言語モデルAPIプロバイダによって維持されなければならない,意味論的に類似した世代を検索するシンプルなディフェンスを導入する。
論文 参考訳(メタデータ) (2023-03-23T16:29:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。