論文の概要: 'Quis custodiet ipsos custodes?' Who will watch the watchmen? On Detecting AI-generated peer-reviews
- arxiv url: http://arxiv.org/abs/2410.09770v1
- Date: Sun, 13 Oct 2024 08:06:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-30 05:02:48.409596
- Title: 'Quis custodiet ipsos custodes?' Who will watch the watchmen? On Detecting AI-generated peer-reviews
- Title（参考訳）: 「クイズ・カストディート・イプソス・カストデス」
- Authors: Sandeep Kumar, Mohit Sahu, Vardhan Gacche, Tirthankar Ghosal, Asif Ekbal,
- Abstract要約: AIが生成したテキストが、ピアレビューを含む科学出版を損なうのではないかという懸念が高まっている。
本稿では,AIが頻繁にトークンを繰り返すことを示唆するTF(Term Frequency)モデルと,ChatGPTが再プロンプト時に同様の出力を生成するという考え方に基づくRR(Review Regeneration)モデルを紹介する。
以上の結果から,提案手法は,他のAIテキスト検出方法よりも優れていたことが示唆された。
- 参考スコア（独自算出の注目度）: 20.030884734361358
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The integrity of the peer-review process is vital for maintaining scientific rigor and trust within the academic community. With the steady increase in the usage of large language models (LLMs) like ChatGPT in academic writing, there is a growing concern that AI-generated texts could compromise scientific publishing, including peer-reviews. Previous works have focused on generic AI-generated text detection or have presented an approach for estimating the fraction of peer-reviews that can be AI-generated. Our focus here is to solve a real-world problem by assisting the editor or chair in determining whether a review is written by ChatGPT or not. To address this, we introduce the Term Frequency (TF) model, which posits that AI often repeats tokens, and the Review Regeneration (RR) model, which is based on the idea that ChatGPT generates similar outputs upon re-prompting. We stress test these detectors against token attack and paraphrasing. Finally, we propose an effective defensive strategy to reduce the effect of paraphrasing on our models. Our findings suggest both our proposed methods perform better than the other AI text detectors. Our RR model is more robust, although our TF model performs better than the RR model without any attacks. We make our code, dataset, and model public.
- Abstract（参考訳）: ピアレビュープロセスの完全性は、学術コミュニティ内の科学的厳密さと信頼を維持するために不可欠である。
学術的執筆におけるChatGPTのような大規模言語モデル(LLM)の使用が着実に増加する中、AI生成テキストがピアレビューを含む科学出版を損なうのではないかという懸念が高まっている。
これまでの研究は、汎用的なAI生成テキスト検出に重点を置いてきたか、あるいはAI生成可能なピアレビューのごく一部を推定するためのアプローチを提示してきた。
ここでは,ChatGPTによるレビュー作成の有無を判断するために,編集者や議長を支援することで,現実の問題を解決することに焦点を当てている。
これを解決するために、AIがしばしばトークンを繰り返すことを示唆するTF(Term Frequency)モデルと、ChatGPTが再プロンプト時に同様の出力を生成するというアイデアに基づくRR(Review Regeneration)モデルを導入する。
我々はこれらの検出器をトークン攻撃やパラフレージングに対してテストする。
最後に,パラフレージングの効果を抑える効果的な防御戦略を提案する。
以上の結果から,提案手法は,他のAIテキスト検出方法よりも優れていたことが示唆された。
我々の RR モデルはより堅牢であるが、我々の TF モデルは攻撃を受けずに RR モデルより優れている。
コード、データセット、モデルを公開します。
関連論文リスト
- Are AI-Generated Text Detectors Robust to Adversarial Perturbations? [9.001160538237372]
AI生成テキスト(AIGT)の現在の検出器は、敵の摂動に対する堅牢性を欠いている。
本稿では,既存のAIGT検出手法の堅牢性について検討し,新しい検出器であるシームズキャリブレーション・リコンストラクション・ネットワーク(SCRN)を導入する。
SCRNは、テキストからのノイズの追加と除去に再構成ネットワークを使用し、局所的な摂動に対して堅牢な意味表現を抽出する。
論文 参考訳（メタデータ） (2024-06-03T10:21:48Z) - Forging the Forger: An Attempt to Improve Authorship Verification via Data Augmentation [52.72682366640554]
著者検証(英語: Authorship Verification, AV)とは、ある特定の著者によって書かれたか、別の人物によって書かれたのかを推測するテキスト分類タスクである。
多くのAVシステムは敵の攻撃に弱いことが示されており、悪意のある著者は、その書体スタイルを隠蔽するか、あるいは他の著者の書体を模倣することによって、積極的に分類者を騙そうとしている。
論文 参考訳（メタデータ） (2024-03-17T16:36:26Z) - DetectGPT-SC: Improving Detection of Text Generated by Large Language
Models through Self-Consistency with Masked Predictions [13.077729125193434]
既存の検出器は、人間が生成したテキストとAI生成したテキストの間に分配ギャップがあるという仮定に基づいて構築されている。
また,ChatGPTのような大規模言語モデルは,テキスト生成や継続において強い自己整合性を示すことがわかった。
マスク付き予測を用いた自己整合性に基づくAI生成テキストの検出手法を提案する。
論文 参考訳（メタデータ） (2023-10-23T01:23:10Z) - UltraFeedback: Boosting Language Models with Scaled AI Feedback [99.4633351133207]
大規模で高品質で多様なAIフィードバックデータセットである textscUltraFeedback を提示する。
我々の研究は、強力なオープンソースのチャット言語モデルを構築する上で、スケールしたAIフィードバックデータの有効性を検証する。
論文 参考訳（メタデータ） (2023-10-02T17:40:01Z) - A LLM Assisted Exploitation of AI-Guardian [57.572998144258705]
IEEE S&P 2023で発表された敵に対する最近の防衛であるAI-Guardianの堅牢性を評価する。
我々は、このモデルを攻撃するためのコードを書かず、代わりに、GPT-4に命令とガイダンスに従って全ての攻撃アルゴリズムを実装するよう促します。
このプロセスは驚くほど効果的で効率的であり、言語モデルでは、この論文の著者が実行したよりも高速に曖昧な命令からコードを生成することもあった。
論文 参考訳（メタデータ） (2023-07-20T17:33:25Z) - RADAR: Robust AI-Text Detection via Adversarial Learning [69.5883095262619]
RADARはパラフラザーと検出器の対向訓練に基づいている。
パラフレーズの目標は、AIテキスト検出を避けるために現実的なコンテンツを生成することである。
RADARは検出器からのフィードバックを使ってパラフラザーを更新する。
論文 参考訳（メタデータ） (2023-07-07T21:13:27Z) - Paraphrasing evades detectors of AI-generated text, but retrieval is an
effective defense [56.077252790310176]
本稿では,パラフレーズ生成モデル(DIPPER)を提案する。
DIPPERを使って3つの大きな言語モデル(GPT3.5-davinci-003)で生成されたテキストを言い換えると、透かしを含むいくつかの検出器を回避できた。
我々は,言語モデルAPIプロバイダによって維持されなければならない,意味論的に類似した世代を検索するシンプルなディフェンスを導入する。
論文 参考訳（メタデータ） (2023-03-23T16:29:27Z) - Can AI-Generated Text be Reliably Detected? [54.670136179857344]
LLMの規制されていない使用は、盗作、偽ニュースの生成、スパムなど、悪意のある結果をもたらす可能性がある。
最近の研究は、生成されたテキスト出力に存在する特定のモデルシグネチャを使用するか、透かし技術を適用してこの問題に対処しようとしている。
本稿では,これらの検出器は実用シナリオにおいて信頼性が低いことを示す。
論文 参考訳（メタデータ） (2023-03-17T17:53:19Z) - ChatGPT or Human? Detect and Explain. Explaining Decisions of Machine
Learning Model for Detecting Short ChatGPT-generated Text [2.0378492681344493]
機械学習モデルを効果的に訓練することにより、本来の人間と一見人間(すなわちChatGPT生成)のテキストを正確に区別できるかどうかを検討する。
我々は、ChatGPT生成テキストと人文生成テキストを区別するために訓練されたモデルの背後にある理由を理解するために、説明可能な人工知能フレームワークを使用している。
本研究は,人間生成テキストとChatGPT生成テキストを比較した2つの実験を行い,短いオンラインレビューに焦点を当てた。
論文 参考訳（メタデータ） (2023-01-30T08:06:08Z) - How would Stance Detection Techniques Evolve after the Launch of ChatGPT? [5.756359016880821]
2022年11月30日、新しい訓練済み言語モデルであるchatGPTが発売された。
ChatGPTは、SemEval-2016やP-Stanceといった一般的なデータセットに対して、SOTAまたは同様のパフォーマンスを達成することができる。
ChatGPTは、NLPのスタンス検出タスクにおいて、最高のAIモデルになる可能性がある。
論文 参考訳（メタデータ） (2022-12-30T05:03:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。