論文の概要: Sem-Detect: Semantic Level Detection of AI Generated Peer-Reviews
- arxiv url: http://arxiv.org/abs/2605.21713v1
- Date: Wed, 20 May 2026 20:19:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-22 16:35:41.985519
- Title: Sem-Detect: Semantic Level Detection of AI Generated Peer-Reviews
- Title（参考訳）: Sem-Detect:AI生成ピアレビューのセマンティックレベル検出
- Authors: André V. Duarte, Brian Tufts, Aditya Oke, Fei Fang, Arlindo L. Oliveira, Lei Li,
- Abstract要約: ピアレビューのための著者検出手法であるSem-Detectを提案する。
同じ論文の複数のAI生成レビューに対するターゲットレビューを比較する。
完全なAIレビューと、本物の人間によるレビューを区別することができる。
- 参考スコア（独自算出の注目度）: 11.21278193949403
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: How can we distinguish whether a peer review was written by a human or generated by an AI model? We argue that, in this setting, authorship should not be attributed solely from the textual features of a review, but also from the ideas, judgments, and claims it expresses. To this end, we propose Sem-Detect, an authorship detection method for peer reviews that operationalizes this principle by combining textual features with claim-level semantic analysis. Sem-Detect compares a target review against multiple AI-generated reviews of the same paper, leveraging the observation that different AI models tend to converge on similar points, while human reviewers introduce more unique and diverse ones. As a result, Sem-Detect is able to distinguish fully AI reviews from authentic human-written ones, including those that have been refined using an LLM but still reflect human judgment. Across a dataset of over 20,000 peer reviews from ICLR and NeurIPS conferences, Sem-Detect improves over the strongest baseline by 25.5% in TPR@0.1% FPR in the binary setting. Moreover, in the three-class scenario, we empirically show that LLM refinement preserves the semantic signals of human reviews, which remain distinct from the patterns exhibited by fully AI-generated text; as a result, fewer than 3.5% of LLM-refined human reviews are misclassified as AI-generated.
- Abstract（参考訳）: ピアレビューが人間によって書かれたのか、AIモデルによって生成されたのかを区別するにはどうすればよいのか?
この設定では、著者は、レビューのテキスト的特徴だけでなく、それが表す考え、判断、主張からも帰属すべきである、と我々は主張する。
そこで本稿では,テキスト機能とクレームレベルのセマンティック分析を組み合わせることで,この原則を運用するピアレビューのオーサシップ検出手法であるSem-Detectを提案する。
Sem-Detectは、同じ論文の複数のAI生成レビューに対するターゲットレビューを比較し、異なるAIモデルが同様の点に収束する傾向にあるという観察を活用する一方で、人間レビュアーはよりユニークで多様なレビューを導入する。
その結果、Sem-Detectは、LLMを使用して洗練されているが人間の判断を反映しているものを含む、本物の人間によるレビューと完全なAIレビューを区別することができる。
ICLRとNeurIPSカンファレンスの2万以上のピアレビューのデータセットの中で、Sem-Detectは、バイナリ設定におけるTPR@0.1% FPRにおいて、最強のベースラインよりも25.5%改善されている。
さらに,3段階のシナリオでは,LLMの改良は,完全なAI生成テキストで表されるパターンとは相変わらず,人間のレビューのセマンティックな信号を保存することを実証的に示し,その結果,LLMを精製した人間のレビューの3.5%以下がAI生成と誤分類されている。
関連論文リスト
- Stop Automating Peer Review Without Rigorous Evaluation [51.53099943385505]
このポジションペーパーは、今日のAIシステムは、論文レビューの作成に使用すべきではない、と論じている。
1)AIレビュアーは、視点の多様性を低下させる論文内および新聞内における過剰な合意の隠れた効果を示す。
ピアレビューの危機に対処するには、ピアレビューの自動化の科学が必要です。
論文 参考訳（メタデータ） (2026-05-04T22:41:04Z) - When AI reviews science: Can we trust the referee? [73.47745294608072]
私たちは、トレーニングとデータ検索、デスクレビュー、深いレビュー、反論、システムレベルといった、レビューライフサイクル全体のアタックをマップします。
評価スコアに高名度フレーミング, 断定力, 反抗薬効, 文脈中毒の因果効果を分離するために, 2つの高度なLCMベースの審判を用いた。
論文 参考訳（メタデータ） (2026-04-26T08:03:32Z) - PeerPrism: Peer Evaluation Expertise vs Review-writing AI [12.533035088439975]
20,690のピアレビューのベンチマークであるPeerPrismを紹介した。
我々はPeerPrism上で最先端のLLMテキスト検出手法をベンチマークする。
以上の結果から,現在の検出手法は表面実現と知的貢献を両立させることが示唆された。
論文 参考訳（メタデータ） (2026-04-16T00:59:55Z) - Policies Permitting LLM Use for Polishing Peer Reviews Are Currently Not Enforceable [17.525659482226875]
科学会議や雑誌は、最近、ピアレビュアーによるLSMの使用を禁じる政策を制定した。
我々は、複数のレベルの人間とAIのコラボレーションをシミュレートしたピアレビューのデータセットを収集し、5つの最先端検出器を評価する。
我々の分析によると、全ての検出器は、LLMが収集したレビューのごく一部をAI生成と誤分類し、学術的不正行為の誤認を危険にさらしている。
論文 参考訳（メタデータ） (2026-03-20T19:28:34Z) - CoCoNUTS: Concentrating on Content while Neglecting Uninformative Textual Styles for AI-Generated Peer Review Detection [60.52240468810558]
我々は、AI生成ピアレビューの詳細なデータセットの上に構築されたコンテンツ指向ベンチマークであるCoCoNUTSを紹介する。
また、マルチタスク学習フレームワークを介してAIレビュー検出を行うCoCoDetを開発し、レビューコンテンツにおけるAIのより正確で堅牢な検出を実現する。
論文 参考訳（メタデータ） (2025-08-28T06:03:11Z) - Beyond "Not Novel Enough": Enriching Scholarly Critique with LLM-Assisted Feedback [81.0031690510116]
本稿では,3段階を通して専門家レビューアの動作をモデル化する,自動ノベルティ評価のための構造化アプローチを提案する。
本手法は,人文のノベルティレビューを大規模に分析した結果から得られたものである。
182 ICLR 2025 の提出で評価されたこの手法は、人間の推論と86.5%の一致と、新規性の結論に関する75.3%の合意を達成している。
論文 参考訳（メタデータ） (2025-08-14T16:18:37Z) - Is Your Paper Being Reviewed by an LLM? Benchmarking AI Text Detection in Peer Review [6.20631177269082]
ピアレビュープロセスに対する新たなリスクは、Negligentレビュアーが論文をレビューするために大きな言語モデル(LLM)に依存することだ。
我々は、AIで書かれたピアレビューを、対応する人間のレビューと組み合わせた合計788,984件の包括的データセットを導入する。
我々は、この新たなリソースを使用して、既存の18のAIテキスト検出アルゴリズムが、人間が完全に書いたピアレビューと、最先端のLLMを区別する能力を評価する。
論文 参考訳（メタデータ） (2025-02-26T23:04:05Z) - Almost AI, Almost Human: The Challenge of Detecting AI-Polished Writing [55.2480439325792]
本研究では、AI-Polished-Text Evaluationデータセットを用いて、12の最先端AIテキスト検出器を体系的に評価する。
我々の発見によると、検出器は、最小限に洗練されたテキストをAI生成としてフラグ付けし、AIの関与度を区別し、古いモデルや小さなモデルに対するバイアスを示す。
論文 参考訳（メタデータ） (2025-02-21T18:45:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。