論文の概要: CoCoNUTS: Concentrating on Content while Neglecting Uninformative Textual Styles for AI-Generated Peer Review Detection

• arxiv url: http://arxiv.org/abs/2509.04460v1
• Date: Thu, 28 Aug 2025 06:03:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-14 20:41:04.882409
• Title: CoCoNUTS: Concentrating on Content while Neglecting Uninformative Textual Styles for AI-Generated Peer Review Detection
• Title（参考訳）: CoCoNUTS:AI生成ピアレビュー検出のための非形式的テクスチャスタイルを無視しながらコンテンツに集中
• Authors: Yihan Chen, Jiawei Chen, Guozhao Mo, Xuanang Chen, Ben He, Xianpei Han, Le Sun,
• Abstract要約: 我々は、AI生成ピアレビューの詳細なデータセットの上に構築されたコンテンツ指向ベンチマークであるCoCoNUTSを紹介する。 また、マルチタスク学習フレームワークを介してAIレビュー検出を行うCoCoDetを開発し、レビューコンテンツにおけるAIのより正確で堅牢な検出を実現する。
• 参考スコア（独自算出の注目度）: 60.52240468810558
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The growing integration of large language models (LLMs) into the peer review process presents potential risks to the fairness and reliability of scholarly evaluation. While LLMs offer valuable assistance for reviewers with language refinement, there is growing concern over their use to generate substantive review content. Existing general AI-generated text detectors are vulnerable to paraphrasing attacks and struggle to distinguish between surface language refinement and substantial content generation, suggesting that they primarily rely on stylistic cues. When applied to peer review, this limitation can result in unfairly suspecting reviews with permissible AI-assisted language enhancement, while failing to catch deceptively humanized AI-generated reviews. To address this, we propose a paradigm shift from style-based to content-based detection. Specifically, we introduce CoCoNUTS, a content-oriented benchmark built upon a fine-grained dataset of AI-generated peer reviews, covering six distinct modes of human-AI collaboration. Furthermore, we develop CoCoDet, an AI review detector via a multi-task learning framework, designed to achieve more accurate and robust detection of AI involvement in review content. Our work offers a practical foundation for evaluating the use of LLMs in peer review, and contributes to the development of more precise, equitable, and reliable detection methods for real-world scholarly applications. Our code and data will be publicly available at https://github.com/Y1hanChen/COCONUTS.
• Abstract（参考訳）: 大規模言語モデル(LLM)のピアレビュープロセスへの統合が進み、学術的評価の公正性と信頼性に対する潜在的なリスクが提示される。 LLMは言語改良のレビュアーに貴重な支援を提供する一方で、実質的なレビュアーコンテンツの生成に使用することについて懸念が高まっている。 既存のAI生成テキスト検出器は、パラフレーズ攻撃に対して脆弱であり、表面言語の改良と実質的なコンテンツ生成の区別に苦慮している。 ピアレビューに適用された場合、この制限は、許容可能なAI支援言語拡張によるレビューを不当に疑う結果となり得る。 そこで本研究では,スタイルベースからコンテンツベース検出へのパラダイムシフトを提案する。 具体的には、AI生成ピアレビューの詳細なデータセット上に構築された、コンテンツ指向のベンチマークであるCoCoNUTSを紹介します。 さらに、マルチタスク学習フレームワークを介してAIレビュー検出を行うCoCoDetを開発し、レビューコンテンツにおけるAIのより正確で堅牢な検出を実現する。 我々の研究は、ピアレビューにおけるLLMの使用を評価するための実践的基盤を提供し、現実世界の学術的応用のためのより正確で公平で信頼性の高い検出方法の開発に寄与する。 私たちのコードとデータはhttps://github.com/Y1hanChen/COCONUTS.comで公開されます。

関連論文リスト

• The AI Imperative: Scaling High-Quality Peer Review in Machine Learning [49.87236114682497]
  AIによるピアレビューは、緊急の研究とインフラの優先事項になるべきだ、と私たちは主張する。 我々は、事実検証の強化、レビュアーのパフォーマンスの指導、品質改善における著者の支援、意思決定におけるAC支援におけるAIの具体的な役割を提案する。
  論文  参考訳（メタデータ） (2025-06-09T18:37:14Z)
• Is Your Paper Being Reviewed by an LLM? Benchmarking AI Text Detection in Peer Review [6.20631177269082]
  ピアレビュープロセスに対する新たなリスクは、Negligentレビュアーが論文をレビューするために大きな言語モデル(LLM)に依存することだ。 我々は、AIで書かれたピアレビューを、対応する人間のレビューと組み合わせた合計788,984件の包括的データセットを導入する。 我々は、この新たなリソースを使用して、既存の18のAIテキスト検出アルゴリズムが、人間が完全に書いたピアレビューと、最先端のLLMを区別する能力を評価する。
  論文  参考訳（メタデータ） (2025-02-26T23:04:05Z)
• Who Writes the Review, Human or AI? [0.36498648388765503]
  本研究では,AIによる書評と人間による書評を正確に区別する手法を提案する。 提案手法は移動学習を利用して,異なるトピック間で生成したテキストを識別する。 実験の結果、元のテキストのソースを検出でき、精度96.86%に達することが示されている。
  論文  参考訳（メタデータ） (2024-05-30T17:38:44Z)
• Towards Possibilities & Impossibilities of AI-generated Text Detection: A Survey [97.33926242130732]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の領域に革命をもたらし、人間のようなテキスト応答を生成する能力を持つ。 これらの進歩にもかかわらず、既存の文献のいくつかは、LLMの潜在的な誤用について深刻な懸念を提起している。 これらの懸念に対処するために、研究コミュニティのコンセンサスは、AI生成テキストを検出するアルゴリズムソリューションを開発することである。
  論文  参考訳（メタデータ） (2023-10-23T18:11:32Z)
• The Role of AI in Drug Discovery: Challenges, Opportunities, and Strategies [97.5153823429076]
  この分野でのAIのメリット、課題、欠点についてレビューする。 データ拡張、説明可能なAIの使用、従来の実験手法とAIの統合についても論じている。
  論文  参考訳（メタデータ） (2022-12-08T23:23:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。