論文の概要: greCAPTCHA: Assessing Understanding as Evidence of Research Authorship Under Generative AI

• arxiv url: http://arxiv.org/abs/2609.20481v1
• Date: Thu, 17 Sep 2026 14:34:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.325297
• Title: greCAPTCHA: Assessing Understanding as Evidence of Research Authorship Under Generative AI
• Title（参考訳）: greCAPTCHA: ジェネレーティブAIによる研究オーサシップのエビデンスとしての理解の評価
• Abstract要約: greCAPTCHA(greCAPTCHA)は、著者による研究写本の理解を測る、予測された評価手法である。 我々は,greCAPTCHAを評価するために,ユーザスタディと311ドルの研究者との半構造化インタビューを行った。 以上の結果から,greCAPTCHAは予測条件下での原稿固有の理解を評価できる可能性が示唆された。
• 参考スコア（独自算出の注目度）: 11.140035278465517
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Conferences, journals, funders, schools, and universities are struggling with a surge of potentially AI-generated submissions from ostensibly human authors, who may not have exercised sufficient human oversight for their manuscripts. In turn, institutions evaluating submissions can no longer reliably credit expertise based solely on authors' names on submitted work. To address this problem, we propose greCAPTCHA, a proctored assessment approach that measures authors' understanding of research manuscripts via the construct of capacity to verify, which we define as the knowledge and reasoning required to critically assess the contents underlying one's contributions to a manuscript. greCAPTCHA generates questions assessing multiple levels of understanding and provides an evaluative report based on authors' responses. Using a prototype implementation, we conduct a user study and semi-structured interviews with $31$ researchers to evaluate greCAPTCHA. Its automated scores predict which papers were or were not authored by study participants with an AUC of $0.90$. Participants reported positive overall experiences with the system and remarked on the appropriate construct validity for author understanding, while also suggesting important changes to be made before deployment. Our results provide initial evidence that greCAPTCHA can assess manuscript-specific understanding under proctored conditions.
• Abstract（参考訳）: 会議、雑誌、資金提供者、学校、大学は、原稿に対する十分な人間の監督を行なわなかったかもしれない、表面上は人間の著者によるAIによる提出の急増に苦慮している。 結果的に、提出書を評価する機関は、提出された作品の著者の名前のみに基づく専門知識を確実に信用することはできない。 この問題に対処するために,著者による研究原稿の理解を検証能力の構築を通じて評価する,予測された評価手法であるgreCAPTCHAを提案する。 greCAPTCHAは、複数のレベルの理解を評価する質問を生成し、著者の反応に基づいた評価レポートを提供する。 プロトタイプ実装を用いて,greCAPTCHAを評価するために,ユーザスタディと311ドルの研究者との半構造化インタビューを行った。 自動スコアは、AUCが0.90ドルである研究参加者によって、どの論文が著者であったかを予測する。 参加者はシステムに関する全体的な経験を肯定的に報告し、著者の理解に適切な構成の妥当性について言及するとともに、デプロイ前に重要な変更を行うことを示唆した。 以上の結果から,greCAPTCHAは予測条件下での原稿固有の理解を評価できる可能性が示唆された。

関連論文リスト

• Author-in-the-Loop Response Generation and Evaluation: Integrating Author Expertise and Intent in Responses to Peer Review [53.99984738447279]
  最近の作業は、このタスクを著者の専門知識と意図を活かした自動テキスト生成として捉えている。 本稿では,著者の明示的な入力,多属性制御,評価誘導による改良を統合したREspGenについて紹介する。 この定式化をサポートするために、アライメントされたレビュー-レスポンス-リビジョン三つ子の最初の大規模データセットであるRe$3$Alignを構築した。
  論文  参考訳（メタデータ） (2026-01-19T14:07:10Z)
• ReviewerToo: Should AI Join The Program Committee? A Look At The Future of Peer Review [23.630458187587223]
  ReviewerTooは、AI支援ピアレビューの研究とデプロイのためのフレームワークである。 専門的なレビュアー・ペルソナと構造化された評価基準による体系的な実験を支援する。 私たちは、複雑な評価判断をドメインの専門家に任せながら、AIが一貫性、カバレッジ、公平性を高める方法を示します。
  論文  参考訳（メタデータ） (2025-10-09T23:53:19Z)
• CoCoNUTS: Concentrating on Content while Neglecting Uninformative Textual Styles for AI-Generated Peer Review Detection [60.52240468810558]
  我々は、AI生成ピアレビューの詳細なデータセットの上に構築されたコンテンツ指向ベンチマークであるCoCoNUTSを紹介する。 また、マルチタスク学習フレームワークを介してAIレビュー検出を行うCoCoDetを開発し、レビューコンテンツにおけるAIのより正確で堅牢な検出を実現する。
  論文  参考訳（メタデータ） (2025-08-28T06:03:11Z)
• Identity Theft in AI Conference Peer Review [50.18240135317708]
  人工知能(AI)研究における科学的ピアレビュープロセスにおいて,新たに発見されたID盗難事例について論じる。 論文評価の操作に不正なレビュアープロファイルを作成することにより、不正直な研究者がピアレビューシステムをどのように活用するかを詳述する。
  論文  参考訳（メタデータ） (2025-08-06T02:36:52Z)
• The AI Imperative: Scaling High-Quality Peer Review in Machine Learning [49.87236114682497]
  AIによるピアレビューは、緊急の研究とインフラの優先事項になるべきだ、と私たちは主張する。 我々は、事実検証の強化、レビュアーのパフォーマンスの指導、品質改善における著者の支援、意思決定におけるAC支援におけるAIの具体的な役割を提案する。
  論文  参考訳（メタデータ） (2025-06-09T18:37:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。