論文の概要: To Trust or Not to Trust: Authors' Response to AI-based Reviews
- arxiv url: http://arxiv.org/abs/2605.16623v1
- Date: Fri, 15 May 2026 20:43:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-19 23:51:08.331685
- Title: To Trust or Not to Trust: Authors' Response to AI-based Reviews
- Title（参考訳）: 信頼すべきかどうか:AIベースのレビューに対する著者の反応
- Authors: César Leblanc, Lukas Picek,
- Abstract要約: 本稿では,AIによる補助的レビューにおける著者の使用と認識に関する2つの独立したパイロット研究の成果を報告する。
AIが教師あるいは著者が管理するツールとしてフレーム化されたとき、将来の使用に対する作者のサポートが最も強かった。
- 参考スコア（独自算出の注目度）: 1.0435741631709405
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Large language models are increasingly discussed and used as tools that may assist with scholarly peer review, but empirical evidence regarding how authors use and perceive AI-based feedback remains limited. This paper reports findings from two independent pilot studies on authors' use and perceptions of AI-based auxiliary review at two computer science venues. After the review release, authors were invited to complete an anonymous post-review questionnaire about the AI review's usefulness, trustworthiness, agreement with human reviews, practical value for revision, perceived inaccuracies, and consent. The final dataset included 56 analyzable responses from authors of 40 papers; closed-ended items were summarized using descriptive statistics, and open-ended responses were analyzed using inductive thematic analysis. Most respondents (83.9%) considered the AI-based review useful, and 80.4% reported that it identified issues not mentioned by human reviewers. This perceived added value translated into action: 82.1% reported using at least some AI feedback in their camera-ready version. However, the authors did not treat the AI review as equivalent to a human review. They generally trusted it less than the human reviews and found human feedback clearer, even though 25.0% described at least some human reviews as not very useful. Reported problems with the AI review were usually limited: 51.8% reported minor inaccuracies, while 16.1% reported clearly incorrect, misleading, or irrelevant comments. Support for future use was strongest when AI was framed as a supervised or author-controlled tool: 96.4% said they would use AI as an internal review tool before future submissions, 89.3% preferred advance notice that AI would be used in review, and 76.8% favored explicit consent before use.
- Abstract（参考訳）: 学術的なピアレビューを支援するツールとして、大規模な言語モデルが議論され、使用されているが、著者がAIベースのフィードバックをどのように利用し、知覚しているかに関する実証的な証拠は、依然として限られている。
本稿では,2つのコンピュータサイエンス会場におけるAIによる補助的レビューの著者の活用と認識に関する2つの独立したパイロット研究の成果を報告する。
レビューリリース後、著者はAIレビューの有用性、信頼性、人間レビューとの合意、リビジョンの実践的価値、不正確な認識、同意に関する匿名のレビュー後のアンケートを完了するよう招待された。
最終データセットには40論文の著者による56の回答が含まれており、クローズドエンド項目は記述的統計を用いて要約され、オープンエンド応答は帰納的テーマ分析を用いて分析された。
ほとんどの回答者(83.9%)はAIベースのレビューが有用であると考えており、80.4%は人間のレビュアーが言及していない問題を特定していると報告している。
82.1%は、カメラ対応バージョンで少なくともいくつかのAIフィードバックを使用して報告した。
しかし、著者らはAIレビューを人間レビューと同等のものとして扱わなかった。
概して、人間レビューよりも信頼が低く、人間からのフィードバックがより明確になることを発見したが、少なくとも一部の人間レビューは、あまり役に立たないと説明されている。
51.8%はマイナーな不正確を報告し、16.1%は明らかに誤った、誤解を招く、あるいは無関係なコメントを報告した。
96.4%は、将来の提出前にAIを内部レビューツールとして使用すると回答し、89.3%はAIをレビューに使用するという事前通知を推奨し、76.8%は使用前に明示的な同意を支持した。
関連論文リスト
- Stop Automating Peer Review Without Rigorous Evaluation [51.53099943385505]
このポジションペーパーは、今日のAIシステムは、論文レビューの作成に使用すべきではない、と論じている。
1)AIレビュアーは、視点の多様性を低下させる論文内および新聞内における過剰な合意の隠れた効果を示す。
ピアレビューの危機に対処するには、ピアレビューの自動化の科学が必要です。
論文 参考訳（メタデータ） (2026-05-04T22:41:04Z) - These Aren't the Reviews You're Looking For How Humans Review AI-Generated Pull Requests [0.0]
AIDevデータセットを使用して、GitHub上のAI生成プルリクエスト(PR)のコードレビューインタラクションを分析する。
ほとんどのAI生成PRはレビューを受けておらず、レビューされると、主に人間ではなくAIエージェントが支配していることがわかった。
論文 参考訳（メタデータ） (2026-05-04T06:32:50Z) - When AI reviews science: Can we trust the referee? [73.47745294608072]
私たちは、トレーニングとデータ検索、デスクレビュー、深いレビュー、反論、システムレベルといった、レビューライフサイクル全体のアタックをマップします。
評価スコアに高名度フレーミング, 断定力, 反抗薬効, 文脈中毒の因果効果を分離するために, 2つの高度なLCMベースの審判を用いた。
論文 参考訳（メタデータ） (2026-04-26T08:03:32Z) - Beyond Rating: A Comprehensive Evaluation and Benchmark for AI Reviews [69.66583722746904]
私たちは、AIレビュアーを5次元にわたって評価する総合的な評価フレームワークであるBeyond Ratingを紹介します。
本稿では,専門家の不一致に対応するためのMax-Recall戦略を提案する。
提案したテキスト中心の指標は、特に弱みの議論のリコールであり、評価精度と強く相関している。
論文 参考訳（メタデータ） (2026-04-21T14:21:15Z) - AI-Assisted Peer Review at Scale: The AAAI-26 AI Review Pilot [45.90272517740283]
本稿では,AI支援ピアレビューの大規模展開について報告する。
AAAI-26のすべてのメイントラックは、最先端のシステムから明確に特定されたAIレビューを受け取りました。
論文 参考訳（メタデータ） (2026-04-15T14:51:07Z) - What happens when reviewers receive AI feedback in their reviews? [9.57486570505445]
支持者はAIがレビュー担当者の負担を減らし、品質を改善する可能性があると考えているが、批判者は公正さ、説明責任、信頼へのリスクを警告している。
ICLR 2025では、レビュアーにレビュー後提案を提供するために、公式のAIフィードバックツールがデプロイされた。
この研究は、ライブレビュープロセスにおいて、このようなAIツールの実証的な証拠として初めて貢献する。
論文 参考訳（メタデータ） (2026-02-14T15:22:33Z) - CoCoNUTS: Concentrating on Content while Neglecting Uninformative Textual Styles for AI-Generated Peer Review Detection [60.52240468810558]
我々は、AI生成ピアレビューの詳細なデータセットの上に構築されたコンテンツ指向ベンチマークであるCoCoNUTSを紹介する。
また、マルチタスク学習フレームワークを介してAIレビュー検出を行うCoCoDetを開発し、レビューコンテンツにおけるAIのより正確で堅牢な検出を実現する。
論文 参考訳（メタデータ） (2025-08-28T06:03:11Z) - The Great AI Witch Hunt: Reviewers Perception and (Mis)Conception of Generative AI in Research Writing [36.188062803005515]
研究執筆におけるジェネレーティブAI(GenAI)の利用は急速に増加している。
ピアレビュアーがAIによる増補された写本をどう認識するか、それとも誤認しているかは明らかでない。
我々の研究結果は、AIによって強化された文章は可読性、言語多様性、情報性を改善するが、しばしば研究の詳細や著者からの反射的な洞察を欠いていることを示唆している。
論文 参考訳（メタデータ） (2024-06-27T02:38:25Z) - The AI Review Lottery: Widespread AI-Assisted Peer Reviews Boost Paper Scores and Acceptance Rates [11.076575064576149]
我々は,2024年国際学習表現会議において,AI支援ピアレビューの有病率と影響について検討した。
我々は、AIによるレビューが応募スコアに与える影響を推定する。
我々は、AI支援レビューがピアレビュープロセスに即したものであることを示す。
論文 参考訳（メタデータ） (2024-05-03T14:56:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。