論文の概要: Understanding and Supporting Peer Review Using AI-reframed Positive Summary
- arxiv url: http://arxiv.org/abs/2503.10264v1
- Date: Thu, 13 Mar 2025 11:22:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-14 15:53:43.112411
- Title: Understanding and Supporting Peer Review Using AI-reframed Positive Summary
- Title（参考訳）: AI-reframed Positive Summary によるピアレビューの理解と支援
- Authors: Chi-Lan Yang, Alarith Uhde, Naomi Yamashita, Hideaki Kuzuoka,
- Abstract要約: 本研究は,筆記作業のピアレビューに自動生成された肯定的な要約を付加することの影響について検討した。
さもなくば過酷なフィードバックにAIを再構成した肯定的な要約を加えると、著者の批判的受け入れが増大することがわかった。
我々は、ピアフィードバックにおけるAIの利用の意味について論じ、それが批判的受容にどのように影響するかに注目し、研究コミュニティを支援する。
- 参考スコア（独自算出の注目度）: 18.686807993563168
- License:
- Abstract: While peer review enhances writing and research quality, harsh feedback can frustrate and demotivate authors. Hence, it is essential to explore how critiques should be delivered to motivate authors and enable them to keep iterating their work. In this study, we explored the impact of appending an automatically generated positive summary to the peer reviews of a writing task, alongside varying levels of overall evaluations (high vs. low), on authors' feedback reception, revision outcomes, and motivation to revise. Through a 2x2 online experiment with 137 participants, we found that adding an AI-reframed positive summary to otherwise harsh feedback increased authors' critique acceptance, whereas low overall evaluations of their work led to increased revision efforts. We discuss the implications of using AI in peer feedback, focusing on how AI-driven critiques can influence critique acceptance and support research communities in fostering productive and friendly peer feedback practices.
- Abstract（参考訳）: ピアレビューは執筆と研究の質を高めるが、厳しいフィードバックは著者をイライラさせ、失望させる可能性がある。
したがって、著者のモチベーションを高めるために批評をどのように提供すべきかを探求し、彼らの仕事を反復し続けることが不可欠である。
本研究では、著者のフィードバックの受け取り、修正結果、修正動機に対する総合評価のレベル(ハイ対ロー)とともに、執筆作業のピアレビューに自動生成された肯定的要約を付加することの影響について検討した。
参加者137名による2×2のオンライン実験を通じて、さもなくば過酷なフィードバックにAIを再構成した肯定的な要約を加えると、著者の批判的受け入れが増大するのに対して、作業全体の評価が低ければ修正作業が増加することがわかった。
我々は、AIをピアフィードバックに活用することの意味について議論し、AIによる批判が、生産的でフレンドリーなピアフィードバックの実践を育む上で、批判の受容と研究コミュニティを支援することに集中する。
関連論文リスト
- ReviewEval: An Evaluation Framework for AI-Generated Reviews [9.35023998408983]
本研究は、AI生成レビューのための総合的な評価フレームワークを紹介する。
人間の評価との整合性を測定し、事実の正確性を検証し、分析的な深さを評価し、実行可能な洞察を識別する。
我々のフレームワークは、AIベースのレビューシステムを評価するための標準化されたメトリクスを確立する。
論文 参考訳（メタデータ） (2025-02-17T12:22:11Z) - SEAGraph: Unveiling the Whole Story of Paper Review Comments [26.39115060771725]
従来のピアレビュープロセスでは、著者は曖昧または不十分な詳細なフィードバックを受け取ることが多い。
これにより、著者によるレビューコメントの理解を深める方法について、批判的な疑問が持ち上がる。
提案するSEAGraphは,レビューの意図を明らかにすることによって,レビューコメントを明確にするための新しいフレームワークである。
論文 参考訳（メタデータ） (2024-12-16T16:24:36Z) - Analysis of the ICML 2023 Ranking Data: Can Authors' Opinions of Their Own Papers Assist Peer Review in Machine Learning? [52.00419656272129]
我々は2023年の国際機械学習会議(ICML)で実験を行った。
我々はそれぞれ2,592件の応募書を含む1,342件のランク付けを受けた。
著者によるランキングを用いて生のレビュースコアを校正するイソトニックメカニズムに注目した。
論文 参考訳（メタデータ） (2024-08-24T01:51:23Z) - What Can Natural Language Processing Do for Peer Review? [173.8912784451817]
現代の科学ではピアレビューが広く使われているが、それは難しく、時間がかかり、エラーを起こしやすい。
ピアレビューに関わるアーティファクトは大部分がテキストベースであるため、自然言語処理はレビューを改善する大きな可能性を秘めている。
筆者らは、原稿提出からカメラ対応リビジョンまでの各工程について詳述し、NLP支援の課題と機会について論じる。
論文 参考訳（メタデータ） (2024-05-10T16:06:43Z) - Exploring LLM Prompting Strategies for Joint Essay Scoring and Feedback Generation [13.854903594424876]
大規模言語モデル(LLM)は、一貫性と文脈に関連のあるテキストを生成する上で、強力な性能を示している。
本研究は,LLMをベースとしたゼロショットと数発のエッセイフィードバックの促進戦略について検討する。
Chain-of-Thoughtのプロンプトにインスパイアされた私たちは、自動エッセイスコア(AES)が生成したフィードバックの品質にどのような影響を及ぼすか、その程度について調査する。
論文 参考訳（メタデータ） (2024-04-24T12:48:06Z) - Rethinking the Evaluation of Dialogue Systems: Effects of User Feedback on Crowdworkers and LLMs [57.16442740983528]
アドホック検索では、評価は暗黙のフィードバックを含むユーザーの行動に大きく依存する。
アノテータの会話知覚におけるターン評価におけるユーザフィードバックの役割はほとんど研究されていない。
本稿では,タスク指向対話システム(TDS)の評価が,ターンのフォローアップ発話を通じて提供されるユーザフィードバック,明示的あるいは暗黙的な評価にどのように影響するかに注目した。
論文 参考訳（メタデータ） (2024-04-19T16:45:50Z) - A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [55.33653554387953]
パターン分析とマシンインテリジェンス(PAMI)は、情報の収集と断片化を目的とした多くの文献レビューにつながっている。
本稿では、PAMI分野におけるこれらの文献レビューの徹底的な分析について述べる。
1)PAMI文献レビューの構造的・統計的特徴は何か,(2)レビューの増大するコーパスを効率的にナビゲートするために研究者が活用できる戦略は何か,(3)AIが作成したレビューの利点と限界は人間によるレビューと比較するとどのようなものか,という3つの主要な研究課題に対処しようとする。
論文 参考訳（メタデータ） (2024-02-20T11:28:50Z) - When Reviewers Lock Horn: Finding Disagreement in Scientific Peer
Reviews [24.875901048855077]
本稿では,ある記事のレビュアー間での矛盾を自動的に識別する新しいタスクを紹介する。
我々の知識を最大限に活用するために、ピアレビュアー間での意見の不一致を自動的に識別する最初の試みを行う。
論文 参考訳（メタデータ） (2023-10-28T11:57:51Z) - How do Authors' Perceptions of their Papers Compare with Co-authors'
Perceptions and Peer-review Decisions? [87.00095008723181]
著者は論文の受理確率をおよそ3倍過大評価している。
女性作家は、男性作家よりも極端に高い(統計的に重要な)誤校正を示す。
受理された論文と受理された論文の回答者の少なくとも30%は、レビュープロセス後に自身の論文に対する認識が改善したと述べている。
論文 参考訳（メタデータ） (2022-11-22T15:59:30Z) - Ranking Scientific Papers Using Preference Learning [48.78161994501516]
我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。
ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-02T19:41:47Z) - Auctions and Peer Prediction for Academic Peer Review [11.413240461538589]
本稿では,情報活用文学における最近の研究に基づく新しいピア予測機構 (H-DIPP) を提案する。
提出段階のオークションで得た収益は、審査段階におけるレビューの質に基づいてレビュアーに支払われる。
論文 参考訳（メタデータ） (2021-08-27T23:47:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。