論文の概要: Understanding and Supporting Peer Review Using AI-reframed Positive Summary
- arxiv url: http://arxiv.org/abs/2503.10264v1
- Date: Thu, 13 Mar 2025 11:22:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-14 21:36:22.641337
- Title: Understanding and Supporting Peer Review Using AI-reframed Positive Summary
- Title（参考訳）: AI-reframed Positive Summary によるピアレビューの理解と支援
- Authors: Chi-Lan Yang, Alarith Uhde, Naomi Yamashita, Hideaki Kuzuoka,
- Abstract要約: 本研究は,筆記作業のピアレビューに自動生成された肯定的な要約を付加することの影響について検討した。
さもなくば過酷なフィードバックにAIを再構成した肯定的な要約を加えると、著者の批判的受け入れが増大することがわかった。
我々は、ピアフィードバックにおけるAIの利用の意味について論じ、それが批判的受容にどのように影響するかに注目し、研究コミュニティを支援する。
- 参考スコア（独自算出の注目度）: 18.686807993563168
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: While peer review enhances writing and research quality, harsh feedback can frustrate and demotivate authors. Hence, it is essential to explore how critiques should be delivered to motivate authors and enable them to keep iterating their work. In this study, we explored the impact of appending an automatically generated positive summary to the peer reviews of a writing task, alongside varying levels of overall evaluations (high vs. low), on authors' feedback reception, revision outcomes, and motivation to revise. Through a 2x2 online experiment with 137 participants, we found that adding an AI-reframed positive summary to otherwise harsh feedback increased authors' critique acceptance, whereas low overall evaluations of their work led to increased revision efforts. We discuss the implications of using AI in peer feedback, focusing on how AI-driven critiques can influence critique acceptance and support research communities in fostering productive and friendly peer feedback practices.
- Abstract（参考訳）: ピアレビューは執筆と研究の質を高めるが、厳しいフィードバックは著者をイライラさせ、失望させる可能性がある。
したがって、著者のモチベーションを高めるために批評をどのように提供すべきかを探求し、彼らの仕事を反復し続けることが不可欠である。
本研究では、著者のフィードバックの受け取り、修正結果、修正動機に対する総合評価のレベル(ハイ対ロー)とともに、執筆作業のピアレビューに自動生成された肯定的要約を付加することの影響について検討した。
参加者137名による2×2のオンライン実験を通じて、さもなくば過酷なフィードバックにAIを再構成した肯定的な要約を加えると、著者の批判的受け入れが増大するのに対して、作業全体の評価が低ければ修正作業が増加することがわかった。
我々は、AIをピアフィードバックに活用することの意味について議論し、AIによる批判が、生産的でフレンドリーなピアフィードバックの実践を育む上で、批判の受容と研究コミュニティを支援することに集中する。
関連論文リスト
- LazyReview A Dataset for Uncovering Lazy Thinking in NLP Peer Reviews [74.87393214734114]
この研究は、微粒な遅延思考カテゴリで注釈付けされたピアレビュー文のデータセットであるLazyReviewを紹介している。
大規模言語モデル(LLM)は、ゼロショット設定でこれらのインスタンスを検出するのに苦労する。
命令ベースのデータセットの微調整により、パフォーマンスが10～20ポイント向上する。
論文 参考訳（メタデータ） (2025-04-15T10:07:33Z) - Evaluating Trust in AI, Human, and Co-produced Feedback Among Undergraduate Students [2.935250567679577]
学生は一般的にAIを好んでおり、人間のフィードバックよりも有用性や客観性という観点でフィードバックを共同生成している。
男性学生は、すべてのフィードバックタイプが女性や非バイナリーのタイプよりも価値が低いと一貫して評価した。
これらの知見は、高等教育フィードバックシステムにAIを統合するためのエビデンスベースのガイドラインを示唆する。
論文 参考訳（メタデータ） (2025-04-15T08:06:36Z) - Can LLM feedback enhance review quality? A randomized study of 20K reviews at ICLR 2025 [115.86204862475864]
Review Feedback Agentは、あいまいなコメント、コンテンツの誤解、レビュアーへの専門的でない発言に対する自動的なフィードバックを提供する。
ICLR 2025で大規模なランダム化制御研究として実装された。
フィードバックを受けたレビュアーの27%がレビューを更新し、エージェントからの12,000以上のフィードバック提案がレビュアーによって取り入れられた。
論文 参考訳（メタデータ） (2025-04-13T22:01:25Z) - Identifying Aspects in Peer Reviews [61.374437855024844]
我々は、ピアレビューのコーパスからきめ細かいアスペクトを抽出するデータ駆動型スキーマを開発した。
我々は、アスペクトを付加したピアレビューのデータセットを導入し、コミュニティレベルのレビュー分析にどのように使用できるかを示す。
論文 参考訳（メタデータ） (2025-04-09T14:14:42Z) - ReviewEval: An Evaluation Framework for AI-Generated Reviews [9.35023998408983]
本研究は、AI生成レビューのための総合的な評価フレームワークを紹介する。
人間の評価との整合性を測定し、事実の正確性を検証し、分析的な深さを評価し、実行可能な洞察を識別する。
我々のフレームワークは、AIベースのレビューシステムを評価するための標準化されたメトリクスを確立する。
論文 参考訳（メタデータ） (2025-02-17T12:22:11Z) - SEAGraph: Unveiling the Whole Story of Paper Review Comments [26.39115060771725]
従来のピアレビュープロセスでは、著者は曖昧または不十分な詳細なフィードバックを受け取ることが多い。
これにより、著者によるレビューコメントの理解を深める方法について、批判的な疑問が持ち上がる。
提案するSEAGraphは,レビューの意図を明らかにすることによって,レビューコメントを明確にするための新しいフレームワークである。
論文 参考訳（メタデータ） (2024-12-16T16:24:36Z) - Analysis of the ICML 2023 Ranking Data: Can Authors' Opinions of Their Own Papers Assist Peer Review in Machine Learning? [52.00419656272129]
我々は2023年の国際機械学習会議(ICML)で実験を行った。
我々はそれぞれ2,592件の応募書を含む1,342件のランク付けを受けた。
著者によるランキングを用いて生のレビュースコアを校正するイソトニックメカニズムに注目した。
論文 参考訳（メタデータ） (2024-08-24T01:51:23Z) - Exploring LLM Prompting Strategies for Joint Essay Scoring and Feedback Generation [13.854903594424876]
大規模言語モデル(LLM)は、一貫性と文脈に関連のあるテキストを生成する上で、強力な性能を示している。
本研究は,LLMをベースとしたゼロショットと数発のエッセイフィードバックの促進戦略について検討する。
Chain-of-Thoughtのプロンプトにインスパイアされた私たちは、自動エッセイスコア(AES)が生成したフィードバックの品質にどのような影響を及ぼすか、その程度について調査する。
論文 参考訳（メタデータ） (2024-04-24T12:48:06Z) - Rethinking the Evaluation of Dialogue Systems: Effects of User Feedback on Crowdworkers and LLMs [57.16442740983528]
アドホック検索では、評価は暗黙のフィードバックを含むユーザーの行動に大きく依存する。
アノテータの会話知覚におけるターン評価におけるユーザフィードバックの役割はほとんど研究されていない。
本稿では,タスク指向対話システム(TDS)の評価が,ターンのフォローアップ発話を通じて提供されるユーザフィードバック,明示的あるいは暗黙的な評価にどのように影響するかに注目した。
論文 参考訳（メタデータ） (2024-04-19T16:45:50Z) - A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [55.33653554387953]
パターン分析とマシンインテリジェンス(PAMI)は、情報の収集と断片化を目的とした多くの文献レビューにつながっている。
本稿では、PAMI分野におけるこれらの文献レビューの徹底的な分析について述べる。
1)PAMI文献レビューの構造的・統計的特徴は何か,(2)レビューの増大するコーパスを効率的にナビゲートするために研究者が活用できる戦略は何か,(3)AIが作成したレビューの利点と限界は人間によるレビューと比較するとどのようなものか,という3つの主要な研究課題に対処しようとする。
論文 参考訳（メタデータ） (2024-02-20T11:28:50Z) - Ranking Scientific Papers Using Preference Learning [48.78161994501516]
我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。
ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-02T19:41:47Z) - Auctions and Peer Prediction for Academic Peer Review [11.413240461538589]
本稿では,情報活用文学における最近の研究に基づく新しいピア予測機構 (H-DIPP) を提案する。
提出段階のオークションで得た収益は、審査段階におけるレビューの質に基づいてレビュアーに支払われる。
論文 参考訳（メタデータ） (2021-08-27T23:47:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。