論文の概要: Author-in-the-Loop Response Generation and Evaluation: Integrating Author Expertise and Intent in Responses to Peer Review
- arxiv url: http://arxiv.org/abs/2602.11173v1
- Date: Mon, 19 Jan 2026 14:07:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-15 14:54:53.724092
- Title: Author-in-the-Loop Response Generation and Evaluation: Integrating Author Expertise and Intent in Responses to Peer Review
- Title（参考訳）: Author-in-the-Loop Responseの生成と評価: 著者の専門知識の統合とピアレビューに対するインテント
- Authors: Qian Ruan, Iryna Gurevych,
- Abstract要約: 最近の作業は、このタスクを著者の専門知識と意図を活かした自動テキスト生成として捉えている。
本稿では,著者の明示的な入力,多属性制御,評価誘導による改良を統合したREspGenについて紹介する。
この定式化をサポートするために、アライメントされたレビュー-レスポンス-リビジョン三つ子の最初の大規模データセットであるRe$3$Alignを構築した。
- 参考スコア（独自算出の注目度）: 53.99984738447279
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Author response (rebuttal) writing is a critical stage of scientific peer review that demands substantial author effort. Recent work frames this task as automatic text generation, underusing author expertise and intent. In practice, authors possess domain expertise, author-only information, revision and response strategies--concrete forms of author expertise and intent--to address reviewer concerns, and seek NLP assistance that integrates these signals to support effective response writing in peer review. We reformulate author response generation as an author-in-the-loop task and introduce REspGen, a generation framework that integrates explicit author input, multi-attribute control, and evaluation-guided refinement, together with REspEval, a comprehensive evaluation suite with 20+ metrics covering input utilization, controllability, response quality, and discourse. To support this formulation, we construct Re$^3$Align, the first large-scale dataset of aligned review--response--revision triplets, where revisions provide signals of author expertise and intent. Experiments with state-of-the-art LLMs show the benefits of author input and evaluation-guided refinement, the impact of input design on response quality, and trade-offs between controllability and quality. We make our dataset, generation and evaluation tools publicly available.
- Abstract（参考訳）: 著者の反応(反論)は、かなりの著者の努力を必要とする科学的ピアレビューの重要な段階である。
最近の作業は、このタスクを著者の専門知識と意図を活かした自動テキスト生成として捉えている。
実際には、著者はドメインの専門知識、著者のみの情報、リビジョンと応答戦略(著者の専門知識と意図の整合した形式)を持ち、レビュー担当者の懸念に対処し、これらのシグナルを統合してピアレビューにおける効果的な応答記述を支援するNLP援助を求める。
著者の応答生成をループ中の著者タスクとして再構成し、明示的な著者入力、多属性制御、評価誘導改善を統合した生成フレームワークであるREspGenと、入力利用率、制御性、応答品質、談話を含む20以上の指標を含む総合的な評価スイートであるREspEvalを紹介する。
この定式化をサポートするために、著者の専門知識と意図のシグナルを提供するレビュー-レスポンス-リビジョン三つ組の最初の大規模データセットであるRe$3$Alignを構築した。
現状のLCMによる実験では、著者の入力と評価誘導による改善の利点、入力設計が応答品質に与える影響、制御性と品質のトレードオフが示されている。
データセット、生成、評価ツールを公開しています。
関連論文リスト
- Exposía: Academic Writing Assessment of Exposés and Peer Feedback [56.428320613219306]
高等教育における文章とフィードバックアセスメントを結びつける最初の公開データセットであるExposaを提示する。
我々はExposaを使って,(1)提案の自動スコアリング,(2)学生レビューの2つのタスクに対して,最先端のオープンソース大言語モデル(LLM)をベンチマークする。
論文 参考訳（メタデータ） (2026-01-10T11:33:26Z) - LiRA: A Multi-Agent Framework for Reliable and Readable Literature Review Generation [66.09346158850308]
文献レビュープロセスをエミュレートする多エージェント協調ワークフローLiRA(Literature Review Agents)を提案する。
LiRAは、コンテンツアウトライン、サブセクションの執筆、編集、レビュー、コヒーシブで包括的なレビュー記事の作成に特殊エージェントを使用している。
実世界のシナリオにおいて文書検索を用いてLiRAを評価し,そのロバスト性を評価する。
論文 参考訳（メタデータ） (2025-10-01T12:14:28Z) - Beyond "Not Novel Enough": Enriching Scholarly Critique with LLM-Assisted Feedback [81.0031690510116]
本稿では,3段階を通して専門家レビューアの動作をモデル化する,自動ノベルティ評価のための構造化アプローチを提案する。
本手法は,人文のノベルティレビューを大規模に分析した結果から得られたものである。
182 ICLR 2025 の提出で評価されたこの手法は、人間の推論と86.5%の一致と、新規性の結論に関する75.3%の合意を達成している。
論文 参考訳（メタデータ） (2025-08-14T16:18:37Z) - AutoRev: Multi-Modal Graph Retrieval for Automated Peer-Review Generation [5.72767946092813]
AutoRevは自動ピアレビューシステムで、レビュアーと著者の両方に実用的な高品質のフィードバックを提供するように設計されている。
ドキュメントをグラフとしてモデル化することで、AutoRevは、最も関連する情報を効果的に取得する。
AutoRevはピアレビューワークフローを合理化し、課題を緩和し、スケーラブルで高品質な学術出版を可能にする強力なツールだと考えています。
論文 参考訳（メタデータ） (2025-05-20T13:59:58Z) - Understanding and Supporting Peer Review Using AI-reframed Positive Summary [18.686807993563168]
本研究は,筆記作業のピアレビューに自動生成された肯定的な要約を付加することの影響について検討した。
さもなくば過酷なフィードバックにAIを再構成した肯定的な要約を加えると、著者の批判的受け入れが増大することがわかった。
我々は、ピアフィードバックにおけるAIの利用の意味について論じ、それが批判的受容にどのように影響するかに注目し、研究コミュニティを支援する。
論文 参考訳（メタデータ） (2025-03-13T11:22:12Z) - ReviewEval: An Evaluation Framework for AI-Generated Reviews [9.35023998408983]
学術研究の増大は、資格のあるレビュアーの不足と相まって、ピアレビューに対する革新的なアプローチを必要としている。
本稿では,AIによるレビューを総合的に評価するフレームワークであるReviewEvalを提案する。
本稿では、AIに基づくピアレビューに不可欠な指標を確立し、学術研究におけるAI生成レビューの信頼性と影響を大幅に向上させる。
論文 参考訳（メタデータ） (2025-02-17T12:22:11Z) - Re3: A Holistic Framework and Dataset for Modeling Collaborative Document Revision [62.12545440385489]
共同文書リビジョンを共同で分析するためのフレームワークであるRe3を紹介する。
本稿では,Re3-Sciについて紹介する。Re3-Sciは,その行動と意図に応じて手動でラベル付けされた科学的論文の大規模なコーパスである。
我々は,新しいデータを用いて,学術領域における共同文書改訂に関する実証的研究を行った。
論文 参考訳（メタデータ） (2024-05-31T21:19:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。