論文の概要: RbtAct: Rebuttal as Supervision for Actionable Review Feedback Generation
- arxiv url: http://arxiv.org/abs/2603.09723v1
- Date: Tue, 10 Mar 2026 14:30:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-11 15:25:24.395859
- Title: RbtAct: Rebuttal as Supervision for Actionable Review Feedback Generation
- Title(参考訳): RbtAct:アクション可能なフィードバック生成のためのスーパービジョンとしての反論
- Authors: Sihong Wu, Yiling Ma, Yilun Zhao, Tiansheng Hu, Owen Jiang, Manasi Patwardhan, Arman Cohan,
- Abstract要約: 多くのAI生成レビューは表面的で不十分な実行可能であり、著者は具体的で実装可能なガイダンスを残さず、この作業が抱えるギャップを動機付けている。
本稿では,行動可能なレビューフィードバック生成を目的としたRbtActを提案し,既存のピアレビューを学習の中心に配置する。
- 参考スコア(独自算出の注目度): 47.274230235946625
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) are increasingly used across the scientific workflow, including to draft peer-review reports. However, many AI-generated reviews are superficial and insufficiently actionable, leaving authors without concrete, implementable guidance and motivating the gap this work addresses. We propose RbtAct, which targets actionable review feedback generation and places existing peer review rebuttal at the center of learning. Rebuttals show which reviewer comments led to concrete revisions or specific plans, and which were only defended. Building on this insight, we leverage rebuttal as implicit supervision to directly optimize a feedback generator for actionability. To support this objective, we propose a new task called perspective-conditioned segment-level review feedback generation, in which the model is required to produce a single focused comment based on the complete paper and a specified perspective such as experiments and writing. We also build a large dataset named RMR-75K that maps review segments to the rebuttal segments that address them, with perspective labels and impact categories that order author uptake. We then train the Llama-3.1-8B-Instruct model with supervised fine-tuning on review segments followed by preference optimization using rebuttal derived pairs. Experiments with human experts and LLM-as-a-judge show consistent gains in actionability and specificity over strong baselines while maintaining grounding and relevance.
- Abstract(参考訳): 大規模言語モデル(LLM)は、ピアレビューレポートのドラフトを含め、科学的なワークフロー全体にわたってますます利用されている。
しかし、多くのAI生成レビューは表面的で不十分な実行が可能であり、著者は具体的で実装可能なガイダンスを残さず、この作業が抱えるギャップを動機付けている。
本稿では,行動可能なレビューフィードバック生成を目的としたRbtActを提案し,既存のピアレビューを学習の中心に配置する。
反論は、どのレビュアーのコメントが具体的な修正や具体的な計画に繋がったかを示し、それらが守られただけであった。
この知見に基づいて、我々は反感を暗黙の監督として活用し、フィードバックジェネレータを直接最適化する。
この目的を達成するために,本モデルでは,完全な論文と実験や執筆などの特定の視点に基づいて,単一のコメントを集中的に作成する必要がある,視点条件付きセグメントレベルのレビューフィードバック生成と呼ばれる新しいタスクを提案する。
RMR-75Kという名前の大規模なデータセットも構築しています。レビューセグメントを、それらに対処するrebuttalセグメントにマッピングし、視点ラベルと、著者の獲得を順序付けるインパクトカテゴリを作成します。
次に,Llama-3.1-8B-インストラクタモデルを,レビューセグメントの教師付き微調整で学習し,rebuttal derived pairs を用いて好みの最適化を行う。
人間の専門家とLLM-as-a-judgeによる実験は、接地と関連性を維持しながら、強いベースラインよりも作用性と特異性が一貫して向上していることを示している。
関連論文リスト
- OpinioRAG: Towards Generating User-Centric Opinion Highlights from Large-scale Online Reviews [12.338320566839483]
本稿では,大量のユーザレビューから得られた意見ハイライトの問題点について考察する。
既存のメソッドはスケールアップに失敗するか、パーソナライズされたニーズを見落としている汎用的で一大の要約を生成するかのいずれかです。
本稿では,RAGに基づくエビデンス検索とLCMを組み合わせた拡張性のあるトレーニングフリーフレームワークであるOpinioRAGを紹介する。
論文 参考訳(メタデータ) (2025-08-30T00:00:34Z) - LazyReview A Dataset for Uncovering Lazy Thinking in NLP Peer Reviews [74.87393214734114]
この研究は、微粒な遅延思考カテゴリで注釈付けされたピアレビュー文のデータセットであるLazyReviewを紹介している。
大規模言語モデル(LLM)は、ゼロショット設定でこれらのインスタンスを検出するのに苦労する。
命令ベースのデータセットの微調整により、パフォーマンスが10~20ポイント向上する。
論文 参考訳(メタデータ) (2025-04-15T10:07:33Z) - Identifying Aspects in Peer Reviews [59.02879434536289]
我々は、ピアレビューのコーパスからアスペクトを抽出するデータ駆動スキーマを開発した。
我々は、アスペクトを付加したピアレビューのデータセットを導入し、コミュニティレベルのレビュー分析にどのように使用できるかを示す。
論文 参考訳(メタデータ) (2025-04-09T14:14:42Z) - Reviewer2: Optimizing Review Generation Through Prompt Generation [28.050468098801872]
本稿では、Reviewer2と呼ばれる効率的な2段階レビュー生成フレームワークを提案する。
従来の作業とは異なり、このアプローチは、レビューが対処する可能性のある側面の分布を明示的にモデル化する。
アスペクトプロンプトでアノテートした27k論文と99kレビューの大規模なレビューデータセットを生成します。
論文 参考訳(メタデータ) (2024-02-16T18:43:10Z) - Towards Personalized Review Summarization by Modeling Historical Reviews
from Customer and Product Separately [59.61932899841944]
レビュー要約(review summarization)は、Eコマースのウェブサイトで製品レビューのメインの考え方を要約することを目的とした、簡単ではないタスクである。
Heterogeneous Historical Review aware Review Summarization Model (HHRRS)を提案する。
我々は、レビュー感情分類と要約を共同で行うマルチタスクフレームワークを採用している。
論文 参考訳(メタデータ) (2023-01-27T12:32:55Z) - How Useful are Reviews for Recommendation? A Critical Review and
Potential Improvements [8.471274313213092]
本稿では,レビューテキストを用いてレコメンデーションシステムの改善を目指す,新たな作業体系について検討する。
実験条件やデータ前処理に変化はあるものの, 論文間で結果がコピーされていることから, 報告結果にいくつかの相違点がみられた。
さらなる調査では、リコメンデーションのためのユーザレビューの"重要"に関して、はるかに大きな問題に関する議論が求められている。
論文 参考訳(メタデータ) (2020-05-25T16:30:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。