論文の概要: Identifying Aspects in Peer Reviews
- arxiv url: http://arxiv.org/abs/2504.06910v1
- Date: Wed, 09 Apr 2025 14:14:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-10 13:06:44.417346
- Title: Identifying Aspects in Peer Reviews
- Title（参考訳）: ピアレビューにおける側面の特定
- Authors: Sheng Lu, Ilia Kuznetsov, Iryna Gurevych,
- Abstract要約: 我々は、ピアレビューのコーパスからきめ細かいアスペクトを抽出するデータ駆動型スキーマを開発した。
我々は、アスペクトを付加したピアレビューのデータセットを導入し、コミュニティレベルのレビュー分析にどのように使用できるかを示す。
- 参考スコア（独自算出の注目度）: 61.374437855024844
- License:
- Abstract: Peer review is central to academic publishing, but the growing volume of submissions is straining the process. This motivates the development of computational approaches to support peer review. While each review is tailored to a specific paper, reviewers often make assessments according to certain aspects such as Novelty, which reflect the values of the research community. This alignment creates opportunities for standardizing the reviewing process, improving quality control, and enabling computational support. While prior work has demonstrated the potential of aspect analysis for peer review assistance, the notion of aspect remains poorly formalized. Existing approaches often derive aspect sets from review forms and guidelines of major NLP venues, yet data-driven methods for aspect identification are largely underexplored. To address this gap, our work takes a bottom-up approach: we propose an operational definition of aspect and develop a data-driven schema for deriving fine-grained aspects from a corpus of peer reviews. We introduce a dataset of peer reviews augmented with aspects and show how it can be used for community-level review analysis. We further show how the choice of aspects can impact downstream applications, such as LLM-generated review detection. Our results lay a foundation for a principled and data-driven investigation of review aspects, and pave the path for new applications of NLP to support peer review.
- Abstract（参考訳）: ピアレビューは学術出版の中心だが、提出の量が増えているため、その過程は悪化している。
これは、ピアレビューをサポートするための計算手法の開発を動機付けている。
各レビューは特定の論文に合わせて調整されるが、レビュアーは研究コミュニティの価値を反映したノベルティのような特定の側面に基づいて評価を行うことが多い。
このアライメントは、レビュープロセスを標準化し、品質管理を改善し、計算支援を可能にする機会を生み出します。
先行研究は、ピアレビュー支援のためのアスペクト分析の可能性を示しているが、アスペクトの概念は未だ十分に定式化されていない。
既存のアプローチは、しばしば主要なNLP会場のレビューフォームやガイドラインからアスペクトセットを導出するが、アスペクト識別のためのデータ駆動手法はほとんど探索されていない。
我々は、アスペクトの運用定義を提案し、ピアレビューのコーパスからきめ細かいアスペクトを抽出するためのデータ駆動スキーマを開発します。
我々は、アスペクトを付加したピアレビューのデータセットを導入し、コミュニティレベルのレビュー分析にどのように使用できるかを示す。
さらに、LCM生成レビュー検出などの下流アプリケーションにアスペクトの選択がどう影響するかを示す。
本研究は, ピアレビューの原則的かつデータ駆動的な検討の基盤を築き, ピアレビューを支援するNLPの新たな応用への道筋をたどるものである。
関連論文リスト
- Aspect-Aware Decomposition for Opinion Summarization [82.38097397662436]
本稿では、アスペクト識別、意見統合、メタレビュー合成のタスクを分離する、レビューアスペクトによってガイドされるモジュラーアプローチを提案する。
科学研究、ビジネス、製品ドメインを表すデータセットをまたいだ実験を行います。
その結果,本手法は強いベースラインモデルと比較して,より基底的なサマリーを生成することがわかった。
論文 参考訳（メタデータ） (2025-01-27T09:29:55Z) - Generative Adversarial Reviews: When LLMs Become the Critic [1.2430809884830318]
本稿では,LLMを利用したエージェントを利用して,忠実なピアレビュアーをシミュレートするジェネレーティブエージェントレビュアー(GAR)を紹介する。
このアプローチの中心は、グラフベースの原稿表現であり、コンテンツを凝縮し、情報を論理的に整理する。
本実験は,GARが人間レビュアーに対して,詳細なフィードバックと論文結果の予測を行う上で,相容れない性能を示すことを示した。
論文 参考訳（メタデータ） (2024-12-09T06:58:17Z) - NLPeer: A Unified Resource for the Computational Study of Peer Review [58.71736531356398]
NLPeer - 5万以上の論文と5つの異なる会場からの1万1千件のレビューレポートからなる、初めて倫理的にソースされたマルチドメインコーパス。
従来のピアレビューデータセットを拡張し、解析および構造化された論文表現、豊富なメタデータ、バージョニング情報を含む。
我々の研究は、NLPなどにおけるピアレビューの体系的、多面的、エビデンスに基づく研究への道のりをたどっている。
論文 参考訳（メタデータ） (2022-11-12T12:29:38Z) - Investigating Fairness Disparities in Peer Review: A Language Model
Enhanced Approach [77.61131357420201]
我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。
我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。
我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
論文 参考訳（メタデータ） (2022-11-07T16:19:42Z) - Ranking Scientific Papers Using Preference Learning [48.78161994501516]
我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。
ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-02T19:41:47Z) - How Useful are Reviews for Recommendation? A Critical Review and
Potential Improvements [8.471274313213092]
本稿では,レビューテキストを用いてレコメンデーションシステムの改善を目指す,新たな作業体系について検討する。
実験条件やデータ前処理に変化はあるものの, 論文間で結果がコピーされていることから, 報告結果にいくつかの相違点がみられた。
さらなる調査では、リコメンデーションのためのユーザレビューの"重要"に関して、はるかに大きな問題に関する議論が求められている。
論文 参考訳（メタデータ） (2020-05-25T16:30:05Z) - Code Review in the Classroom [57.300604527924015]
教室設定の若い開発者は、コードレビュープロセスの潜在的に有利で問題のある領域の明確な図を提供している。
彼らのフィードバックは、プロセスはプロセスを改善するためにいくつかのポイントで十分に受け入れられていることを示唆している。
本論文は,教室でコードレビューを行うためのガイドラインとして利用することができる。
論文 参考訳（メタデータ） (2020-04-19T06:07:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。