論文の概要: Beyond "Not Novel Enough": Enriching Scholarly Critique with LLM-Assisted Feedback
- arxiv url: http://arxiv.org/abs/2508.10795v1
- Date: Thu, 14 Aug 2025 16:18:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-15 22:24:48.404862
- Title: Beyond "Not Novel Enough": Enriching Scholarly Critique with LLM-Assisted Feedback
- Title(参考訳): Not Novel Enough"を超えて - LLM支援フィードバックによる学術的批判の強化
- Authors: Osama Mohammed Afzal, Preslav Nakov, Tom Hope, Iryna Gurevych,
- Abstract要約: 本稿では,3段階を通して専門家レビューアの動作をモデル化する,自動ノベルティ評価のための構造化アプローチを提案する。
本手法は,人文のノベルティレビューを大規模に分析した結果から得られたものである。
182 ICLR 2025 の提出で評価されたこの手法は、人間の推論と86.5%の一致と、新規性の結論に関する75.3%の合意を達成している。
- 参考スコア(独自算出の注目度): 81.0031690510116
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Novelty assessment is a central yet understudied aspect of peer review, particularly in high volume fields like NLP where reviewer capacity is increasingly strained. We present a structured approach for automated novelty evaluation that models expert reviewer behavior through three stages: content extraction from submissions, retrieval and synthesis of related work, and structured comparison for evidence based assessment. Our method is informed by a large scale analysis of human written novelty reviews and captures key patterns such as independent claim verification and contextual reasoning. Evaluated on 182 ICLR 2025 submissions with human annotated reviewer novelty assessments, the approach achieves 86.5% alignment with human reasoning and 75.3% agreement on novelty conclusions - substantially outperforming existing LLM based baselines. The method produces detailed, literature aware analyses and improves consistency over ad hoc reviewer judgments. These results highlight the potential for structured LLM assisted approaches to support more rigorous and transparent peer review without displacing human expertise. Data and code are made available.
- Abstract(参考訳): ノベルティ・アセスメントはピア・レビューの中心的かつ未検討の側面であり、特にレビュアー・キャパシティが緊張するNLPのような高ボリュームな分野において特に重要である。
提案手法は,提案書からのコンテンツ抽出,関連作品の検索と合成,エビデンスに基づく評価のための構造化された比較という3つの段階を通じて,専門家のレビュア行動をモデル化する,自動ノベルティ評価のための構造化されたアプローチを提案する。
提案手法は,人手による新規性レビューの大規模解析により,独立したクレーム検証や文脈推論などの重要なパターンを抽出する。
人間の注釈付きレビューアノベルティアセスメントによる182 ICLR 2025の提出に基づいて評価され、この手法は、人間の推論と86.5%の一致と、新規性結論に関する75.3%の合意を達成し、既存のLLMベースラインを大幅に上回っている。
この方法は、詳細な文献を意識した分析を行い、アドホックレビュアーの判断に対する一貫性を向上させる。
これらの結果は、人間の専門性を損なうことなく、より厳密で透明なピアレビューを支援する構造化LCM支援アプローチの可能性を強調している。
データとコードは利用可能です。
関連論文リスト
- Identifying Aspects in Peer Reviews [61.374437855024844]
我々は、ピアレビューのコーパスからアスペクトを抽出するデータ駆動スキーマを開発した。
我々は、アスペクトを付加したピアレビューのデータセットを導入し、コミュニティレベルのレビュー分析にどのように使用できるかを示す。
論文 参考訳(メタデータ) (2025-04-09T14:14:42Z) - ReviewEval: An Evaluation Framework for AI-Generated Reviews [9.35023998408983]
学術研究の増大は、資格のあるレビュアーの不足と相まって、ピアレビューに対する革新的なアプローチを必要としている。
本稿では,AIによるレビューを総合的に評価するフレームワークであるReviewEvalを提案する。
本稿では、AIに基づくピアレビューに不可欠な指標を確立し、学術研究におけるAI生成レビューの信頼性と影響を大幅に向上させる。
論文 参考訳(メタデータ) (2025-02-17T12:22:11Z) - DeepCRCEval: Revisiting the Evaluation of Code Review Comment Generation [11.010557279355885]
本研究は,先行研究や開発者インタビューから得られた新しい基準を用いて,ベンチマークコメントを実証的に分析する。
評価フレームワークであるDeepCRCEvalは、人間の評価器とLarge Language Models(LLM)を統合し、現在の手法を総合的に再評価する。
論文 参考訳(メタデータ) (2024-12-24T08:53:54Z) - A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [55.33653554387953]
パターン分析とマシンインテリジェンス(PAMI)は、情報の収集と断片化を目的とした多くの文献レビューにつながっている。
本稿では、PAMI分野におけるこれらの文献レビューの徹底的な分析について述べる。
1)PAMI文献レビューの構造的・統計的特徴は何か,(2)レビューの増大するコーパスを効率的にナビゲートするために研究者が活用できる戦略は何か,(3)AIが作成したレビューの利点と限界は人間によるレビューと比較するとどのようなものか,という3つの主要な研究課題に対処しようとする。
論文 参考訳(メタデータ) (2024-02-20T11:28:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。