論文の概要: AI Reviews Are Biased Towards the Appendix
- arxiv url: http://arxiv.org/abs/2611.17811v1
- Date: Fri, 13 Nov 2026 06:47:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.318995
- Title: AI Reviews Are Biased Towards the Appendix
- Title(参考訳): AIレビューがAppendixに近づいている
- Abstract要約: 大きな言語モデル(LLM)は、レビュープロセスの弱点を強調するために、ますます使われています。
本研究では, ACL, EMNLP, COLM, ICLRの2000論文について検討する。
最新のGPTモデルとClaudeモデルでは、レビューの弱点の約50%が付録から引き出されています。
- 参考スコア(独自算出の注目度): 4.744069348649821
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) are increasingly used by reviewers to highlight weaknesses during the reviewing process, and their outputs often shape the reviews that humans submit. Prior work studies how LLM reviews align with human ones, yet we know little about which parts of a paper these models actually criticize. In this work, we investigate 2,000 papers from ACL, EMNLP, COLM, and ICLR, and show that the latest GPT and Claude models draw about 50% or more of their review weaknesses from the appendix. This behavior holds across the API, coding-agent, and web access methods for using LLMs to review a paper. In contrast, we find that humans draw only 8.4% of their weaknesses from the appendix, and these weaknesses primarily revolve around a paper's presentation and content related to its core idea. Meanwhile, LLMs draw weaknesses from deep in the appendix that concern fine-grained technical details not central to the paper's contributions. We anticipate that our analysis will contribute to the scholarly discourse on AI reviews. Our code is publicly available at: https://github.com/cincynlp/review_appendix.
- Abstract(参考訳): 大きな言語モデル(LLM)は、レビュープロセスの弱点を強調するために、レビュー担当者によってますます使われており、そのアウトプットは、人間が提出したレビューを形作ることが多い。
以前の研究では、LLMレビューが人間のレビューとどのように一致しているかが研究されていたが、これらのモデルが実際に批判する論文のどの部分についてはほとんど分かっていない。
本研究では, ACL, EMNLP, COLM, ICLR の2000論文を調査し,最新の GPT および Claude モデルが虫垂からのレビューの弱点の約50%以上を引き出すことを示す。
この動作は、LLMを使用して論文をレビューするAPI、コーディングエージェント、およびWebアクセスメソッドにまたがって保持される。
対照的に、人間は虫垂から弱点の8.4%しか引き出さず、これらの弱点は、主に論文の提示と、その中核的な考え方に関連する内容に反する。
一方、LCMは付録の奥深くから、論文のコントリビューションの中心ではない細かな技術的詳細を懸念する弱点を引き出す。
我々は、分析がAIレビューの学術的議論に寄与することを期待している。
私たちのコードは、https://github.com/cincynlp/review_appendix.comで公開されています。
関連論文リスト
- Stop Automating Peer Review Without Rigorous Evaluation [51.53099943385505]
このポジションペーパーは、今日のAIシステムは、論文レビューの作成に使用すべきではない、と論じている。
1)AIレビュアーは、視点の多様性を低下させる論文内および新聞内における過剰な合意の隠れた効果を示す。
ピアレビューの危機に対処するには、ピアレビューの自動化の科学が必要です。
論文 参考訳(メタデータ) (2026-05-04T22:41:04Z) - Writing literature reviews with AI: principles, hurdles and some lessons learned [0.15554979526414522]
私たちは、さまざまなレベルのAIアシストで作成された文献レビューを比較します。
6つのバージョンを比較すると、一連の落とし穴が示され、文献をレビューするためにAIアシストを使用する際に必要となる注意点が示唆されている。
全体として、AIはレビューの幅と品質を改善することができるが、時間の増加は期待するほど大きくはない。
論文 参考訳(メタデータ) (2026-03-08T18:02:09Z) - Reviewing Scientific Papers for Critical Problems With Reasoning LLMs: Baseline Approaches and Automatic Evaluation [0.552480439325792]
本稿では,いくつかのベースラインアプローチと,トップ推論 LLM を判断として用いた拡張可能な自動評価フレームワークを提案する。
O3は、全てのモデルで最低限のコストで、最高の問題識別性能を示した。
本稿では,文書に基づく科学的理解・推論に関する知見を提供し,今後の応用の基盤となる。
論文 参考訳(メタデータ) (2025-05-28T06:14:30Z) - Are We There Yet? Revealing the Risks of Utilizing Large Language Models in Scholarly Peer Review [66.73247554182376]
大規模言語モデル(LLM)がピアレビューに統合された。
未確認のLLMの採用は、ピアレビューシステムの完全性に重大なリスクをもたらす。
5%のレビューを操作すれば、論文の12%が上位30%のランキングでその地位を失う可能性がある。
論文 参考訳(メタデータ) (2024-12-02T16:55:03Z) - Streamlining the review process: AI-generated annotations in research manuscripts [0.5735035463793009]
本研究では,Large Language Models (LLM) をピアレビュープロセスに統合し,効率を向上する可能性について検討する。
我々は、AIと人間のコラボレーションの潜在的な領域として、写本の注釈、特に抜粋ハイライトに焦点を当てている。
本稿では,GPT-4を利用した原稿レビュープラットフォームAnnotateGPTを紹介する。
論文 参考訳(メタデータ) (2024-11-29T23:26:34Z) - LLMs Assist NLP Researchers: Critique Paper (Meta-)Reviewing [106.45895712717612]
大規模言語モデル(LLM)は、様々な生成タスクにおいて顕著な汎用性を示している。
本研究は,NLP研究者を支援するLLMの話題に焦点を当てる。
私たちの知る限りでは、このような包括的な分析を提供するのはこれが初めてです。
論文 参考訳(メタデータ) (2024-06-24T01:30:22Z) - Can We Automate Scientific Reviewing? [89.50052670307434]
我々は、最先端自然言語処理(NLP)モデルを用いて、科学論文の第一パスピアレビューを生成する可能性について論じる。
我々は、機械学習領域で論文のデータセットを収集し、各レビューでカバーされているさまざまなコンテンツに注釈を付け、レビューを生成するために論文を取り込み、ターゲットの要約モデルを訓練する。
総合的な実験結果から、システム生成レビューは、人間によるレビューよりも、論文の多くの側面に触れる傾向にあることが示された。
論文 参考訳(メタデータ) (2021-01-30T07:16:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。