論文の概要: Review Arcade: On the Human Alignment and Gameability of LLM Reviews

• arxiv url: http://arxiv.org/abs/2605.28897v1
• Date: Wed, 27 May 2026 12:40:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:55.03505
• Title: Review Arcade: On the Human Alignment and Gameability of LLM Reviews
• Title（参考訳）: レビュー・アーケード:LDMレビューの人間のアライメントとゲーム性について
• Abstract要約: 我々は,2025 ACL Rolling Review (ARR) の論文に対して,著者とレビュアーの両方の観点から LLM レビューを評価する実験を行った。 LLMレビューの「ゲーム」は特定のシナリオで有効であり、最大35%の論文において、統計学的に顕著なスコアの増大につながることが判明した。
• 参考スコア（独自算出の注目度）: 4.626261940793026
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM-generated reviews for scientific papers are gaining considerable traction and are even being officially piloted by major conferences. We have to assume that not only reviewers are using LLM-assistance, but also that authors use LLMs to revise their papers before submitting. In this work, we perform empirical experiments on papers from the 2025 ACL Rolling Review (ARR) to evaluate LLM reviews from both the author and the reviewer perspective. First, we identify a limited alignment of LLM reviews with human ones. In the best-case scenario, the alignment is reasonable. However, we also find that LLM-human alignment varies substantially across prompts and models. Finally, we investigate the scenario in which the author uses an iterative draft-revise workflow to improve the submission according to the LLM review. We find that this "gaming" of LLM reviews can be effective in specific scenarios, leading to a statistically significant increase of overall scores for up to 35\% of papers. We publish our code: https://github.com/uhh-hcds/reviewarcade.
• Abstract（参考訳）: LLMによる科学論文のレビューは、かなりの勢いで行われており、主要な会議によって公式に試験されている。 我々は、レビュアーがLSMアシストを使用しているだけでなく、著者がLSMを使って提出前に論文を改訂していると仮定する必要がある。 本研究では,2025 ACL Rolling Review (ARR) の論文に対する実証実験を行い,著者とレビュアーの両方の観点からLCMレビューを評価する。 まず、LLMレビューと人間レビューの限定的なアライメントを同定する。 ベストケースのシナリオでは、アライメントは合理的です。 しかし、LLM-ヒトのアライメントはプロンプトやモデルによって大きく異なる。 最後に、著者が反復的なドラフト修正ワークフローを使用して、LLMレビューに従って提出を改善するシナリオについて検討する。 LLMレビューの「ゲーム」は特定のシナリオで有効であり、最大35%の論文において、統計学的に顕著なスコアの増大につながることが判明した。 コードを公開する。 https://github.com/uhh-hcds/reviewarcade。

関連論文リスト

• PeerCheck: Enhancing LLM-Generated Academic Reviews Towards Human-Level Quality [26.831710344670913]
  本稿では,LLM-人為的レビューの差異(RQ1)を調査し,LLM生成レビューの質(RQ2)を改善する方法について検討するPeerCheckフレームワークを提案する。 まず,LLMが生成したレビューを用いて人によるレビューを解析した結果,LLMと人間は異なる用語に焦点を当てていることがわかった。 我々は、Chain-of-Thought(CoT)のような迅速なエンジニアリングを採用し、検索強化世代(RAG)を利用して、LLM生成レビューを人間レベルの品質に向けて強化する。
  論文  参考訳（メタデータ） (2026-06-18T19:45:28Z)
• Blind to the Human Touch: Overlap Bias in LLM-Based Summary Evaluation [89.52571224447111]
  大規模言語モデル(LLM)の判断は、要約のようなタスクのために、伝統的なアルゴリズムベースのメトリクスと併用されることが多い。 要約領域における人書き応答と重なる関数としてLLM判定バイアス分析を提案する。
  論文  参考訳（メタデータ） (2026-02-07T19:39:28Z)
• Do LLMs Favor LLMs? Quantifying Interaction Effects in Peer Review [23.244156664404205]
  ピアレビューパイプラインにまたがるLLM使用に関する,最初の包括的な分析結果を提供する。 我々は、ICLR、NeurIPS、ICMLから125,000以上のペーパーレビューペアを分析した。
  論文  参考訳（メタデータ） (2026-01-28T18:50:54Z)
• Gen-Review: A Large-scale Dataset of AI-Generated (and Human-written) Peer Reviews [7.138338798002387]
  我々は LLM によるレビューを含む最大のデータセットである GenReview を提示する。 私たちのデータセットには、2018年から2025年にかけてのICLRのすべてのサブミッションに対して生成される81Kのレビューが含まれています。 GenReviewの価値を説明するために、興味深い研究質問のサンプルを探索する。
  論文  参考訳（メタデータ） (2025-10-24T06:54:27Z)
• LLM-REVal: Can We Trust LLM Reviewers Yet? [70.58742663985652]
  大規模言語モデル(LLM)は研究者に、学術的なワークフローに広く組み込むよう刺激を与えている。 本研究は、LLMのピアレビューと研究プロセスへの深い統合が学術的公正性にどのように影響するかに焦点を当てる。
  論文  参考訳（メタデータ） (2025-10-14T10:30:20Z)
• Detecting LLM-Generated Peer Reviews [37.51215252353345]
  大規模言語モデル(LLM)の台頭は、一部のレビュアーが独立して記述するのではなく、レビューを生成するためにこれらのツールに依存するのではないかという懸念を提起している。 論文のPDFを通じて間接的インジェクションを行うアプローチを考察し,LLMが生成したレビューに隠された透かしを埋め込むよう促す。 本稿では,複数のレビューにまたがって家族的誤り率を制御し,標準的な修正よりも高い統計力を実現する透かし方式と仮説テストを導入する。
  論文  参考訳（メタデータ） (2025-03-20T01:11:35Z)
• Are We There Yet? Revealing the Risks of Utilizing Large Language Models in Scholarly Peer Review [66.73247554182376]
  大規模言語モデル(LLM)がピアレビューに統合された。 未確認のLLMの採用は、ピアレビューシステムの完全性に重大なリスクをもたらす。 5%のレビューを操作すれば、論文の12%が上位30%のランキングでその地位を失う可能性がある。
  論文  参考訳（メタデータ） (2024-12-02T16:55:03Z)
• AI-Driven Review Systems: Evaluating LLMs in Scalable and Bias-Aware Academic Reviews [18.50142644126276]
  我々は,人選好のアリーナを用いて,人選好と自動レビューのアライメントを評価する。 我々は、LLMを微調整して人間の好みを予測し、LLM同士の真っ向からの戦いにおいて、どのレビューが好まれるかを予測する。 我々は、公開可能なarXivおよびオープンアクセスのNatureジャーナルのレビューをオンラインで公開し、著者が研究論文をレビューし、改訂し、品質を改善するのに役立つ無料サービスを提供しています。
  論文  参考訳（メタデータ） (2024-08-19T19:10:38Z)
• LLMs Assist NLP Researchers: Critique Paper (Meta-)Reviewing [106.45895712717612]
  大規模言語モデル(LLM)は、様々な生成タスクにおいて顕著な汎用性を示している。 本研究は,NLP研究者を支援するLLMの話題に焦点を当てる。 私たちの知る限りでは、このような包括的な分析を提供するのはこれが初めてです。
  論文  参考訳（メタデータ） (2024-06-24T01:30:22Z)
• Auto-Arena: Automating LLM Evaluations with Agent Peer Battles and Committee Discussions [77.66677127535222]
  Auto-ArenaはLLMエージェントを使用した評価プロセス全体を自動化した革新的なフレームワークである。 我々の実験では、Auto-Arenaは92.14%の相関関係を示し、以前の専門家が注釈付けしたベンチマークをすべて上回っている。
  論文  参考訳（メタデータ） (2024-05-30T17:19:19Z)
• Large Language Models: A Survey [66.39828929831017]
  大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。 LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
  論文  参考訳（メタデータ） (2024-02-09T05:37:09Z)
• LLMRefine: Pinpointing and Refining Large Language Models via Fine-Grained Actionable Feedback [65.84061725174269]
  最近の大規模言語モデル(LLM)は、世代品質を改善するために人間のフィードバックを活用している。 LLMの出力を最適化する推論時間最適化手法であるLLMRefineを提案する。 機械翻訳、長文質問応答(QA)、話題要約を含む3つのテキスト生成タスクについて実験を行った。 LLMRefineは、すべてのベースラインアプローチを一貫して上回り、翻訳タスクの1.7 MetricXポイント、ASQAの8.1 ROUGE-L、トピックの要約の2.2 ROUGE-Lの改善を実現している。
  論文  参考訳（メタデータ） (2023-11-15T19:52:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。