論文の概要: Allocate Marginal Reviews to Borderline Papers Using LLM Comparative Ranking
- arxiv url: http://arxiv.org/abs/2602.06078v1
- Date: Wed, 04 Feb 2026 07:12:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-09 22:18:26.029358
- Title: Allocate Marginal Reviews to Borderline Papers Using LLM Comparative Ranking
- Title（参考訳）: LLM比較ランキングを用いた境界紙へのアロカテマージナルレビュー
- Authors: Elliot L. Epstein, Rajat Dwaraknath, John Winnicki, Thanawat Sornwanee,
- Abstract要約: 本稿では,大規模なMLカンファレンスは,受理境界付近の論文に限界レビュー能力を割り当てるべきである,と論じる。
本稿では,人間レビュー前の境界線帯域を識別し,割り当てられた時点での言語レビュアー容量を割り当てるための比較ランキングを提案する。
- 参考スコア（独自算出の注目度）: 0.3499870393443268
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper argues that large ML conferences should allocate marginal review capacity primarily to papers near the acceptance boundary, rather than spreading extra reviews via random or affinity-driven heuristics. We propose using LLM-based comparative ranking (via pairwise comparisons and a Bradley--Terry model) to identify a borderline band \emph{before} human reviewing and to allocate \emph{marginal} reviewer capacity at assignment time. Concretely, given a venue-specific minimum review target (e.g., 3 or 4), we use this signal to decide which papers receive one additional review (e.g., a 4th or 5th), without conditioning on any human reviews and without using LLM outputs for accept/reject. We provide a simple expected-impact calculation in terms of (i) the overlap between the predicted and true borderline sets ($ρ$) and (ii) the incremental value of an extra review near the boundary ($Δ$), and we provide retrospective proxies to estimate these quantities.
- Abstract（参考訳）: 本稿では,大規模なMLカンファレンスは,ランダムあるいは親和性に基づくヒューリスティックスを通じて,余分なレビューを広めるのではなく,主に受容境界付近の論文に限界レビュー能力を割り当てるべきである,と論じる。
LLMに基づく比較ランキング(ペアワイズ比較とBradley-Terryモデル)を用いて、境界線バンド \emph{before} の人間レビューを識別し、割り当て時に \emph{marginal} レビュアー容量を割り当てる。
具体的には、会場固有の最小限のレビュー対象(eg, 3, 4)が与えられた場合、この信号を用いて、追加のレビューを受ける論文(eg, 4th, 5th)を決定する。
我々は単純な期待・インパクトの計算を行う。
(i)予測された境界集合と真の境界集合の重複(ρ$)
(ii)境界付近の余分なレビューの漸進的な価値(Δ$)。
関連論文リスト
- LLMs Can Assist with Proposal Selection at Large User Facilities [0.0]
大規模言語モデル (LLM) は、大規模なユーザ施設における提案選択プロセスを強化することができる。
LLMは、従来の人間レビューに代わるスケーラブルで一貫性があり、費用対効果がある。
論文 参考訳（メタデータ） (2025-12-11T18:23:56Z) - Are We There Yet? Revealing the Risks of Utilizing Large Language Models in Scholarly Peer Review [66.73247554182376]
大規模言語モデル(LLM)がピアレビューに統合された。
未確認のLLMの採用は、ピアレビューシステムの完全性に重大なリスクをもたらす。
5%のレビューを操作すれば、論文の12%が上位30%のランキングでその地位を失う可能性がある。
論文 参考訳（メタデータ） (2024-12-02T16:55:03Z) - AI-Driven Review Systems: Evaluating LLMs in Scalable and Bias-Aware Academic Reviews [18.50142644126276]
我々は,人選好のアリーナを用いて,人選好と自動レビューのアライメントを評価する。
我々は、LLMを微調整して人間の好みを予測し、LLM同士の真っ向からの戦いにおいて、どのレビューが好まれるかを予測する。
我々は、公開可能なarXivおよびオープンアクセスのNatureジャーナルのレビューをオンラインで公開し、著者が研究論文をレビューし、改訂し、品質を改善するのに役立つ無料サービスを提供しています。
論文 参考訳（メタデータ） (2024-08-19T19:10:38Z) - FineSurE: Fine-grained Summarization Evaluation using LLMs [22.62504593575933]
FineSurEは,大規模言語モデル(LLM)を用いた要約タスクに適した,きめ細かい評価器である。
また、忠実さに加えて完全性と簡潔さの基準を採用し、多次元評価を可能にしている。
論文 参考訳（メタデータ） (2024-07-01T02:20:28Z) - A Theory for Token-Level Harmonization in Retrieval-Augmented Generation [76.75124161306795]
Retrieval-augmented Generation (RAG)は、検索したテキストを利用して大規模言語モデル(LLM)を強化する。
本稿では,RAGの利益と有害性を説明するための理論を提供する。
提案手法は,本理論に基づいて,純粋LLMとRAGの協調生成を実現する実用的手法であるTok-RAGを提案する。
論文 参考訳（メタデータ） (2024-06-03T02:56:14Z) - Is ChatGPT Fair for Recommendation? Evaluating Fairness in Large
Language Model Recommendation [52.62492168507781]
LLM(FaiRLLM)を用いたFairness of Recommendationと呼ばれる新しいベンチマークを提案する。
このベンチマークは、慎重に作成されたメトリクスと、8つの機密属性を考慮に入れたデータセットで構成されている。
FaiRLLMベンチマークを用いて、ChatGPTの評価を行い、レコメンデーションを生成する際には、いくつかの機密属性に対して不公平であることがわかった。
論文 参考訳（メタデータ） (2023-05-12T16:54:36Z) - Multi-label Contrastive Predictive Coding [125.03510235962095]
差分相互情報(MI)推定器は、コントラスト予測符号化(CPC)のような教師なし表現学習法で広く利用されている。
本稿では,複数の正のサンプルを同時に同定する必要がある多ラベル分類問題に基づく新しい推定器を提案する。
同一量の負のサンプルを用いて複数ラベルのCPCが$log m$boundを超えることができる一方で、相互情報の有意な下限であることを示す。
論文 参考訳（メタデータ） (2020-07-20T02:46:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。