論文の概要: Beyond Paper-to-Paper: Structured Profiling and Rubric Scoring for Paper-Reviewer Matching
- arxiv url: http://arxiv.org/abs/2604.05866v1
- Date: Tue, 07 Apr 2026 13:27:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-08 17:42:09.854941
- Title: Beyond Paper-to-Paper: Structured Profiling and Rubric Scoring for Paper-Reviewer Matching
- Title(参考訳): ペーパー・ツー・パッパーを超えて:紙・リビューア・マッチングのための構造化プロファイリングとルブリック・スコリング
- Authors: Yicheng Pan, Zhiyuan Ning, Ludi Wang, Yi Du,
- Abstract要約: P2Rは、暗黙の論文間マッチングから明示的なプロファイルベースのマッチングに移行する、トレーニング不要のフレームワークである。
まず、セマンティックとアスペクトレベルの信号を組み合わせてハイリコール候補プールを形成するハイブリッド検索を実行する。
NeurIPS、SIGIR、SciRepEvalの実験では、P2Rは一貫して最先端のベースラインを上回っている。
- 参考スコア(独自算出の注目度): 5.731351860196096
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As conference submission volumes continue to grow, accurately recommending suitable reviewers has become a challenge. Most existing methods follow a ``Paper-to-Paper'' matching paradigm, implicitly representing a reviewer by their publication history. However, effective reviewer matching requires capturing multi-dimensional expertise, and textual similarity to past papers alone is often insufficient. To address this gap, we propose P2R, a training-free framework that shifts from implicit paper-to-paper matching to explicit profile-based matching. P2R uses general-purpose LLMs to construct structured profiles for both submissions and reviewers, disentangling them into Topics, Methodologies, and Applications. Building on these profiles, P2R adopts a coarse-to-fine pipeline to balance efficiency and depth. It first performs hybrid retrieval that combines semantic and aspect-level signals to form a high-recall candidate pool, and then applies an LLM-based committee to evaluate candidates under strict rubrics, integrating both multi-dimensional expert views and a holistic Area Chair perspective. Experiments on NeurIPS, SIGIR, and SciRepEval show that P2R consistently outperforms state-of-the-art baselines. Ablation studies further verify the necessity of each component. Overall, P2R highlights the value of explicit, structured expertise modeling and offers practical guidance for applying LLMs to reviewer matching.
- Abstract(参考訳): カンファレンスの提出数が増え続けるにつれ、適切なレビュアーを正確に推薦することが課題となっている。
既存のほとんどのメソッドは ``Paper-to-Paper''' のマッチングパラダイムに従っている。
しかし、効果的なレビュアーマッチングには多次元の専門知識の取得が必要であり、過去の論文だけではテキストの類似性は不十分であることが多い。
このギャップに対処するために、暗黙の論文間マッチングから明示的なプロファイルベースのマッチングへ移行するトレーニング不要のフレームワークであるP2Rを提案する。
P2Rは汎用LLMを使用して、投稿とレビュアーの両方のための構造化プロファイルを構築し、それらをトピック、方法論、アプリケーションに分離する。
これらのプロファイルに基づいて、P2Rは効率と深さのバランスをとるために粗いパイプラインを採用する。
まず、セマンティックとアスペクトレベルの信号を組み合わせてハイリコール候補プールを形成するハイブリッド検索を行い、次にLLMベースの委員会を適用して、厳密なルーリックの下で候補を評価し、多次元の専門家視点と全体論的エリアチェアの視点を統合した。
NeurIPS、SIGIR、SciRepEvalの実験では、P2Rは一貫して最先端のベースラインを上回っている。
アブレーション研究は各成分の必要性をさらに検証する。
全体として、P2Rは明示的で構造化された専門知識モデリングの価値を強調し、レビュアーマッチングにLLMを適用するための実践的なガイダンスを提供する。
関連論文リスト
- PaperGuide: Making Small Language-Model Paper-Reading Agents More Efficient [20.72001543887772]
大規模言語モデル(LLM)の最近の進歩は、科学論文を読み取ってタスク関連情報を抽出できる自律エージェントへの関心を喚起している。
既存のアプローチのほとんどは、高度に設計されたプロンプトか、あるいは従来のSFT-RLトレーニングパイプラインに依存している。
本稿では,これらの問題を緩和するフレームワークであるPaper RLを提案する。
論文 参考訳(メタデータ) (2026-01-19T12:07:51Z) - OpenNovelty: An LLM-powered Agentic System for Verifiable Scholarly Novelty Assessment [63.662126457336534]
OpenNoveltyは、透明で証拠に基づく新規性分析のためのエージェントシステムである。
回収された実論文のすべての評価を根拠にし、検証可能な判断を確実にする。
OpenNoveltyは、公正で一貫性があり、エビデンスに支えられたピアレビューを促進するスケーラブルなツールで、研究コミュニティに力を与えることを目指している。
論文 参考訳(メタデータ) (2026-01-04T15:48:51Z) - Chain of Retrieval: Multi-Aspect Iterative Search Expansion and Post-Order Search Aggregation for Full Paper Retrieval [68.71038700559195]
The Chain of Retrieval (COR) is a novel repeaterative framework for full-paper search。
SCIBENCH(SCIBENCH)は、クエリと候補のための全論文の完全なコンテキストとセグメント化されたコンテキストを提供するベンチマークである。
論文 参考訳(メタデータ) (2025-07-14T08:41:53Z) - Can LLMs Generate Tabular Summaries of Science Papers? Rethinking the Evaluation Protocol [83.90769864167301]
文献レビュー表は、科学論文の集合を要約し比較するために欠かせないものである。
学術論文の収集にあたり,ユーザの情報ニーズを最大限に満たす表を作成するタスクについて検討する。
我々の貢献は、現実世界で遭遇する3つの重要な課題に焦点を当てている: (i)ユーザープロンプトは、しばしば未特定である; (ii)検索された候補論文は、しばしば無関係な内容を含む; (iii)タスク評価は、浅いテキスト類似性技術を超えて進むべきである。
論文 参考訳(メタデータ) (2025-04-14T14:52:28Z) - Reconciling Privacy and Explainability in High-Stakes: A Systematic Inquiry [0.0]
科学分野におけるディープラーニングの優位性は、高い意思決定を形作っている。
本稿では,RTP(Right-to-Privacy)とRTE(Right-to-Explanation)を組み合わせる複雑さについて検討する。
論文 参考訳(メタデータ) (2024-12-30T08:43:28Z) - LitLLMs, LLMs for Literature Review: Are we there yet? [15.785989492351684]
本稿では,近年の大規模言語モデルのゼロショット能力について,要約に基づく文献レビューの執筆支援について考察する。
まず LLM を用いて,論文の要約から意味のあるキーワードを抽出する新しい2段階探索手法を提案する。
生成段階では、まずレビューの計画を概説し、次に実際のレビューを生成するためのステップを実行する2段階のアプローチを提案する。
論文 参考訳(メタデータ) (2024-12-15T01:12:26Z) - Relative Preference Optimization: Enhancing LLM Alignment through Contrasting Responses across Identical and Diverse Prompts [95.09994361995389]
Relative Preference Optimization (RPO) は、同一のプロンプトと関連するプロンプトの両方から、より多く、あまり好まれない応答を識別するように設計されている。
RPOは、大きな言語モデルをユーザの好みに合わせて調整し、トレーニングプロセスにおける適応性を改善する優れた能力を示している。
論文 参考訳(メタデータ) (2024-02-12T22:47:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。