論文の概要: Beyond Paper-to-Paper: Structured Profiling and Rubric Scoring for Paper-Reviewer Matching
- arxiv url: http://arxiv.org/abs/2604.05866v1
- Date: Tue, 07 Apr 2026 13:27:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-08 17:42:09.854941
- Title: Beyond Paper-to-Paper: Structured Profiling and Rubric Scoring for Paper-Reviewer Matching
- Title(参考訳): ペーパー・ツー・パッパーを超えて:紙・リビューア・マッチングのための構造化プロファイリングとルブリック・スコリング
- Abstract要約: P2Rは、暗黙の論文間マッチングから明示的なプロファイルベースのマッチングに移行する、トレーニング不要のフレームワークである。
まず、セマンティックとアスペクトレベルの信号を組み合わせてハイリコール候補プールを形成するハイブリッド検索を実行する。
NeurIPS、SIGIR、SciRepEvalの実験では、P2Rは一貫して最先端のベースラインを上回っている。
- 参考スコア(独自算出の注目度): 5.731351860196096
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As conference submission volumes continue to grow, accurately recommending suitable reviewers has become a challenge. Most existing methods follow a ``Paper-to-Paper'' matching paradigm, implicitly representing a reviewer by their publication history. However, effective reviewer matching requires capturing multi-dimensional expertise, and textual similarity to past papers alone is often insufficient. To address this gap, we propose P2R, a training-free framework that shifts from implicit paper-to-paper matching to explicit profile-based matching. P2R uses general-purpose LLMs to construct structured profiles for both submissions and reviewers, disentangling them into Topics, Methodologies, and Applications. Building on these profiles, P2R adopts a coarse-to-fine pipeline to balance efficiency and depth. It first performs hybrid retrieval that combines semantic and aspect-level signals to form a high-recall candidate pool, and then applies an LLM-based committee to evaluate candidates under strict rubrics, integrating both multi-dimensional expert views and a holistic Area Chair perspective. Experiments on NeurIPS, SIGIR, and SciRepEval show that P2R consistently outperforms state-of-the-art baselines. Ablation studies further verify the necessity of each component. Overall, P2R highlights the value of explicit, structured expertise modeling and offers practical guidance for applying LLMs to reviewer matching.
- Abstract(参考訳): カンファレンスの提出数が増え続けるにつれ、適切なレビュアーを正確に推薦することが課題となっている。
既存のほとんどのメソッドは ``Paper-to-Paper''' のマッチングパラダイムに従っている。
しかし、効果的なレビュアーマッチングには多次元の専門知識の取得が必要であり、過去の論文だけではテキストの類似性は不十分であることが多い。
このギャップに対処するために、暗黙の論文間マッチングから明示的なプロファイルベースのマッチングへ移行するトレーニング不要のフレームワークであるP2Rを提案する。
P2Rは汎用LLMを使用して、投稿とレビュアーの両方のための構造化プロファイルを構築し、それらをトピック、方法論、アプリケーションに分離する。
これらのプロファイルに基づいて、P2Rは効率と深さのバランスをとるために粗いパイプラインを採用する。
まず、セマンティックとアスペクトレベルの信号を組み合わせてハイリコール候補プールを形成するハイブリッド検索を行い、次にLLMベースの委員会を適用して、厳密なルーリックの下で候補を評価し、多次元の専門家視点と全体論的エリアチェアの視点を統合した。
NeurIPS、SIGIR、SciRepEvalの実験では、P2Rは一貫して最先端のベースラインを上回っている。
アブレーション研究は各成分の必要性をさらに検証する。
全体として、P2Rは明示的で構造化された専門知識モデリングの価値を強調し、レビュアーマッチングにLLMを適用するための実践的なガイダンスを提供する。
関連論文リスト
- SSR-GRPO: Integrating Supervision and Semantic IDs into Reinforcement Learning for Dense Retrieval in E-commerce [4.188658309210585]
埋め込みベースの検索(EBR)はeコマース検索において重要であるが、複雑な意味論に苦しむことが多い。
近年,表現学習のための大規模言語モデル (LLM) が注目されている。
SSR-GRPO (Supervised Retrieval-GRPO with Semantic Identifiers) を提案する。
論文 参考訳(メタデータ) (2026-08-20T03:19:20Z) - Training Documents Reranker with Search Rubrics for Deep Research Agent [54.08506174105984]
本稿では,高品質な文書集合が満たすべき要件をテキスト的に定義する検索指向のルーブリックを提案する。
さらに、検索したドキュメントから高品質なサブセットを選択するために、ドキュメントリランカ textbfRubricRanker をトレーニングします。
論文 参考訳(メタデータ) (2026-08-04T12:11:14Z) - Can LLMs Write Reliable Rubrics? A Meta-Evaluation for Experiment Reproduction [38.170020271877085]
紙の再生のためのLCM生成ルーブリックの最初の体系的メタ評価について述べる。
ルーブリックをチェックリストスタイルのフォーマットに再構成し、2つのバックボーンモデル間で4世代設定を評価する。
論文 参考訳(メタデータ) (2026-07-14T14:52:42Z) - Align Documents to Questions: Question-Oriented Document Rewriting for Retrieval-Augmented Generation [51.55755193937205]
提案するQREAMは,検索した文書を事実を保存しながら質問指向のスタイルで整列するスタイル制御リライタである。
本フレームワークは,(1) 反復的書き換え探索にスタイリスティックシードを用いたQREAM-ICL,(2) ICL出力から抽出した軽量学生モデルQREAM-FTの2段階からなる。
論文 参考訳(メタデータ) (2026-04-19T08:39:21Z) - ReviewGrounder: Improving Review Substantiveness with Rubric-Guided, Tool-Integrated Agents [50.27474750319121]
公式ガイドライン、論文の内容、人間によるレビューから派生した、紙固有のルーリックに従ってテキストをレビューする。
本稿では、公式ガイドライン、論文の内容、人手によるレビューに基づいて、レビューテキストを評価するベンチマークであるREVIEWBENCHを紹介する。
本稿では,レビューを起草段階と接地段階に分解するルーリック誘導ツール統合マルチエージェントフレームワークであるREVIEWGROUNDERを提案する。
論文 参考訳(メタデータ) (2026-04-15T16:33:04Z) - PaperGuide: Making Small Language-Model Paper-Reading Agents More Efficient [20.72001543887772]
大規模言語モデル(LLM)の最近の進歩は、科学論文を読み取ってタスク関連情報を抽出できる自律エージェントへの関心を喚起している。
既存のアプローチのほとんどは、高度に設計されたプロンプトか、あるいは従来のSFT-RLトレーニングパイプラインに依存している。
本稿では,これらの問題を緩和するフレームワークであるPaper RLを提案する。
論文 参考訳(メタデータ) (2026-01-19T12:07:51Z) - OpenNovelty: An LLM-powered Agentic System for Verifiable Scholarly Novelty Assessment [63.662126457336534]
OpenNoveltyは、透明で証拠に基づく新規性分析のためのエージェントシステムである。
回収された実論文のすべての評価を根拠にし、検証可能な判断を確実にする。
OpenNoveltyは、公正で一貫性があり、エビデンスに支えられたピアレビューを促進するスケーラブルなツールで、研究コミュニティに力を与えることを目指している。
論文 参考訳(メタデータ) (2026-01-04T15:48:51Z) - Chain of Retrieval: Multi-Aspect Iterative Search Expansion and Post-Order Search Aggregation for Full Paper Retrieval [68.71038700559195]
The Chain of Retrieval (COR) is a novel repeaterative framework for full-paper search。
SCIBENCH(SCIBENCH)は、クエリと候補のための全論文の完全なコンテキストとセグメント化されたコンテキストを提供するベンチマークである。
論文 参考訳(メタデータ) (2025-07-14T08:41:53Z) - Can LLMs Generate Tabular Summaries of Science Papers? Rethinking the Evaluation Protocol [83.90769864167301]
文献レビュー表は、科学論文の集合を要約し比較するために欠かせないものである。
学術論文の収集にあたり,ユーザの情報ニーズを最大限に満たす表を作成するタスクについて検討する。
我々の貢献は、現実世界で遭遇する3つの重要な課題に焦点を当てている: (i)ユーザープロンプトは、しばしば未特定である; (ii)検索された候補論文は、しばしば無関係な内容を含む; (iii)タスク評価は、浅いテキスト類似性技術を超えて進むべきである。
論文 参考訳(メタデータ) (2025-04-14T14:52:28Z) - Reconciling Privacy and Explainability in High-Stakes: A Systematic Inquiry [0.0]
科学分野におけるディープラーニングの優位性は、高い意思決定を形作っている。
本稿では,RTP(Right-to-Privacy)とRTE(Right-to-Explanation)を組み合わせる複雑さについて検討する。
論文 参考訳(メタデータ) (2024-12-30T08:43:28Z) - LitLLMs, LLMs for Literature Review: Are we there yet? [15.785989492351684]
本稿では,近年の大規模言語モデルのゼロショット能力について,要約に基づく文献レビューの執筆支援について考察する。
まず LLM を用いて,論文の要約から意味のあるキーワードを抽出する新しい2段階探索手法を提案する。
生成段階では、まずレビューの計画を概説し、次に実際のレビューを生成するためのステップを実行する2段階のアプローチを提案する。
論文 参考訳(メタデータ) (2024-12-15T01:12:26Z) - Peer Review as A Multi-Turn and Long-Context Dialogue with Role-Based Interactions [62.0123588983514]
大規模言語モデル(LLM)は様々な分野にまたがる幅広い応用を実証してきた。
我々は、ピアレビュープロセスを多ターン長文対話として再構築し、著者、レビュアー、意思決定者に対して異なる役割を担っている。
複数の情報源から収集された92,017件のレビューを含む26,841件の論文を含む包括的データセットを構築した。
論文 参考訳(メタデータ) (2024-06-09T08:24:17Z) - Relative Preference Optimization: Enhancing LLM Alignment through Contrasting Responses across Identical and Diverse Prompts [95.09994361995389]
Relative Preference Optimization (RPO) は、同一のプロンプトと関連するプロンプトの両方から、より多く、あまり好まれない応答を識別するように設計されている。
RPOは、大きな言語モデルをユーザの好みに合わせて調整し、トレーニングプロセスにおける適応性を改善する優れた能力を示している。
論文 参考訳(メタデータ) (2024-02-12T22:47:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。