論文の概要: NAIPv2: Debiased Pairwise Learning for Efficient Paper Quality Estimation

• arxiv url: http://arxiv.org/abs/2509.25179v2
• Date: Wed, 01 Oct 2025 01:02:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-02 12:11:26.796489
• Title: NAIPv2: Debiased Pairwise Learning for Efficient Paper Quality Estimation
• Title（参考訳）: NAIPv2: 紙品質の効率的な評価のためのバイアス付きペアワイズ学習
• Authors: Penghai Zhao, Jinyu Tian, Qinghua Xing, Xin Zhang, Zheng Li, Jianjun Qian, Ming-Ming Cheng, Xiang Li,
• Abstract要約: 本稿では,紙の品質評価のための非バイアスで効率的なフレームワークであるNAIPv2を提案する。 NAIPv2は、レビューアレーティングの不整合を低減するために、ドメイン年グループ内でペアワイズ学習を採用している。 これはペアワイズ比較に基づいてトレーニングされるが、デプロイ時に効率的なポイントワイズ予測を可能にする。
• 参考スコア（独自算出の注目度）: 58.30936615525824
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The ability to estimate the quality of scientific papers is central to how both humans and AI systems will advance scientific knowledge in the future. However, existing LLM-based estimation methods suffer from high inference cost, whereas the faster direct score regression approach is limited by scale inconsistencies. We present NAIPv2, a debiased and efficient framework for paper quality estimation. NAIPv2 employs pairwise learning within domain-year groups to reduce inconsistencies in reviewer ratings and introduces the Review Tendency Signal (RTS) as a probabilistic integration of reviewer scores and confidences. To support training and evaluation, we further construct NAIDv2, a large-scale dataset of 24,276 ICLR submissions enriched with metadata and detailed structured content. Trained on pairwise comparisons but enabling efficient pointwise prediction at deployment, NAIPv2 achieves state-of-the-art performance (78.2% AUC, 0.432 Spearman), while maintaining scalable, linear-time efficiency at inference. Notably, on unseen NeurIPS submissions, it further demonstrates strong generalization, with predicted scores increasing consistently across decision categories from Rejected to Oral. These findings establish NAIPv2 as a debiased and scalable framework for automated paper quality estimation, marking a step toward future scientific intelligence systems. Code and dataset are released at sway.cloud.microsoft/Pr42npP80MfPhvj8.
• Abstract（参考訳）: 科学的論文の質を推定する能力は、人間とAIシステムの両方が将来科学的知識をどのように前進させるかの中心である。 しかし,従来のLCMに基づく推定手法は高い推論コストに悩まされる一方,より高速な直接スコア回帰手法はスケールの不整合によって制限される。 本稿では,紙の品質評価のための非バイアスで効率的なフレームワークであるNAIPv2を提案する。 NAIPv2は、レビューアレーティングの不整合を低減するためにドメイン年内のグループ内でペアワイズ学習を採用し、レビューアスコアと信頼の確率的統合としてレビューテンダエンシ信号(RTS)を導入している。 トレーニングと評価を支援するため,メタデータと詳細な構造化コンテンツに富んだ24,276 ICLRの大規模データセットであるNAIDv2を構築した。 ペアワイズ比較に基づいて訓練されるが、デプロイ時に効率的なポイントワイズ予測を可能にするNAIPv2は、拡張性のある線形時間効率を維持しつつ、最先端のパフォーマンス(78.2% AUC, 0.432 Spearman)を達成する。 特に、目に見えないNeurIPSの投稿では、予測スコアがRejectedからOralまで、決定カテゴリ間で一貫して増加し、強力な一般化が示される。 これらの知見は、NAIPv2を自動紙の品質評価のための不偏でスケーラブルなフレームワークとして確立し、将来の科学情報システムへの一歩を踏み出した。 コードとデータセットはsway.cloud.microsoft/Pr42npP80MfPhvj8でリリースされている。

関連論文リスト

• Factor Informed Double Deep Learning For Average Treatment Effect Estimation [8.767175335575386]
  本稿では,二重深層学習戦略を用いた推定手法を提案する。 応答関数と確率スコアの両方にFAST-NN(Facter-augmented Deep Learning-based estimator)を用いる。 提案手法は, 極めてフレキシブルな確率モデルと結果モデルに基づいて, 半パラメトリック効率を実現する。
  論文  参考訳（メタデータ） (2025-08-23T20:26:33Z)
• T2I-Eval-R1: Reinforcement Learning-Driven Reasoning for Interpretable Text-to-Image Evaluation [60.620408007636016]
  T2I-Eval-R1は,大まかな品質スコアのみを用いて,オープンソースのMLLMを訓練する新しい強化学習フレームワークである。 提案手法では,グループ相対政策最適化を命令調整プロセスに統合し,スカラースコアと解釈可能な推論チェーンの両方を生成する。
  論文  参考訳（メタデータ） (2025-05-23T13:44:59Z)
• Enhancing Trustworthiness of Graph Neural Networks with Rank-Based Conformal Training [17.120502204791407]
  等角予測は統計的に保証された不確実性推定を生成することができる。 本稿では,GNN(RCP-GNN)のトレーニングフレームワークにおけるランクベースのCPを提案し,信頼性の高い不確実性推定を行う。
  論文  参考訳（メタデータ） (2025-01-06T05:19:24Z)
• Sample Complexity of Preference-Based Nonparametric Off-Policy Evaluation with Deep Networks [58.469818546042696]
  我々は、OPEのサンプル効率を人間の好みで研究し、その統計的保証を確立する。 ReLUネットワークのサイズを適切に選択することにより、マルコフ決定過程において任意の低次元多様体構造を活用できることが示される。
  論文  参考訳（メタデータ） (2023-10-16T16:27:06Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
  我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。 GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
  論文  参考訳（メタデータ） (2023-02-06T16:38:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。