論文の概要: UniRank: A Multi-Agent Calibration Pipeline for Estimating University Rankings from Anonymized Bibliometric Signals

• arxiv url: http://arxiv.org/abs/2602.18824v1
• Date: Sat, 21 Feb 2026 12:50:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-24 17:42:02.335336
• Title: UniRank: A Multi-Agent Calibration Pipeline for Estimating University Rankings from Anonymized Bibliometric Signals
• Title（参考訳）: UniRank: 匿名化バイオメトリック信号から大学ランキングを推定するためのマルチエージェント校正パイプライン
• Authors: Pedram Riyazimehr, Seyyed Ehsan Mahmoudi,
• Abstract要約: We present UniRank, a multi-agent pipeline that estimated college position across global ranking system。 システムは、匿名化された機関メトリクスからのゼロショット推定、システムごとのツール強化校正、そして最終合成という3段階のアーキテクチャを採用している。 The Times Higher Education(THE) World University Rankings(n=352$)では、MAE = 251.5、Median AE = 131.5、PNMAE = 12.03%、Spearman $= 0.769$、Kendall $= 0.591$、 hit rate @50 = 20.7%となる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present UniRank, a multi-agent LLM pipeline that estimates university positions across global ranking systems using only publicly available bibliometric data from OpenAlex and Semantic Scholar. The system employs a three-stage architecture: (a) zero-shot estimation from anonymized institutional metrics, (b) per-system tool-augmented calibration against real ranked universities, and (c) final synthesis. Critically, institutions are anonymized -- names, countries, DOIs, paper titles, and collaboration countries are all redacted -- and their actual ranks are hidden from the calibration tools during evaluation, preventing LLM memorization from confounding results. On the Times Higher Education (THE) World University Rankings ($n=352$), the system achieves MAE = 251.5 rank positions, Median AE = 131.5, PNMAE = 12.03%, Spearman $ρ= 0.769$, Kendall $τ= 0.591$, hit rate @50 = 20.7%, hit rate @100 = 39.8%, and a Memorization Index of exactly zero (no exact-match zero-width predictions among all 352 universities). The systematic positive-signed error (+190.1 positions, indicating the system consistently predicts worse ranks than actual) and monotonic performance degradation from elite tier (MAE = 60.5, hit@100 = 90.5%) to tail tier (MAE = 328.2, hit@100 = 20.8%) provide strong evidence that the pipeline performs genuine analytical reasoning rather than recalling memorized rankings. A live demo is available at https://unirank.scinito.ai .
• Abstract（参考訳）: We present UniRank, a multi-agent LLM pipeline that estimated university position across global ranking system using only available bibliometric data from OpenAlex and Semantic Scholar。 システムは3段階のアーキテクチャを採用している。 (a)匿名の機関指標によるゼロショット推定 ロ システムごとのツール強化校正等級の大学に対する校正等 (c)最終合成。 重要な点として、機関は匿名化されている -- 名前、国、DOI、紙のタイトル、協力国はすべて改定されている。 The Times Higher Education(THE) World University Rankings(n=352$)では、MAE = 251.5ランク、Median AE = 131.5、PNMAE = 12.03%、Spearman $ρ = 0.769$、Kendall $τ = 0.591$、 hit rate @50 = 20.7%、 hit rate @100 = 39.8%、 Memorization Index of exactly zero(全352大学において、正確なマッチゼロ幅予測はなし)を達成している。 系統的正符号誤差(+190.1位置、システムは実際のより悪いランクを常に予測する)と、エリート層(MAE = 60.5, hit@100 = 90.5%)から尾層(MAE = 328.2, hit@100 = 20.8%)への単調性能劣化は、パイプラインが暗記されたランクを思い出すのではなく、真の分析的推論を行うという強い証拠となる。 ライブデモはhttps://unirank.scinito.ai.comで公開されている。

関連論文リスト

• Linear-PAL: A Lightweight Ranker for Mitigating Shortcut Learning in Personalized, High-Bias Tabular Ranking [0.0]
  eコマースランキングでは、暗黙のユーザーフィードバックはPlace Biasによって体系的に構築される。 構造的制約を通した非バイアス化を実現する軽量なフレームワークを提案する。 また,Linear-PALがほぼリアルタイムで,ロバストでパーソナライズされたランキングを実現することを示す。
  論文  参考訳（メタデータ） (2025-12-15T12:06:04Z)
• CoRanking: Collaborative Ranking with Small and Large Ranking Agents [94.09834629572403]
  大規模言語モデル(LLM)は、優れたリストワイドランキング性能を示している。 CoRankingは、小規模と大規模なランキングモデルを組み合わせて、効率的かつ効果的なランク付けを行う。
  論文  参考訳（メタデータ） (2025-03-30T13:00:52Z)
• A Large-Scale Study of Relevance Assessments with Large Language Models: An Initial Look [52.114284476700874]
  本稿では,4つの異なる関連性評価手法が展開された大規模評価(TREC 2024 RAG Track)の結果について報告する。 自動生成UMBRELA判定は、完全に手動による判断を置き換えて、実行レベルの有効性を正確に捉えることができる。 意外なことに、LLMアシストは完全な手作業による評価と相関を増さないようで、人間のループプロセスに関連するコストは明らかな有意義な利益をもたらすものではないことを示唆している。
  論文  参考訳（メタデータ） (2024-11-13T01:12:35Z)
• Soft Condorcet Optimization for Ranking of General Agents [44.90789674063613]
  ソフトコンドルチェット最適化(SCO)という,社会選択フレームワークに触発された新たなランキング方式について述べる。 SCOランキングは、PrefLibオープンランキングアーカイブの865の選好プロファイルにまたがる正規化Kendall-Tau距離の最適ランキングから、平均0から0.043まで離れている。 SCOランキングは、古典的な7人プレーヤーゲームである外交の31,049ゲームにまたがる52,958人の人間プレイヤーを含む問題において、ホールトアウトテストセットで測定された最適なランキングに最適な近似を提供する。
  論文  参考訳（メタデータ） (2024-10-31T18:17:39Z)
• The ICML 2023 Ranking Experiment: Examining Author Self-Assessment in ML/AI Peer Review [49.43514488610211]
  著者が提供するランキングは、機械学習カンファレンスでのピアレビュープロセスを改善するために利用することができる。 著者が提示したランキングを用いて生のレビュースコアを校正するイソトニックメカニズムに注目した。 本稿では,アイソトニック機構の慎重かつリスクの低いいくつかの応用と著者が提案する格付けをピアレビューで提案する。
  論文  参考訳（メタデータ） (2024-08-24T01:51:23Z)
• Better than Random: Reliable NLG Human Evaluation with Constrained Active Sampling [50.08315607506652]
  信頼性の高い人的判断のための制約付きアクティブサンプリングフレームワーク(CASF)を提案する。 実験の結果、CASFは93.18%のシステム認識精度が得られた。
  論文  参考訳（メタデータ） (2024-06-12T07:44:36Z)
• Predicting article quality scores with machine learning: The UK Research Excellence Framework [6.582887504429817]
  正確性は、医学・物理科学ユニット・オブ・アセスメント(UoAs)と経済学で最も高い。 社会科学、数学、工学、芸術、人文科学、そしてUoAsの基準の上の予測精度は、より低いかゼロに近いものであった。 提案手法は,能動的学習戦略による精度の向上と,予測確率の高い記事の選択により,アルゴリズムによって推定される結果の予測回数を大幅に削減する。
  論文  参考訳（メタデータ） (2022-12-11T05:45:12Z)
• Data Driven and Visualization based Strategization for University Rank Improvement using Decision Trees [1.933681537640272]
  本稿では,Decision Tree (DT) に基づくアルゴリズムを用いてランキングデータを分類し,データ可視化技術を用いてランク改善のための決定経路を抽出する手法を提案する。 提案手法は,HEIが改善の範囲を定量的に評価し,詳細な長期行動計画と適切な道路マップを作成するのに役立つ。
  論文  参考訳（メタデータ） (2021-10-18T06:41:45Z)
• PiRank: Learning To Rank via Differentiable Sorting [85.28916333414145]
  ランク付けのための新しい分類可能なサロゲートであるPiRankを提案する。 ピランクは所望の指標をゼロ温度の限界で正確に回収する。
  論文  参考訳（メタデータ） (2020-12-12T05:07:36Z)
• How Reliable are University Rankings? [0.7646713951724009]
  公立大学データセットを用いて,このランキング方式を新たに検討する。 我々は,このランキング方式が信頼性に欠け,権威として信頼できないことを,複数の方法で示している。 我々は、ランキングに使用されるすべてのデータとメソッドを、検証と再現性のためにオープンにすべきだと結論付けている。
  論文  参考訳（メタデータ） (2020-04-20T01:00:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。