論文の概要: How Reliable are University Rankings?
- arxiv url: http://arxiv.org/abs/2004.09006v1
- Date: Mon, 20 Apr 2020 01:00:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-22 23:03:07.192202
- Title: How Reliable are University Rankings?
- Title（参考訳）: 大学ランキングの信頼性は?
- Authors: Ali Dasdan, Eric Van Lare, and Bosko Zivaljevic
- Abstract要約: 公立大学データセットを用いて,このランキング方式を新たに検討する。
我々は,このランキング方式が信頼性に欠け,権威として信頼できないことを,複数の方法で示している。
我々は、ランキングに使用されるすべてのデータとメソッドを、検証と再現性のためにオープンにすべきだと結論付けている。
- 参考スコア（独自算出の注目度）: 0.7646713951724009
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: University or college rankings have almost become an industry of their own,
published by US News \& World Report (USNWR) and similar organizations. Most of
the rankings use a similar scheme: Rank universities in decreasing score order,
where each score is computed using a set of attributes and their weights; the
attributes can be objective or subjective while the weights are always
subjective. This scheme is general enough to be applied to ranking objects
other than universities. As shown in the related work, these rankings have
important implications and also many issues. In this paper, we take a fresh
look at this ranking scheme using the public College dataset; we both formally
and experimentally show in multiple ways that this ranking scheme is not
reliable and cannot be trusted as authoritative because it is too sensitive to
weight changes and can easily be gamed. For example, we show how to derive
reasonable weights programmatically to move multiple universities in our
dataset to the top rank; moreover, this task takes a few seconds for over 600
universities on a personal laptop. Our mathematical formulation, methods, and
results are applicable to ranking objects other than universities too. We
conclude by making the case that all the data and methods used for rankings
should be made open for validation and repeatability.
- Abstract（参考訳）: 大学や大学のランキングは、アメリカ・ニューズ・アンド・ワールド・リポート(USNWR)などによって公表された、ほぼ独自の業界になっている。
ランキングのほとんどが類似のスキームを用いており、スコアの順序が減少している大学は、それぞれのスコアがそれぞれの属性とその重みを使って計算される。
このスキームは大学以外のランク付け対象にも適用できるほど一般的である。
関連する作業で示されているように、これらのランキングは重要な意味合いを持ち、多くの問題も抱えている。
本稿では,このランキング体系が信頼性に乏しく,重量変化に敏感であり,ゲーム化が容易であるため,信頼できない,信頼できない,複数の方法で,公立大学データセットを用いて,このランキング方式を新たに検討する。
例えば、データセット内の複数の大学をトップランクに移動するために、プログラム的に合理的な重みを導出する方法を示します。さらに、パーソナルラップトップ上で600以上の大学に対して、このタスクは数秒かかります。
我々の数学的定式化、方法、結果は、大学以外のランキングオブジェクトにも適用できます。
我々は、ランキングに使用されるすべてのデータとメソッドを、検証と再現性のためにオープンにすべきだと結論付ける。
関連論文リスト
- AGRaME: Any-Granularity Ranking with Multi-Vector Embeddings [53.78802457488845]
我々は,多ベクトル埋め込みを利用して粒度の異なるレベルにランク付けする,任意の粒度ランキングの考え方を紹介した。
検索強化世代におけるポストホック励振付加への命題レベルのランク付けの適用を実証する。
論文 参考訳（メタデータ） (2024-05-23T20:04:54Z) - Found in the Middle: Permutation Self-Consistency Improves Listwise Ranking in Large Language Models [63.714662435555674]
大規模言語モデル(LLM)は、文脈の使い方に位置バイアスを示す。
我々は,ブラックボックスLLMのランキングリスト出力に対して,自己整合性(permutation self-consistency)を提案する。
LLaMA v2 (70B) では GPT-3.5 では 7-18% , LLaMA v2 (70B) では 8-16% である。
論文 参考訳（メタデータ） (2023-10-11T17:59:02Z) - TRIVEA: Transparent Ranking Interpretation using Visual Explanation of
Black-Box Algorithmic Rankers [4.336037935247747]
ランク付けスキームは、どこで勉強するか、誰を雇うか、何を買うかなど、多くの現実世界の意思決定を促します。
これらの決定の核心は、データエンティティの順序を決定する不透明なランキングスキームである。
我々は、利用可能なデータから学習するアルゴリズム的なランク付けと、説明可能なAI(XAI)手法を用いて学習したランキング差について人間の推論を行うことで、ランキング解釈における透明性の実現を目指している。
論文 参考訳（メタデータ） (2023-08-28T16:58:44Z) - Bipartite Ranking Fairness through a Model Agnostic Ordering Adjustment [54.179859639868646]
本稿では,二部類ランキングにおける公平性を実現するためのモデルに依存しない後処理フレームワークxOrderを提案する。
xOrderは、教師なしおよび教師なしの公正度メトリックを含む、さまざまな分類モデルとランキングフェアネスメトリクスと互換性がある。
提案アルゴリズムを,4つのベンチマークデータセットと2つの実世界の患者電子健康記録リポジトリ上で評価した。
論文 参考訳（メタデータ） (2023-07-27T07:42:44Z) - Learning List-Level Domain-Invariant Representations for Ranking [59.3544317373004]
リストレベルのアライメント -- より高いレベルのリストでドメイン不変表現を学習する。
利点は2つある: これは、ランク付けに縛られる最初のドメイン適応の一般化をもたらし、その結果、提案法に対する理論的支援を提供する。
論文 参考訳（メタデータ） (2022-12-21T04:49:55Z) - Weight Set Decomposition for Weighted Rank Aggregation: An interpretable
and visual decision support tool [0.0]
本稿では、その構造上、重み付けされた階数集計問題に利用できる富について述べる。
重み集合分解を, 分解に有用な凸特性の集合に適用し, 差分領域を可視化する。
論文 参考訳（メタデータ） (2022-05-31T19:09:55Z) - Integrating Rankings into Quantized Scores in Peer Review [61.27794774537103]
ピアレビューでは、レビュアーは通常、論文のスコアを提供するように求められます。
この問題を軽減するため、カンファレンスはレビュアーにレビューした論文のランキングを付加するように求め始めている。
このランキング情報を使用するための標準的な手順はなく、エリアチェアは異なる方法でそれを使用することができる。
我々は、ランキング情報をスコアに組み込むために、原則化されたアプローチを取る。
論文 参考訳（メタデータ） (2022-04-05T19:39:13Z) - On the Linear Ordering Problem and the Rankability of Data [0.0]
線形度合いを使用して、データの割合が最適なランキングと一致するかを定量化します。
スポーツの文脈では、これはランキングが後から正確に予測できるゲームの数に類似している。
LOPを用いて計算した最適ランキングは、ランキングの後方精度を最大化することを示す。
論文 参考訳（メタデータ） (2021-04-12T21:05:17Z) - Measuring University Impact: Wikipedia approach [1.7894318579694353]
大学生のウィキペディアページの人気に基づいて,大学が与える影響を評価する新しい方法論について論じる。
予備分析の結果,このアプローチの視点を証明する現代人の方がページビュー数が高いことがわかった。
卒業生の人気に基づくランキングは、ウィキペディアのウェブページの人気に基づく大学のランキングと比較された。
論文 参考訳（メタデータ） (2020-12-27T17:41:56Z) - PiRank: Learning To Rank via Differentiable Sorting [85.28916333414145]
ランク付けのための新しい分類可能なサロゲートであるPiRankを提案する。
ピランクは所望の指標をゼロ温度の限界で正確に回収する。
論文 参考訳（メタデータ） (2020-12-12T05:07:36Z) - Controlling Fairness and Bias in Dynamic Learning-to-Rank [31.41843594914603]
暗黙のフィードバックデータからランキング関数を学習しながら、グループフェアネスの概念を確実にする学習アルゴリズムを提案する。
このアルゴリズムは、公平さと実用性の両方のために、偏見のない推定器を統合するコントローラの形をとっている。
厳密な理論基盤と収束保証に加えて、アルゴリズムが極めて実用的で堅牢であることが実証的に明らかになった。
論文 参考訳（メタデータ） (2020-05-29T17:57:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。