論文の概要: SP-Rank: A Dataset for Ranked Preferences with Secondary Information

• arxiv url: http://arxiv.org/abs/2601.05253v1
• Date: Fri, 17 Oct 2025 18:26:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-25 16:54:51.512558
• Title: SP-Rank: A Dataset for Ranked Preferences with Secondary Information
• Title（参考訳）: SP-Rank:セカンダリ情報を用いたランク付けされた選好のデータセット
• Authors: Hadi Hosseini, Debmalya Mandal, Amrit Puhan,
• Abstract要約: SP-Rankは、ベンチマークアルゴリズムのための最初の大規模で一般公開されたデータセットであり、ランキングタスクにおいて、一階述語と二階述語の両方を活用する。 各データポイントには、個人投票(第1次信号)と、他人の投票方法のメタ予測(第2次信号)が含まれている。 我々はSP-RankをSP-Votingに対して1次投票のみを使用する従来の集計手法と比較し,その2次投票法について比較した。
• 参考スコア（独自算出の注目度）: 26.53385073665282
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce $\mathbf{SP-Rank}$, the first large-scale, publicly available dataset for benchmarking algorithms that leverage both first-order preferences and second-order predictions in ranking tasks. Each datapoint includes a personal vote (first-order signal) and a meta-prediction of how others will vote (second-order signal), allowing richer modeling than traditional datasets that capture only individual preferences. SP-Rank contains over 12,000 human-generated datapoints across three domains -- geography, movies, and paintings, and spans nine elicitation formats with varying subset sizes. This structure enables empirical analysis of preference aggregation when expert identities are unknown but presumed to exist, and individual votes represent noisy estimates of a shared ground-truth ranking. We benchmark SP-Rank by comparing traditional aggregation methods that use only first-order votes against SP-Voting, a second-order method that jointly reasons over both signals to infer ground-truth rankings. While SP-Rank also supports models that rely solely on second-order predictions, our benchmarks emphasize the gains from combining both signals. We evaluate performance across three core tasks: (1) full ground-truth rank recovery, (2) subset-level rank recovery, and (3) probabilistic modeling of voter behavior. Results show that incorporating second-order signals substantially improves accuracy over vote-only methods. Beyond social choice, SP-Rank supports downstream applications in learning-to-rank, extracting expert knowledge from noisy crowds, and training reward models in preference-based fine-tuning pipelines. We release the dataset, code, and baseline evaluations (available at https://github.com/amrit19/SP-Rank-Dataset ) to foster research in human preference modeling, aggregation theory, and human-AI alignment.
• Abstract（参考訳）: ベンチマークアルゴリズムの大規模な公開データセットである$\mathbf{SP-Rank}$を導入する。 各データポイントには、個人投票(第1次信号)と、他者が投票する方法(第2次信号)のメタ予測が含まれており、個々の好みのみをキャプチャする従来のデータセットよりもリッチなモデリングを可能にする。 SP-Rankには、地理、映画、絵画の3つの領域にまたがる12,000以上の人為的なデータポイントが含まれており、様々なサブセットサイズを持つ9つのライセンス形式にまたがっている。 この構造は、専門家の身元が不明だが存在すると推定される場合の嗜好集約の実証分析を可能にし、個別の投票は共有基数ランキングのノイズの多い推定値を表す。 我々はSP-RankをSP-Votingに対して1次投票のみを用いる従来の集計手法と比較し,その2次投票法について比較した。 SP-Rankは2次予測のみに依存するモデルもサポートしていますが、ベンチマークでは両方の信号を組み合わせることで得られる利点を強調しています。 本研究は,(1)フルグランド・トゥルース・ランク・リカバリ,(2)サブセット・レベル・ランク・リカバリ,(3)投票者の行動の確率論的モデリングの3つのタスクにおけるパフォーマンスを評価する。 その結果,2次信号の導入により,投票のみの手法よりも精度が大幅に向上した。 社会的選択以外にも、SP-Rankは学習からランクへのダウンストリームアプリケーションをサポートし、ノイズの多い群衆から専門家の知識を抽出し、好みに基づいた微調整パイプラインで報酬モデルをトレーニングする。 データセット、コード、ベースライン評価(https://github.com/amrit19/SP-Rank-Dataset で利用可能)を公開し、人間の嗜好モデリング、アグリゲーション理論、人間-AIアライメントの研究を促進する。

関連論文リスト

• On the Evaluation Consistency of Attribution-based Explanations [42.1421504321572]
  本稿では,画像領域における属性メソッドのベンチマークを行うオープンプラットフォームであるMeta-Rankを紹介する。 1) 異なる設定下での属性評価手法の評価は、異なる性能ランキングを得ることができ、2) 多数のケースで矛盾するが、同一のトレーニング軌道に沿った個別のチェックポイントにまたがる顕著な一貫性を示す。
  論文  参考訳（メタデータ） (2024-07-28T11:49:06Z)
• ROPO: Robust Preference Optimization for Large Language Models [59.10763211091664]
  外部モデルの助けを借りずにノイズ耐性とノイズサンプルのフィルタリングを統合する反復アライメント手法を提案する。 Mistral-7BとLlama-2-7Bで広く使われている3つのデータセットの実験では、ROPOが既存の嗜好アライメント法を大幅に上回っていることが示されている。
  論文  参考訳（メタデータ） (2024-04-05T13:58:51Z)
• Replace Scoring with Arrangement: A Contextual Set-to-Arrangement Framework for Learning-to-Rank [40.81502990315285]
  ラーニング・トゥ・ランク(Learning-to-rank)は、トップNレコメンデーションタスクの中核的なテクニックであり、理想的なランク付けはアイテムからアレンジへのマッピングである。 既存のソリューションのほとんどは確率的ランキング原理(PRP)のパラダイムに該当する。すなわち、まず候補セットで各項目をスコアし、次にソート操作を行い、トップランキングリストを生成する。 本稿では,個別のスコアリングやソートを必要とせずに,候補項目の順列を直接生成する新しいフレームワークであるSet-To-Arrangement Ranking (STARank)を提案する。
  論文  参考訳（メタデータ） (2023-08-05T12:22:26Z)
• Bipartite Ranking Fairness through a Model Agnostic Ordering Adjustment [54.179859639868646]
  本稿では,二部類ランキングにおける公平性を実現するためのモデルに依存しない後処理フレームワークxOrderを提案する。 xOrderは、教師なしおよび教師なしの公正度メトリックを含む、さまざまな分類モデルとランキングフェアネスメトリクスと互換性がある。 提案アルゴリズムを,4つのベンチマークデータセットと2つの実世界の患者電子健康記録リポジトリ上で評価した。
  論文  参考訳（メタデータ） (2023-07-27T07:42:44Z)
• PIER: Permutation-Level Interest-Based End-to-End Re-ranking Framework in E-commerce [13.885695433738437]
  既存の再ランク付け手法は、初期ランキングリストを直接入力として取り、よく設計されたコンテキストワイズモデルによって最適な置換を生成する。 候補の順列を評価することは 現実的には 許容できない計算コストをもたらします 本稿では,これらの課題に対処するため,PIERという新しいエンドツーエンドのフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-06T09:17:52Z)
• Learning Phone Recognition from Unpaired Audio and Phone Sequences Based on Generative Adversarial Network [58.82343017711883]
  そこで本研究では,不適切な音声系列や発話から直接学習する方法について検討する。 GAN訓練を第1段階に導入し,無声音声と音声シーケンスのマッピング関係を求める。 第2段階では、発電機の出力からトレーニングするために別のHMMモデルが導入され、性能が向上する。
  論文  参考訳（メタデータ） (2022-07-29T09:29:28Z)
• Ensemble Classifier Design Tuned to Dataset Characteristics for Network Intrusion Detection [0.0]
  データセットのクラスオーバーラップ問題に対処する2つの新しいアルゴリズムが提案されている。 提案手法は二進分類と多進分類の両方で評価される。
  論文  参考訳（メタデータ） (2022-05-08T21:06:42Z)
• On Second-order Optimization Methods for Federated Learning [59.787198516188425]
  フェデレート学習環境における局所的なステップを持つ2階分散手法の性能評価を行った。 本稿では,更新のための2階ローカル情報とグローバルライン検索を用いて,結果の局所的特異性に対処する新たな変種を提案する。
  論文  参考訳（メタデータ） (2021-09-06T12:04:08Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)
• Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking Fairness and Algorithm Utility [54.179859639868646]
  Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。 学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。 本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-15T10:08:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。