論文の概要: Average Precision at Cutoff k under Random Rankings: Expectation and Variance

• arxiv url: http://arxiv.org/abs/2511.02571v1
• Date: Tue, 04 Nov 2025 13:45:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 18:47:06.055361
• Title: Average Precision at Cutoff k under Random Rankings: Expectation and Variance
• Title（参考訳）: ランダムランキングによるカットオフkにおける平均精度:期待と変動
• Authors: Tetiana Manzhos, Tetiana Ianevych, Olga Melnyk,
• Abstract要約: カットオフk(MAP@k)における平均精度は広く使われている。 本稿では,k(AP@k)における平均精度の予測とばらつきを導出する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recommender systems and information retrieval platforms rely on ranking algorithms to present the most relevant items to users, thereby improving engagement and satisfaction. Assessing the quality of these rankings requires reliable evaluation metrics. Among them, Mean Average Precision at cutoff k (MAP@k) is widely used, as it accounts for both the relevance of items and their positions in the list. In this paper, the expectation and variance of Average Precision at k (AP@k) are derived since they can be used as biselines for MAP@k. Here, we covered two widely used evaluation models: offline and online. The expectation establishes the baseline, indicating the level of MAP@k that can be achieved by pure chance. The variance complements this baseline by quantifying the extent of random fluctuations, enabling a more reliable interpretation of observed scores.
• Abstract（参考訳）: レコメンダシステムと情報検索プラットフォームは、ユーザに対して最も関連性の高い項目を提示するためにランキングアルゴリズムに依存し、エンゲージメントと満足度を向上させる。 これらのランキングの品質を評価するには、信頼性の高い評価指標が必要である。 中でも、k カットオフにおける平均精度 (MAP@k) は、アイテムの関連性とリスト内のそれらの位置の両方を考慮に入れているため、広く使われている。 本稿では,k における平均精度の期待値と変動値(AP@k)を MAP@k の双直線として用いることができることから導出した。 ここでは、オフラインとオンラインの2つの広く使われている評価モデルについて紹介した。 この期待はベースラインを確立し、純粋なチャンスによって達成できるMAP@kのレベルを示す。 この分散は、ランダムなゆらぎの程度を定量化し、観測されたスコアのより信頼性の高い解釈を可能にすることで、このベースラインを補完する。

関連論文リスト

• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• From Generation to Consumption: Personalized List Value Estimation for Re-ranking [11.827600847399973]
  本稿では,個人化された消費意識リスト値推定フレームワークであるCAVEを提案する。 CAVEは、サブリスト値に対する期待値としてリスト値を定式化し、各位置におけるユーザ固有の出口確率によって重み付けされる。 サブリスト値とユーザエグジットの挙動を共同でモデル化することにより、CAVEは実際のリスト消費値をより忠実に推定する。
  論文  参考訳（メタデータ） (2025-08-04T09:43:21Z)
• AcuRank: Uncertainty-Aware Adaptive Computation for Listwise Reranking [35.685682379377134]
  大規模言語モデル (LLMs) によるリストのランク付けは、検索ベースのアプリケーションにおいて上位のランク付けされた結果を強化する。 AcuRank は文書関連性に対する不確実性推定に基づいて動的に計算量と目標を調節する適応型再ランクフレームワークである。 TREC-DLとBEIRのベンチマークの結果から,提案手法は精度・効率のトレードオフを一貫して達成し,固定計算ベースラインよりも計算能力に優れることがわかった。
  論文  参考訳（メタデータ） (2025-05-24T05:15:49Z)
• Conformal Prediction Sets with Improved Conditional Coverage using Trust Scores [52.92618442300405]
  有限サンプルにおいて、正確に分布のない条件付きカバレッジを達成することは不可能である。 本稿では,最も重要となる範囲を対象とするコンフォメーション予測アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-01-17T12:01:56Z)
• From Classification Accuracy to Proper Scoring Rules: Elicitability of Probabilistic Top List Predictions [0.0]
  単クラス予測と予測分布のギャップを埋める新しいタイプの分類予測法を提案する。 提案した評価指標は,対称的固有スコアリングルールに基づいて,様々な種類の予測の比較を許容する。
  論文  参考訳（メタデータ） (2023-01-27T15:55:01Z)
• Probabilistic Permutation Graph Search: Black-Box Optimization for Fairness in Ranking [53.94413894017409]
  本稿では、置換グラフの概念に基づいて、置換分布を表現する新しい方法を提案する。 PLと同様に、PPGと呼ばれる分布表現は、公正性のブラックボックス最適化に利用できる。
  論文  参考訳（メタデータ） (2022-04-28T20:38:34Z)
• Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking Fairness and Algorithm Utility [54.179859639868646]
  Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。 学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。 本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-15T10:08:39Z)
• SetRank: A Setwise Bayesian Approach for Collaborative Ranking from Implicit Feedback [50.13745601531148]
  提案手法は,提案システムにおける暗黙的フィードバックの特性に対応するために,協調的ランキング(SeetRank)のためのセッティングワイドベイズ的手法を提案する。 具体的には、SetRankは、新しい設定された選好比較の後方確率を最大化することを目的としている。 また、SetRankの理論解析により、余剰リスクの境界が$sqrtM/N$に比例できることを示す。
  論文  参考訳（メタデータ） (2020-02-23T06:40:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。