論文の概要: Transductive Conformal Inference for Ranking
- arxiv url: http://arxiv.org/abs/2501.11384v1
- Date: Mon, 20 Jan 2025 10:24:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-22 14:24:11.303819
- Title: Transductive Conformal Inference for Ranking
- Title（参考訳）: ランク付けのためのトランスダクティブ・コンフォーマル推論
- Authors: Jean-Baptiste Fermanian, Pierre Humbert, Gilles Blanchard,
- Abstract要約: 完全ランク付けアルゴリズムの不確かさを定量化するために,コンフォーマル予測(CP)に基づく手法を提案する。
我々は、$n + m$アイテムを'ブラックボックス'アルゴリズムでランク付けする特定のシナリオに焦点を当てる。
- 参考スコア（独自算出の注目度）: 8.050897403457995
- License:
- Abstract: We introduce a method based on Conformal Prediction (CP) to quantify the uncertainty of full ranking algorithms. We focus on a specific scenario where $n + m$ items are to be ranked by some ''black box'' algorithm. It is assumed that the relative (ground truth) ranking of n of them is known. The objective is then to quantify the error made by the algorithm on the ranks of the m new items among the total $(n + m)$. In such a setting, the true ranks of the n original items in the total $(n + m)$ depend on the (unknown) true ranks of the m new ones. Consequently, we have no direct access to a calibration set to apply a classical CP method. To address this challenge, we propose to construct distribution-free bounds of the unknown conformity scores using recent results on the distribution of conformal p-values. Using these scores upper bounds, we provide valid prediction sets for the rank of any item. We also control the false coverage proportion, a crucial quantity when dealing with multiple prediction sets. Finally, we empirically show on both synthetic and real data the efficiency of our CP method.
- Abstract（参考訳）: 完全ランク付けアルゴリズムの不確かさを定量化するために,コンフォーマル予測(CP)に基づく手法を提案する。
我々は、$n + m$アイテムを'ブラックボックス'アルゴリズムでランク付けする特定のシナリオに焦点を当てる。
nの相対的(地上の真理)ランクが知られていると推測される。
目的は、合計$(n + m)$のうち m 個の新しい項目のランクでアルゴリズムが犯した誤差を定量化することである。
そのような設定で、合計$(n + m)$ の n 個の元のアイテムの真のランクは、m 個の新しいアイテムの(未知の)真のランクに依存する。
したがって、古典的なCP法を適用するための校正セットに直接アクセスすることはできない。
この課題に対処するために、共形p-値の分布に関する最近の結果を用いて未知の共形スコアの分布自由境界を構築することを提案する。
これらのスコアの上界を用いて、任意の項目のランクに対する有効な予測セットを提供する。
また、複数の予測セットを扱う際に重要な量である偽カバレッジ比も制御する。
最後に, CP法の有効性を, 合成データと実データの両方で実証的に示す。
関連論文リスト
- Online Combinatorial Allocations and Auctions with Few Samples [9.675397292814122]
本稿では,O(1)競合アルゴリズムの実現可能性について,基礎となる入札者分布から限られた数のサンプルにしかアクセスできないという現実的な制約の下で検討する。
最初の主な貢献は, サブモジュール/XOS評価のためのO(1)競合アルゴリズムを得るのに, 各入札者分布からのサンプルだけで十分であることを示している。
論文 参考訳（メタデータ） (2024-09-17T11:43:55Z) - Variance-Dependent Regret Bounds for Non-stationary Linear Bandits [52.872628573907434]
報酬分布の分散と$B_K$の分散を利用するアルゴリズムを提案する。
Restarted Weighted$textOFUL+$とRestarted$textSAVE+$の2つの新しいアルゴリズムを紹介します。
特に、V_K$が$K$よりはるかに小さい場合、我々のアルゴリズムは、異なる設定下での非定常線形バンドレットの最先端結果よりも優れている。
論文 参考訳（メタデータ） (2024-03-15T23:36:55Z) - PAC Prediction Sets Under Label Shift [52.30074177997787]
予測セットは、個々のラベルではなくラベルのセットを予測することによって不確実性を捉える。
ラベルシフト設定においてPAC保証付き予測セットを構築するための新しいアルゴリズムを提案する。
提案手法を5つのデータセットで評価する。
論文 参考訳（メタデータ） (2023-10-19T17:57:57Z) - Found in the Middle: Permutation Self-Consistency Improves Listwise Ranking in Large Language Models [63.714662435555674]
大規模言語モデル(LLM)は、文脈の使い方に位置バイアスを示す。
我々は,ブラックボックスLLMのランキングリスト出力に対して,自己整合性(permutation self-consistency)を提案する。
LLaMA v2 (70B) では GPT-3.5 では 7-18% , LLaMA v2 (70B) では 8-16% である。
論文 参考訳（メタデータ） (2023-10-11T17:59:02Z) - Improved theoretical guarantee for rank aggregation via spectral method [1.0152838128195467]
複数の項目間のペアワイズ比較を与えられた場合、ランキングが観測値と一致するようにランク付けする方法?
ランクアグリゲーションとして知られるこの問題は、スポーツ、レコメンデーションシステム、その他のウェブアプリケーションに多くの応用を見出している。
ここで、各ペア比較は真のスコア差の破損したコピーである。
論文 参考訳（メタデータ） (2023-09-07T16:01:47Z) - Sorting and Hypergraph Orientation under Uncertainty with Predictions [0.45880283710344055]
本研究では,不確実性下でのソートとハイパーグラフ配向のための学習強化アルゴリズムについて検討する。
我々のアルゴリズムは、予測なしで最良となる最悪の保証を維持しつつ、精度の高い予測性能を保証する。
論文 参考訳（メタデータ） (2023-05-16T07:52:08Z) - Maximum-Likelihood Inverse Reinforcement Learning with Finite-Time
Guarantees [56.848265937921354]
逆強化学習(IRL)は報酬関数と関連する最適ポリシーを回復することを目的としている。
IRLの多くのアルゴリズムは本質的にネスト構造を持つ。
我々は、報酬推定精度を損なわないIRLのための新しいシングルループアルゴリズムを開発した。
論文 参考訳（メタデータ） (2022-10-04T17:13:45Z) - Lagrangian Inference for Ranking Problems [18.70913621061314]
両比較の結果のベルヌーイ分布を決定する正の選好スコアが各項目に割り当てられるブラッドリー・テリー・ルーシ(BTL)モデルについて考察する。
提案手法は,BTLモデルの一般的なランク付け特性を推定することを目的としている。
フレームワークを複数のテスト問題に一般化し、偽発見率(FDR)を制御し、上位のK$アイテムを推測する手法を適用する。
論文 参考訳（メタデータ） (2021-10-01T01:16:25Z) - Social Distancing is Good for Points too! [91.3755431537592]
点が近すぎるとFCNNの動作が悪くなることを示す。
そして、そのようなケースを避けるためにアルゴリズムの修正に成功した。
この修正はアルゴリズムの近似保証とともに有用な上界を証明するのに十分である。
論文 参考訳（メタデータ） (2020-06-28T16:49:59Z) - SetRank: A Setwise Bayesian Approach for Collaborative Ranking from
Implicit Feedback [50.13745601531148]
提案手法は,提案システムにおける暗黙的フィードバックの特性に対応するために,協調的ランキング(SeetRank)のためのセッティングワイドベイズ的手法を提案する。
具体的には、SetRankは、新しい設定された選好比較の後方確率を最大化することを目的としている。
また、SetRankの理論解析により、余剰リスクの境界が$sqrtM/N$に比例できることを示す。
論文 参考訳（メタデータ） (2020-02-23T06:40:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。