論文の概要: RankSHAP: a Gold Standard Feature Attribution Method for the Ranking Task
- arxiv url: http://arxiv.org/abs/2405.01848v1
- Date: Fri, 3 May 2024 04:43:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-06 13:45:11.352641
- Title: RankSHAP: a Gold Standard Feature Attribution Method for the Ranking Task
- Title（参考訳）: RankSHAP: ランク付けタスクのためのゴールドスタンダード特徴属性方法
- Authors: Tanya Chowdhury, Yair Zick, James Allan,
- Abstract要約: 我々は,機能帰属コミュニティで人気のゲーム理論的手法を用いて,タスクの帰属候補を特定する。
本稿では,古典的シェープ値の拡張である一般ランキングタスクの特徴帰属アルゴリズムであるRange-SHAPを紹介する。
- 参考スコア（独自算出の注目度）: 28.438428292619577
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Several works propose various post-hoc, model-agnostic explanations for the task of ranking, i.e. the task of ordering a set of documents, via feature attribution methods. However, these attributions are seen to weakly correlate and sometimes contradict each other. In classification/regression, several works focus on \emph{axiomatic characterization} of feature attribution methods, showing that a certain method uniquely satisfies a set of desirable properties. However, no such efforts have been taken in the space of feature attributions for the task of ranking. We take an axiomatic game-theoretic approach, popular in the feature attribution community, to identify candidate attribution methods for ranking tasks. We first define desirable axioms: Rank-Efficiency, Rank-Missingness, Rank-Symmetry and Rank-Monotonicity, all variants of the classical Shapley axioms. Next, we introduce Rank-SHAP, a feature attribution algorithm for the general ranking task, which is an extension to classical Shapley values. We identify a polynomial-time algorithm for computing approximate Rank-SHAP values and evaluate the computational efficiency and accuracy of our algorithm under various scenarios. We also evaluate its alignment with human intuition with a user study. Lastly, we theoretically examine popular rank attribution algorithms, EXS and Rank-LIME, and evaluate their capacity to satisfy the classical Shapley axioms.
- Abstract（参考訳）: いくつかの研究は、ランク付けのタスク、すなわち、特徴属性法による文書の集合を注文するタスクについて、ポストホックでモデルに依存しない様々な説明を提案している。
しかし、これらの属性は弱い相関関係にあり、時には互いに矛盾する。
分類・回帰において、いくつかの研究は特徴属性法の「emph{axiomatic Characterization}」に焦点を当て、ある方法が一意に望ましい性質の集合を満たすことを示す。
但し、格付け業務の特色として、そのような取り組みは行われていない。
我々は,機能帰属コミュニティで人気のゲーム理論的手法を用いて,タスクの帰属候補を特定する。
まず、古典的なシャプリー公理のすべての変種であるランク効率、ランクミス性、ランクシンメトリー、ランクモノトニック性という、望ましい公理を定義した。
次に、古典的シェープ値の拡張である一般ランキングタスクの特徴帰属アルゴリズムであるRate-SHAPを紹介する。
近似ランク-SHAP値を計算するための多項式時間アルゴリズムを同定し、様々なシナリオでアルゴリズムの計算効率と精度を評価する。
また,人間の直感とユーザスタディとの整合性も評価した。
最後に, 定位帰属アルゴリズムであるEXSとRanc-LIMEを理論的に検討し, 古典的シャプリー公理を満たす能力を評価する。
関連論文リスト
- Ranking Unraveled: Recipes for LLM Rankings in Head-to-Head AI Combat [7.8905223445925055]
大規模言語モデル(LLM)に対する人間の嗜好を評価する新しい方法として、ペアワイズランキングが登場した。
LLMの前後比較におけるランキングシステムの有効性について検討する。
我々の分析は、ランキングの精度と効率に影響を与える要因について重要な洞察を見出している。
論文 参考訳（メタデータ） (2024-11-19T20:16:26Z) - On the Evaluation Consistency of Attribution-based Explanations [42.1421504321572]
本稿では,画像領域における属性メソッドのベンチマークを行うオープンプラットフォームであるMeta-Rankを紹介する。
1) 異なる設定下での属性評価手法の評価は、異なる性能ランキングを得ることができ、2) 多数のケースで矛盾するが、同一のトレーニング軌道に沿った個別のチェックポイントにまたがる顕著な一貫性を示す。
論文 参考訳（メタデータ） (2024-07-28T11:49:06Z) - Full Stage Learning to Rank: A Unified Framework for Multi-Stage Systems [40.199257203898846]
我々は,多段階システム,すなわちGPRP(Generalized Probability Ranking Principle)のための改良されたランキング原理を提案する。
GPRPは、システムパイプラインの各ステージにおける選択バイアスと、ユーザの基本的な関心の両方を強調している。
我々の中核的な考え方は、まず次の段階における選択バイアスを推定し、次に下流モジュールの選択バイアスに最もよく適合するランキングモデルを学ぶことである。
論文 参考訳（メタデータ） (2024-05-08T06:35:04Z) - Backdoor-based Explainable AI Benchmark for High Fidelity Evaluation of Attribution Methods [49.62131719441252]
属性法は入力特徴の重要度を計算し、深層モデルの出力予測を説明する。
本研究はまず,属性手法の信頼性ベンチマークが満たすであろう信頼度基準の集合を同定する。
次に、望ましい忠実度基準に準拠したBackdoorベースのeXplainable AIベンチマーク(BackX)を紹介します。
論文 参考訳（メタデータ） (2024-05-02T13:48:37Z) - Provably Stable Feature Rankings with SHAP and LIME [3.8642937395065124]
最も重要な特徴を高い確率で正しくランク付けする属性法を考案する。
SHAP と LIME の効率的なサンプリングアルゴリズムを導入し,K$ の高階特徴が適切に順序付け可能であることを保証した。
論文 参考訳（メタデータ） (2024-01-28T23:14:51Z) - Bipartite Ranking Fairness through a Model Agnostic Ordering Adjustment [54.179859639868646]
本稿では,二部類ランキングにおける公平性を実現するためのモデルに依存しない後処理フレームワークxOrderを提案する。
xOrderは、教師なしおよび教師なしの公正度メトリックを含む、さまざまな分類モデルとランキングフェアネスメトリクスと互換性がある。
提案アルゴリズムを,4つのベンチマークデータセットと2つの実世界の患者電子健康記録リポジトリ上で評価した。
論文 参考訳（メタデータ） (2023-07-27T07:42:44Z) - FLASK: Fine-grained Language Model Evaluation based on Alignment Skill Sets [69.91340332545094]
FLASKは、人間に基づく評価とモデルに基づく評価の両方のためのきめ細かい評価プロトコルである。
モデル性能の全体像を得るためには,評価の微粒化が重要であることを実験的に観察する。
論文 参考訳（メタデータ） (2023-07-20T14:56:35Z) - Rank-LIME: Local Model-Agnostic Feature Attribution for Learning to Rank [16.780058676633914]
Rank-LIMEは、モデルに依存しない局所的、ポストホック的特徴属性法である。
我々は,新しい相関に基づく摂動,微分可能なランキング損失関数を導入し,ランキングに基づく付加的特徴帰属モデルを評価するための新しい指標を導入する。
論文 参考訳（メタデータ） (2022-12-24T12:14:32Z) - Estimating leverage scores via rank revealing methods and randomization [50.591267188664666]
任意のランクの正方形密度あるいはスパース行列の統計レバレッジスコアを推定するアルゴリズムについて検討した。
提案手法は,高密度およびスパースなランダム化次元性還元変換の合成と階調明細化法を組み合わせることに基づく。
論文 参考訳（メタデータ） (2021-05-23T19:21:55Z) - Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking
Fairness and Algorithm Utility [54.179859639868646]
Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。
学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。
本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-15T10:08:39Z) - SetRank: A Setwise Bayesian Approach for Collaborative Ranking from
Implicit Feedback [50.13745601531148]
提案手法は,提案システムにおける暗黙的フィードバックの特性に対応するために,協調的ランキング(SeetRank)のためのセッティングワイドベイズ的手法を提案する。
具体的には、SetRankは、新しい設定された選好比較の後方確率を最大化することを目的としている。
また、SetRankの理論解析により、余剰リスクの境界が$sqrtM/N$に比例できることを示す。
論文 参考訳（メタデータ） (2020-02-23T06:40:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。