論文の概要: RankSHAP: Shapley Value Based Feature Attributions for Learning to Rank

• arxiv url: http://arxiv.org/abs/2405.01848v2
• Date: Wed, 09 Oct 2024 06:32:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-10 14:25:43.574033
• Title: RankSHAP: Shapley Value Based Feature Attributions for Learning to Rank
• Title（参考訳）: RankSHAP: ランク付け学習のための共有価値に基づく特徴属性
• Authors: Tanya Chowdhury, Yair Zick, James Allan,
• Abstract要約: 我々は、機能属性コミュニティで人気がある軸論的ゲーム理論のアプローチを採用し、全てのランク付けベースの特徴属性メソッドが満足すべき基本公理のセットを特定する。 次にRang-SHAPを導入し、古典的なShapley値をランキングに拡張します。 また、既存の帰属アルゴリズムの公理解析を行い、提案した公理に準拠するかどうかを判断する。
• 参考スコア（独自算出の注目度）: 28.438428292619577
• License:
• Abstract: Numerous works propose post-hoc, model-agnostic explanations for learning to rank, focusing on ordering entities by their relevance to a query through feature attribution methods. However, these attributions often weakly correlate or contradict each other, confusing end users. We adopt an axiomatic game-theoretic approach, popular in the feature attribution community, to identify a set of fundamental axioms that every ranking-based feature attribution method should satisfy. We then introduce Rank-SHAP, extending classical Shapley values to ranking. We evaluate the RankSHAP framework through extensive experiments on two datasets, multiple ranking methods and evaluation metrics. Additionally, a user study confirms RankSHAP's alignment with human intuition. We also perform an axiomatic analysis of existing rank attribution algorithms to determine their compliance with our proposed axioms. Ultimately, our aim is to equip practitioners with a set of axiomatically backed feature attribution methods for studying IR ranking models, that ensure generality as well as consistency.
• Abstract（参考訳）: 多くの研究が、特徴属性法によるクエリとの関連性によるエンティティの順序付けに焦点をあて、ランク付けを学ぶための、ポストホックでモデルに依存しない説明を提案している。 しかしながら、これらの属性は、しばしば弱い相関関係または矛盾し、エンドユーザを混乱させます。 我々は、機能属性コミュニティで人気がある軸論的ゲーム理論のアプローチを採用し、全てのランク付けベースの特徴属性メソッドが満足すべき基本公理のセットを特定する。 次にRang-SHAPを導入し、古典的なShapley値をランキングに拡張します。 我々は2つのデータセット、複数のランキング手法、評価指標に関する広範な実験を通してRanSHAPフレームワークを評価する。 さらに、ユーザによる研究では、RanSHAPが人間の直感と一致していることが確認されている。 また、既存の帰属アルゴリズムの公理解析を行い、提案した公理に準拠するかどうかを判断する。 最終的に、我々の目標は、一般性と一貫性を確保するために、IRランキングモデルを研究するための、公理的に支援された特徴属性のセットを実践者に供給することである。

関連論文リスト

• Ranking Unraveled: Recipes for LLM Rankings in Head-to-Head AI Combat [7.8905223445925055]
  大規模言語モデル(LLM)に対する人間の嗜好を評価する新しい方法として、ペアワイズランキングが登場した。 LLMの前後比較におけるランキングシステムの有効性について検討する。 我々の分析は、ランキングの精度と効率に影響を与える要因について重要な洞察を見出している。
  論文  参考訳（メタデータ） (2024-11-19T20:16:26Z)
• On the Evaluation Consistency of Attribution-based Explanations [42.1421504321572]
  本稿では,画像領域における属性メソッドのベンチマークを行うオープンプラットフォームであるMeta-Rankを紹介する。 1) 異なる設定下での属性評価手法の評価は、異なる性能ランキングを得ることができ、2) 多数のケースで矛盾するが、同一のトレーニング軌道に沿った個別のチェックポイントにまたがる顕著な一貫性を示す。
  論文  参考訳（メタデータ） (2024-07-28T11:49:06Z)
• Full Stage Learning to Rank: A Unified Framework for Multi-Stage Systems [40.199257203898846]
  我々は,多段階システム,すなわちGPRP(Generalized Probability Ranking Principle)のための改良されたランキング原理を提案する。 GPRPは、システムパイプラインの各ステージにおける選択バイアスと、ユーザの基本的な関心の両方を強調している。 我々の中核的な考え方は、まず次の段階における選択バイアスを推定し、次に下流モジュールの選択バイアスに最もよく適合するランキングモデルを学ぶことである。
  論文  参考訳（メタデータ） (2024-05-08T06:35:04Z)
• Backdoor-based Explainable AI Benchmark for High Fidelity Evaluation of Attribution Methods [49.62131719441252]
  属性法は入力特徴の重要度を計算し、深層モデルの出力予測を説明する。 本研究はまず,属性手法の信頼性ベンチマークが満たすであろう信頼度基準の集合を同定する。 次に、望ましい忠実度基準に準拠したBackdoorベースのeXplainable AIベンチマーク(BackX)を紹介します。
  論文  参考訳（メタデータ） (2024-05-02T13:48:37Z)
• Provably Stable Feature Rankings with SHAP and LIME [3.8642937395065124]
  最も重要な特徴を高い確率で正しくランク付けする属性法を考案する。 SHAP と LIME の効率的なサンプリングアルゴリズムを導入し,K$ の高階特徴が適切に順序付け可能であることを保証した。
  論文  参考訳（メタデータ） (2024-01-28T23:14:51Z)
• Bipartite Ranking Fairness through a Model Agnostic Ordering Adjustment [54.179859639868646]
  本稿では,二部類ランキングにおける公平性を実現するためのモデルに依存しない後処理フレームワークxOrderを提案する。 xOrderは、教師なしおよび教師なしの公正度メトリックを含む、さまざまな分類モデルとランキングフェアネスメトリクスと互換性がある。 提案アルゴリズムを,4つのベンチマークデータセットと2つの実世界の患者電子健康記録リポジトリ上で評価した。
  論文  参考訳（メタデータ） (2023-07-27T07:42:44Z)
• FLASK: Fine-grained Language Model Evaluation based on Alignment Skill Sets [69.91340332545094]
  FLASKは、人間に基づく評価とモデルに基づく評価の両方のためのきめ細かい評価プロトコルである。 モデル性能の全体像を得るためには,評価の微粒化が重要であることを実験的に観察する。
  論文  参考訳（メタデータ） (2023-07-20T14:56:35Z)
• Rank-LIME: Local Model-Agnostic Feature Attribution for Learning to Rank [16.780058676633914]
  Rank-LIMEは、モデルに依存しない局所的、ポストホック的特徴属性法である。 我々は,新しい相関に基づく摂動,微分可能なランキング損失関数を導入し,ランキングに基づく付加的特徴帰属モデルを評価するための新しい指標を導入する。
  論文  参考訳（メタデータ） (2022-12-24T12:14:32Z)
• Estimating leverage scores via rank revealing methods and randomization [50.591267188664666]
  任意のランクの正方形密度あるいはスパース行列の統計レバレッジスコアを推定するアルゴリズムについて検討した。 提案手法は,高密度およびスパースなランダム化次元性還元変換の合成と階調明細化法を組み合わせることに基づく。
  論文  参考訳（メタデータ） (2021-05-23T19:21:55Z)
• Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking Fairness and Algorithm Utility [54.179859639868646]
  Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。 学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。 本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-15T10:08:39Z)
• SetRank: A Setwise Bayesian Approach for Collaborative Ranking from Implicit Feedback [50.13745601531148]
  提案手法は,提案システムにおける暗黙的フィードバックの特性に対応するために,協調的ランキング(SeetRank)のためのセッティングワイドベイズ的手法を提案する。 具体的には、SetRankは、新しい設定された選好比較の後方確率を最大化することを目的としている。 また、SetRankの理論解析により、余剰リスクの境界が$sqrtM/N$に比例できることを示す。
  論文  参考訳（メタデータ） (2020-02-23T06:40:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。