論文の概要: RankingSHAP -- Listwise Feature Attribution Explanations for Ranking Models
- arxiv url: http://arxiv.org/abs/2403.16085v2
- Date: Tue, 29 Apr 2025 20:09:24 GMT
- ステータス: 情報取得中
- システム内更新日: 2025-05-02 16:26:26.911361
- Title: RankingSHAP -- Listwise Feature Attribution Explanations for Ranking Models
- Title（参考訳）: RankingSHAP -- Listwise Feature Attribution Explanations for Ranking Models
- Authors: Maria Heuss, Maarten de Rijke, Avishek Anand,
- Abstract要約: このギャップに対処するための重要な貢献は3つあります。
まず、ランキングモデルに対するリストワイズ機能属性を厳格に定義する。
第2に、ランク付けSHAPを導入し、人気のあるSHAPフレームワークを拡張して、ランク付け属性をリストワイズする。
第3に、学習からランクへのモデルにおける属性の忠実度を評価するための2つの新しい評価パラダイムを提案する。
- 参考スコア（独自算出の注目度）: 48.895510739010355
- License:
- Abstract: While SHAP (SHapley Additive exPlanations) and other feature attribution methods are commonly employed to explain model predictions, their application within information retrieval (IR), particularly for complex outputs such as ranked lists, remains limited. Existing attribution methods typically provide pointwise explanations, focusing on why a single document received a high-ranking score, rather than considering the relationships between documents in a ranked list. We present three key contributions to address this gap. First, we rigorously define listwise feature attribution for ranking models. Secondly, we introduce RankingSHAP, extending the popular SHAP framework to accommodate listwise ranking attribution, addressing a significant methodological gap in the field. Third, we propose two novel evaluation paradigms for assessing the faithfulness of attributions in learning-to-rank models, measuring the correctness and completeness of the explanation with respect to different aspects. Through experiments on standard learning-to-rank datasets, we demonstrate RankingSHAP's practical application while identifying the constraints of selection-based explanations. We further employ a simulated study with an interpretable model to showcase how listwise ranking attributions can be used to examine model decisions and conduct a qualitative evaluation of explanations. Due to the contrastive nature of the ranking task, our understanding of ranking model decisions can substantially benefit from feature attribution explanations like RankingSHAP.
- Abstract（参考訳）: SHAP(SHapley Additive exPlanations)や他の特徴属性法は、モデル予測を説明するために一般的に用いられているが、情報検索(IR)におけるそれらの応用は、特にランクリストのような複雑な出力に対して限られている。
既存の帰属法は典型的には、ランクリスト内の文書間の関係を考慮せずに、単一の文書が高いスコアを得た理由に焦点を当て、ポイントワイズな説明を提供する。
このギャップに対処するための重要な貢献は3つあります。
まず、ランキングモデルに対するリストワイズ機能属性を厳格に定義する。
第2に、RingSHAPを導入し、人気のあるSHAPフレームワークを拡張して、リストワイドなランキング属性に対応し、この分野における重要な方法論的ギャップに対処する。
第三に、学習からランクへのモデルにおける属性の忠実さを評価するための2つの新しい評価パラダイムを提案し、異なる側面から説明の正確さと完全性を評価する。
標準学習からランクへのデータセットの実験を通じて、選択に基づく説明の制約を特定しながら、RandingSHAPの実践的応用を実演する。
さらに、解釈可能なモデルを用いて、モデル決定を検証し、説明の質的な評価を行うために、リストワイズなランキング属性をどのように利用できるかを示す。
ランク付け課題の対照的な性質から、ランク付けモデル決定に対する理解は、ランク付けSHAPのような特徴帰属的説明から大きな恩恵を受けることができる。
関連論文リスト
- On the Evaluation Consistency of Attribution-based Explanations [42.1421504321572]
本稿では,画像領域における属性メソッドのベンチマークを行うオープンプラットフォームであるMeta-Rankを紹介する。
1) 異なる設定下での属性評価手法の評価は、異なる性能ランキングを得ることができ、2) 多数のケースで矛盾するが、同一のトレーニング軌道に沿った個別のチェックポイントにまたがる顕著な一貫性を示す。
論文 参考訳（メタデータ） (2024-07-28T11:49:06Z) - Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。
提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
論文 参考訳（メタデータ） (2024-06-28T20:06:30Z) - RankSHAP: Shapley Value Based Feature Attributions for Learning to Rank [28.438428292619577]
我々は、機能属性コミュニティで人気がある軸論的ゲーム理論のアプローチを採用し、全てのランク付けベースの特徴属性メソッドが満足すべき基本公理のセットを特定する。
次にRang-SHAPを導入し、古典的なShapley値をランキングに拡張します。
また、既存の帰属アルゴリズムの公理解析を行い、提案した公理に準拠するかどうかを判断する。
論文 参考訳（メタデータ） (2024-05-03T04:43:24Z) - Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
本稿では,新しい評価手法SQC-Scoreを提案する。
主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。
3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
論文 参考訳（メタデータ） (2024-04-04T15:36:53Z) - Rank-LIME: Local Model-Agnostic Feature Attribution for Learning to Rank [16.780058676633914]
Rank-LIMEは、モデルに依存しない局所的、ポストホック的特徴属性法である。
我々は,新しい相関に基づく摂動,微分可能なランキング損失関数を導入し,ランキングに基づく付加的特徴帰属モデルを評価するための新しい指標を導入する。
論文 参考訳（メタデータ） (2022-12-24T12:14:32Z) - Learning List-Level Domain-Invariant Representations for Ranking [59.3544317373004]
リストレベルのアライメント -- より高いレベルのリストでドメイン不変表現を学習する。
利点は2つある: これは、ランク付けに縛られる最初のドメイン適応の一般化をもたらし、その結果、提案法に対する理論的支援を提供する。
論文 参考訳（メタデータ） (2022-12-21T04:49:55Z) - Discover, Explanation, Improvement: An Automatic Slice Detection
Framework for Natural Language Processing [72.14557106085284]
スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。
本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。
評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
論文 参考訳（メタデータ） (2022-11-08T19:00:00Z) - Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。
ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。
マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
論文 参考訳（メタデータ） (2020-12-29T23:43:16Z) - Towards Unifying Feature Attribution and Counterfactual Explanations:
Different Means to the Same End [17.226134854746267]
本稿では,一組の反実例から特徴帰属説明を生成する手法を提案する。
本報告では, 帰属に基づく説明の妥当性を, その必要性と充足性の観点から評価するために, 対実例をいかに活用するかを示す。
論文 参考訳（メタデータ） (2020-11-10T05:41:43Z) - Interpretable Learning-to-Rank with Generalized Additive Models [78.42800966500374]
ラーニング・ツー・ランクのモデルの解釈可能性は、非常に重要でありながら、比較的過小評価されている研究分野である。
解釈可能なランキングモデルの最近の進歩は、主に既存のブラックボックスランキングモデルに対するポストホックな説明の生成に焦点を当てている。
一般化加法モデル(GAM)をランキングタスクに導入することにより,本質的に解釈可能な学習 to ランクの基盤を築いた。
論文 参考訳（メタデータ） (2020-05-06T01:51:30Z) - Valid Explanations for Learning to Rank Models [5.320400771224103]
本稿では,入力特徴の少数のサブセットをランキング決定の理由として同定するモデルに依存しない局所的説明法を提案する。
我々は,選択された特徴の有無に基づいて,ランク付けに特化して説明の妥当性と完全性という新たな概念を導入する。
論文 参考訳（メタデータ） (2020-04-29T06:21:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。