論文の概要: ShaRP: A Novel Feature Importance Framework for Ranking
- arxiv url: http://arxiv.org/abs/2401.16744v2
- Date: Wed, 13 Nov 2024 02:04:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-28 17:07:30.469674
- Title: ShaRP: A Novel Feature Importance Framework for Ranking
- Title(参考訳): ShaRP: ランク付けのための新しい重要なフレームワーク
- Authors: Venetia Pliatsika, Joao Fonseca, Kateryna Akhynko, Ivan Shevchenko, Julia Stoyanovich,
- Abstract要約: 私たちは、ランク付けされた結果の異なる側面に対する機能の貢献を説明するフレームワークであるShaRPを紹介します。
ShaRPはQuantical Input Influenceフレームワーク上に構築されており、複数のQuantities of Interestのための機能のコントリビューションを計算する。
実データと合成データを用いて,ShaRPの広範囲な検証結果を示す。
- 参考スコア(独自算出の注目度): 6.753981445665063
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Algorithmic decisions in critical domains such as hiring, college admissions, and lending are often based on rankings. Because of the impact these decisions have on individuals, organizations, and population groups, there is a need to understand them: to help individuals improve their position in a ranking, design better ranking procedures, and check whether a procedure is legally compliant. In this paper, we present ShaRP -- Shapley for Rankings and Preferences -- a framework that explains the contributions of features to different aspects of a ranked outcome and is based on Shapley values. Using ShaRP, we show that even when the scoring function used by an algorithmic ranker is known and linear, the feature weights do not correspond to their Shapley value contribution. The contributions instead depend on the feature distributions and the subtle local interactions between the scoring features. ShaRP builds on the Quantitative Input Influence framework to compute the contributions of features for multiple -- ranking specific -- Quantities of Interest, including score, rank, pair-wise preference, and top-k. We show the results of an extensive experimental validation of ShaRP using real and synthetic datasets. We demonstrate that feature importance can be computed efficiently, and that ShaRP compares favorably to several prior local feature importance methods, in terms of both generality and quality of explanations. Among our results, we highlight a case study on the CS Rankings dataset. Contrary to expectation, we find that a strong track record in Systems research is much more important than AI research for placing a CS department among the top-10%. ShaRP is available at latex for matplotlib togetherhttps://github.com/DataResponsibly/ShaRP.
- Abstract(参考訳): 雇用、大学入学、貸与といった重要な領域におけるアルゴリズム上の決定は、しばしばランキングに基づいて行われる。
これらの決定が個人、組織、人口集団に与える影響から、個人がランク付けの立場を改善するのを助けること、より良いランク付け手順を設計すること、手続きが法的に準拠しているかどうかを確認すること、などを理解する必要がある。
本稿では、ランク付けと優先度のためのシャプリー(Shapley for Rankings and Preferences)という、ランク付けされた結果の異なる側面に対する機能の貢献を説明し、シャプリーの値に基づくフレームワークを提案する。
ShaRPを用いて,アルゴリズムのランク付けで用いられるスコアリング関数が線形である場合でも,特徴重みがShapley値の寄与と一致しないことを示す。
その代わりに、コントリビューションは特徴分布とスコアリング機能間の微妙な局所的な相互作用に依存する。
ShaRPはQuantical Input Influenceフレームワーク上に構築されており、スコア、ランク、ペアワイドの好み、トップkなど、複数の -- ランクの特定の -- 機能に対するコントリビューションを計算する。
実データと合成データを用いて,ShaRPの広範囲な検証結果を示す。
本稿では,特徴重要度を効率的に計算できることを示すとともに,一般性と説明の質の両面から,ShaRPがいくつかの従来の特徴重要度手法と良好に比較できることを示す。
この結果の中で,CSランキングデータセットのケーススタディを強調した。
予想とは対照的に、システム研究における強力な実績は、CS部門をトップ10%に位置づける上で、AI研究よりもはるかに重要であることが分かっています。
ShaRP は latex で matplotlib togetherhttps://github.com/DataResponsably/ShaRP で利用可能である。
関連論文リスト
- Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。
提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
論文 参考訳(メタデータ) (2024-06-28T20:06:30Z) - Full Stage Learning to Rank: A Unified Framework for Multi-Stage Systems [40.199257203898846]
我々は,多段階システム,すなわちGPRP(Generalized Probability Ranking Principle)のための改良されたランキング原理を提案する。
GPRPは、システムパイプラインの各ステージにおける選択バイアスと、ユーザの基本的な関心の両方を強調している。
我々の中核的な考え方は、まず次の段階における選択バイアスを推定し、次に下流モジュールの選択バイアスに最もよく適合するランキングモデルを学ぶことである。
論文 参考訳(メタデータ) (2024-05-08T06:35:04Z) - RankSHAP: Shapley Value Based Feature Attributions for Learning to Rank [28.438428292619577]
我々は、機能属性コミュニティで人気がある軸論的ゲーム理論のアプローチを採用し、全てのランク付けベースの特徴属性メソッドが満足すべき基本公理のセットを特定する。
次にRang-SHAPを導入し、古典的なShapley値をランキングに拡張します。
また、既存の帰属アルゴリズムの公理解析を行い、提案した公理に準拠するかどうかを判断する。
論文 参考訳(メタデータ) (2024-05-03T04:43:24Z) - RankingSHAP -- Listwise Feature Attribution Explanations for Ranking Models [48.895510739010355]
このギャップに対処するための重要な貢献は3つあります。
まず、ランキングモデルに対するリストワイズ機能属性を厳格に定義する。
第2に、ランク付けSHAPを導入し、人気のあるSHAPフレームワークを拡張して、ランク付け属性をリストワイズする。
第3に、学習からランクへのモデルにおける属性の忠実度を評価するための2つの新しい評価パラダイムを提案する。
論文 参考訳(メタデータ) (2024-03-24T10:45:55Z) - Learning Fair Ranking Policies via Differentiable Optimization of
Ordered Weighted Averages [55.04219793298687]
本稿では,学習からランクへの学習ループに,効率よく解ける公正ランキングモデルを組み込む方法について述べる。
特に,本論文は,OWA目標の制約された最適化を通じてバックプロパゲーションを行う方法を示す最初のものである。
論文 参考訳(メタデータ) (2024-02-07T20:53:53Z) - The Distributional Uncertainty of the SHAP score in Explainable Machine Learning [2.655371341356892]
本稿では,未知の実体集団分布下でのSHAPスコアの推論の原理的枠組みを提案する。
我々は,この関数の最大値と最小値を求める基本的な問題について検討し,すべての特徴のSHAPスコアに対して厳密な範囲を決定できることを示した。
論文 参考訳(メタデータ) (2024-01-23T13:04:02Z) - Sample Complexity of Preference-Based Nonparametric Off-Policy
Evaluation with Deep Networks [58.469818546042696]
我々は、OPEのサンプル効率を人間の好みで研究し、その統計的保証を確立する。
ReLUネットワークのサイズを適切に選択することにより、マルコフ決定過程において任意の低次元多様体構造を活用できることが示される。
論文 参考訳(メタデータ) (2023-10-16T16:27:06Z) - TRIVEA: Transparent Ranking Interpretation using Visual Explanation of
Black-Box Algorithmic Rankers [4.336037935247747]
ランク付けスキームは、どこで勉強するか、誰を雇うか、何を買うかなど、多くの現実世界の意思決定を促します。
これらの決定の核心は、データエンティティの順序を決定する不透明なランキングスキームである。
我々は、利用可能なデータから学習するアルゴリズム的なランク付けと、説明可能なAI(XAI)手法を用いて学習したランキング差について人間の推論を行うことで、ランキング解釈における透明性の実現を目指している。
論文 参考訳(メタデータ) (2023-08-28T16:58:44Z) - Bipartite Ranking Fairness through a Model Agnostic Ordering Adjustment [54.179859639868646]
本稿では,二部類ランキングにおける公平性を実現するためのモデルに依存しない後処理フレームワークxOrderを提案する。
xOrderは、教師なしおよび教師なしの公正度メトリックを含む、さまざまな分類モデルとランキングフェアネスメトリクスと互換性がある。
提案アルゴリズムを,4つのベンチマークデータセットと2つの実世界の患者電子健康記録リポジトリ上で評価した。
論文 参考訳(メタデータ) (2023-07-27T07:42:44Z) - Explainable Disparity Compensation for Efficient Fair Ranking [0.3759936323189418]
意思決定システムで使用されるランク付け関数は、基礎となるデータに偏りがあるため、異なる集団に対して異なる結果をもたらすことが多い。
最近の補償策は主に、公正性を保証するためにランク関数の不透明な変換に焦点を当てている。
本稿では,ランキング関数に対するデータ駆動型補償法を提案する。
論文 参考訳(メタデータ) (2023-07-25T09:12:50Z) - Learning List-Level Domain-Invariant Representations for Ranking [59.3544317373004]
リストレベルのアライメント -- より高いレベルのリストでドメイン不変表現を学習する。
利点は2つある: これは、ランク付けに縛られる最初のドメイン適応の一般化をもたらし、その結果、提案法に対する理論的支援を提供する。
論文 参考訳(メタデータ) (2022-12-21T04:49:55Z) - A novel evaluation methodology for supervised Feature Ranking algorithms [0.0]
本稿では,特徴ランクの新たな評価手法を提案する。
合成データセットを使用することで、特徴重要度スコアを事前に知ることができ、より体系的な評価が可能になる。
新しい方法論を使った大規模な実験を容易にするため、fsevalと呼ばれるベンチマークフレームワークがPythonで構築された。
論文 参考訳(メタデータ) (2022-07-09T12:00:36Z) - Integrating Rankings into Quantized Scores in Peer Review [61.27794774537103]
ピアレビューでは、レビュアーは通常、論文のスコアを提供するように求められます。
この問題を軽減するため、カンファレンスはレビュアーにレビューした論文のランキングを付加するように求め始めている。
このランキング情報を使用するための標準的な手順はなく、エリアチェアは異なる方法でそれを使用することができる。
我々は、ランキング情報をスコアに組み込むために、原則化されたアプローチを取る。
論文 参考訳(メタデータ) (2022-04-05T19:39:13Z) - Collective eXplainable AI: Explaining Cooperative Strategies and Agent
Contribution in Multiagent Reinforcement Learning with Shapley Values [68.8204255655161]
本研究は,シェープリー値を用いたマルチエージェントRLにおける協調戦略を説明するための新しい手法を提案する。
結果は、差別的でない意思決定、倫理的かつ責任あるAI由来の意思決定、公正な制約の下での政策決定に影響を及ぼす可能性がある。
論文 参考訳(メタデータ) (2021-10-04T10:28:57Z) - Can Active Learning Preemptively Mitigate Fairness Issues? [66.84854430781097]
データセットバイアスは、機械学習における不公平な原因の1つです。
不確実性に基づくALで訓練されたモデルが保護クラスの決定において公平であるかどうかを検討する。
また,勾配反転(GRAD)やBALDなどのアルゴリズム的公正性手法の相互作用についても検討する。
論文 参考訳(メタデータ) (2021-04-14T14:20:22Z) - Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking
Fairness and Algorithm Utility [54.179859639868646]
Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。
学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。
本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
論文 参考訳(メタデータ) (2020-06-15T10:08:39Z) - Feature selection in machine learning: R\'enyi min-entropy vs Shannon
entropy [6.434361163743876]
セキュリティとプライバシの分野で最近採用されている条件付きR'enyi min-entropyの概念に基づくアルゴリズムを提案する。
しかし実際には、R'enyiベースのアルゴリズムは、他のアルゴリズムよりも優れている傾向にある。
論文 参考訳(メタデータ) (2020-01-27T09:50:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。