論文の概要: Evaluating Local Model-Agnostic Explanations of Learning to Rank Models
with Decision Paths
- arxiv url: http://arxiv.org/abs/2203.02295v1
- Date: Fri, 4 Mar 2022 13:11:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-07 18:51:35.861489
- Title: Evaluating Local Model-Agnostic Explanations of Learning to Rank Models
with Decision Paths
- Title(参考訳): 決定経路付きランキングモデルへの学習の局所モデル非依存的説明の評価
- Authors: Amir Hossein Akhavan Rahnama, Judith Butepage
- Abstract要約: 学習からランクまでのモデルの局所的な説明は、モデルによって予測される1つのデータポイントのランキングに寄与する最も重要な特徴を抽出すると考えられている。
いずれの手法も、選択された類似度指標がAUCスコアまたはスピアマンのランク相関である場合に、許容できる説明精度を達成できないことを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Local explanations of learning-to-rank (LTR) models are thought to extract
the most important features that contribute to the ranking predicted by the LTR
model for a single data point. Evaluating the accuracy of such explanations is
challenging since the ground truth feature importance scores are not available
for most modern LTR models. In this work, we propose a systematic evaluation
technique for explanations of LTR models. Instead of using black-box models,
such as neural networks, we propose to focus on tree-based LTR models, from
which we can extract the ground truth feature importance scores using decision
paths. Once extracted, we can directly compare the ground truth feature
importance scores to the feature importance scores generated with explanation
techniques. We compare two recently proposed explanation techniques for LTR
models and benchmark them using decision trees and gradient boosting models on
the MQ2008 dataset. We show that neither of the explanation techniques can
achieve an acceptable explanation accuracy when the chosen similarity metric is
AUC score or Spearman's rank correlation.
- Abstract(参考訳): LTRモデル(Learning-to-rank)モデルの局所的な説明は、LTRモデルによって予測される1つのデータポイントのランキングに寄与する最も重要な特徴を抽出すると考えられている。
これらの説明の正確さを評価することは、現代のほとんどのLTRモデルでは、基礎的真理特徴重要度スコアが利用できないため困難である。
本研究では,LTRモデルの説明のための体系的評価手法を提案する。
ニューラルネットワークのようなブラックボックスモデルを使う代わりに、木に基づくLTRモデルに焦点をあてて、決定経路を用いて真実の特徴的重要度を抽出することを提案する。
一度抽出すると、基礎的真理特徴重要度スコアと説明手法で生成された特徴重要度スコアを直接比較できる。
我々は、最近提案された2つのLTRモデルの説明手法を比較し、MQ2008データセット上の決定木と勾配向上モデルを用いてそれらをベンチマークした。
いずれの手法も、選択された類似度指標がAUCスコアまたはスピアマンのランク相関である場合に、許容できる説明精度を達成できないことを示す。
関連論文リスト
- Explaining Pre-Trained Language Models with Attribution Scores: An
Analysis in Low-Resource Settings [32.03184402316848]
我々は,素早いモデルから抽出した帰属スコアの妥当性と忠実度を分析した。
プロンプトパラダイムを用いることで、低リソース環境下でモデルを微調整するよりも、より妥当な説明が得られます。
論文 参考訳(メタデータ) (2024-03-08T14:14:37Z) - Evaluating and Explaining Large Language Models for Code Using Syntactic
Structures [74.93762031957883]
本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。
その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。
私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
論文 参考訳(メタデータ) (2023-08-07T18:50:57Z) - Deep Explainable Learning with Graph Based Data Assessing and Rule
Reasoning [4.369058206183195]
本稿では、ノイズハンドリングにおけるディープモデルの利点とエキスパートルールに基づく解釈可能性を組み合わせたエンドツーエンドのディープ・ツー・エンドのディープ・説明可能な学習手法を提案する。
提案手法は, 工業生産システムにおいて, 予測精度に匹敵し, より高い一般化安定性, より優れた解釈可能性を示す。
論文 参考訳(メタデータ) (2022-11-09T05:58:56Z) - Explain, Edit, and Understand: Rethinking User Study Design for
Evaluating Model Explanations [97.91630330328815]
我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。
単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
論文 参考訳(メタデータ) (2021-12-17T18:29:56Z) - To what extent do human explanations of model behavior align with actual
model behavior? [91.67905128825402]
モデル推論決定の人間による説明が、モデルが実際にこれらの決定を下す方法と一致する程度を調べた。
自然言語の人間の説明が入力語に対するモデル感度とどのように一致するかを定量化する2つのアライメント指標を定義した。
モデルと人間の説明との整合は、NLI上のモデルの精度によって予測されないことが判明した。
論文 参考訳(メタデータ) (2020-12-24T17:40:06Z) - Explaining Deep Learning Models for Structured Data using Layer-Wise
Relevance Propagation [0.0]
LRP(Layer-wise Relevance)は、コンピュータビジョンにおける深層モデルのための確立された説明可能性技術であり、入力画像の直感的な可読熱マップを提供する。
本稿では,LIME(Local Interpretable Model-Agnostic Ex-planations)とSHAP(Shapley Additive Explanations)の従来の説明可能性概念よりも,LRPが有効であることを示す。
論文 参考訳(メタデータ) (2020-11-26T18:34:21Z) - Learning from Context or Names? An Empirical Study on Neural Relation
Extraction [112.06614505580501]
テキストにおける2つの主要な情報ソースの効果について検討する:テキストコンテキストとエンティティ参照(名前)
本稿では,関係抽出のための実体型コントラスト事前学習フレームワーク(RE)を提案する。
我々のフレームワークは、異なるREシナリオにおけるニューラルモデルの有効性と堅牢性を改善することができる。
論文 参考訳(メタデータ) (2020-10-05T11:21:59Z) - Adversarial Infidelity Learning for Model Interpretation [43.37354056251584]
本稿では,モデル解釈のためのモデル非依存能率直接(MEED)FSフレームワークを提案する。
我々のフレームワークは、正当性、ショートカット、モデルの識別可能性、情報伝達に関する懸念を緩和する。
我々のAILメカニズムは、選択した特徴と目標の間の条件分布を学習するのに役立ちます。
論文 参考訳(メタデータ) (2020-06-09T16:27:17Z) - Towards Interpretable Deep Learning Models for Knowledge Tracing [62.75876617721375]
本稿では,深層学習に基づく知識追跡(DLKT)モデルの解釈可能性問題に対処するポストホック手法を提案する。
具体的には、RNNに基づくDLKTモデルを解釈するために、レイヤワイズ関連伝搬法(LRP)を適用することに焦点をあてる。
実験結果から,DLKTモデルの予測をLRP法で解釈できることを示す。
論文 参考訳(メタデータ) (2020-05-13T04:03:21Z) - Interpretable Learning-to-Rank with Generalized Additive Models [78.42800966500374]
ラーニング・ツー・ランクのモデルの解釈可能性は、非常に重要でありながら、比較的過小評価されている研究分野である。
解釈可能なランキングモデルの最近の進歩は、主に既存のブラックボックスランキングモデルに対するポストホックな説明の生成に焦点を当てている。
一般化加法モデル(GAM)をランキングタスクに導入することにより,本質的に解釈可能な学習 to ランクの基盤を築いた。
論文 参考訳(メタデータ) (2020-05-06T01:51:30Z) - Valid Explanations for Learning to Rank Models [5.320400771224103]
本稿では,入力特徴の少数のサブセットをランキング決定の理由として同定するモデルに依存しない局所的説明法を提案する。
我々は,選択された特徴の有無に基づいて,ランク付けに特化して説明の妥当性と完全性という新たな概念を導入する。
論文 参考訳(メタデータ) (2020-04-29T06:21:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。