論文の概要: Evaluating Local Model-Agnostic Explanations of Learning to Rank Models
with Decision Paths
- arxiv url: http://arxiv.org/abs/2203.02295v1
- Date: Fri, 4 Mar 2022 13:11:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-07 18:51:35.861489
- Title: Evaluating Local Model-Agnostic Explanations of Learning to Rank Models
with Decision Paths
- Title（参考訳）: 決定経路付きランキングモデルへの学習の局所モデル非依存的説明の評価
- Authors: Amir Hossein Akhavan Rahnama, Judith Butepage
- Abstract要約: 学習からランクまでのモデルの局所的な説明は、モデルによって予測される1つのデータポイントのランキングに寄与する最も重要な特徴を抽出すると考えられている。
いずれの手法も、選択された類似度指標がAUCスコアまたはスピアマンのランク相関である場合に、許容できる説明精度を達成できないことを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Local explanations of learning-to-rank (LTR) models are thought to extract
the most important features that contribute to the ranking predicted by the LTR
model for a single data point. Evaluating the accuracy of such explanations is
challenging since the ground truth feature importance scores are not available
for most modern LTR models. In this work, we propose a systematic evaluation
technique for explanations of LTR models. Instead of using black-box models,
such as neural networks, we propose to focus on tree-based LTR models, from
which we can extract the ground truth feature importance scores using decision
paths. Once extracted, we can directly compare the ground truth feature
importance scores to the feature importance scores generated with explanation
techniques. We compare two recently proposed explanation techniques for LTR
models and benchmark them using decision trees and gradient boosting models on
the MQ2008 dataset. We show that neither of the explanation techniques can
achieve an acceptable explanation accuracy when the chosen similarity metric is
AUC score or Spearman's rank correlation.
- Abstract（参考訳）: LTRモデル(Learning-to-rank)モデルの局所的な説明は、LTRモデルによって予測される1つのデータポイントのランキングに寄与する最も重要な特徴を抽出すると考えられている。
これらの説明の正確さを評価することは、現代のほとんどのLTRモデルでは、基礎的真理特徴重要度スコアが利用できないため困難である。
本研究では,LTRモデルの説明のための体系的評価手法を提案する。
ニューラルネットワークのようなブラックボックスモデルを使う代わりに、木に基づくLTRモデルに焦点をあてて、決定経路を用いて真実の特徴的重要度を抽出することを提案する。
一度抽出すると、基礎的真理特徴重要度スコアと説明手法で生成された特徴重要度スコアを直接比較できる。
我々は、最近提案された2つのLTRモデルの説明手法を比較し、MQ2008データセット上の決定木と勾配向上モデルを用いてそれらをベンチマークした。
いずれの手法も、選択された類似度指標がAUCスコアまたはスピアマンのランク相関である場合に、許容できる説明精度を達成できないことを示す。
関連論文リスト
- Self-Rationalization in the Wild: A Large Scale Out-of-Distribution Evaluation on NLI-related tasks [59.47851630504264]
自由文の説明は表現力があり理解しやすいが、多くのデータセットには注釈付き説明データがない。
我々は、T5-LargeモデルとOLMo-7Bモデルを微調整し、微調整データ品質、微調整サンプル数、少数ショット選択方法の影響を評価した。
モデルは、自然言語推論(NLI)、ファクトチェック、抽象的な要約における幻覚検出の3つのタスクにまたがる19の多様なOODデータセットで評価される。
論文 参考訳（メタデータ） (2025-02-07T10:01:32Z) - Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。
提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
論文 参考訳（メタデータ） (2024-06-28T20:06:30Z) - Preference Learning Algorithms Do Not Learn Preference Rankings [62.335733662381884]
選好学習は、好ましくない出力よりも、好ましくない出力により高い確率を割り当てるようにモデルを訓練する、という従来の知恵を考察する。
多くの最先端の選好調整モデルでは、一般的な選好データセットでは60%未満のランキング精度が得られている。
論文 参考訳（メタデータ） (2024-05-29T21:29:44Z) - Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
本稿では,新しい評価手法SQC-Scoreを提案する。
主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。
3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
論文 参考訳（メタデータ） (2024-04-04T15:36:53Z) - Explaining Pre-Trained Language Models with Attribution Scores: An
Analysis in Low-Resource Settings [32.03184402316848]
我々は,素早いモデルから抽出した帰属スコアの妥当性と忠実度を分析した。
プロンプトパラダイムを用いることで、低リソース環境下でモデルを微調整するよりも、より妥当な説明が得られます。
論文 参考訳（メタデータ） (2024-03-08T14:14:37Z) - Deep Explainable Learning with Graph Based Data Assessing and Rule
Reasoning [4.369058206183195]
本稿では、ノイズハンドリングにおけるディープモデルの利点とエキスパートルールに基づく解釈可能性を組み合わせたエンドツーエンドのディープ・ツー・エンドのディープ・説明可能な学習手法を提案する。
提案手法は, 工業生産システムにおいて, 予測精度に匹敵し, より高い一般化安定性, より優れた解釈可能性を示す。
論文 参考訳（メタデータ） (2022-11-09T05:58:56Z) - To what extent do human explanations of model behavior align with actual
model behavior? [91.67905128825402]
モデル推論決定の人間による説明が、モデルが実際にこれらの決定を下す方法と一致する程度を調べた。
自然言語の人間の説明が入力語に対するモデル感度とどのように一致するかを定量化する2つのアライメント指標を定義した。
モデルと人間の説明との整合は、NLI上のモデルの精度によって予測されないことが判明した。
論文 参考訳（メタデータ） (2020-12-24T17:40:06Z) - Explaining Deep Learning Models for Structured Data using Layer-Wise
Relevance Propagation [0.0]
LRP(Layer-wise Relevance)は、コンピュータビジョンにおける深層モデルのための確立された説明可能性技術であり、入力画像の直感的な可読熱マップを提供する。
本稿では,LIME(Local Interpretable Model-Agnostic Ex-planations)とSHAP(Shapley Additive Explanations)の従来の説明可能性概念よりも,LRPが有効であることを示す。
論文 参考訳（メタデータ） (2020-11-26T18:34:21Z) - Adversarial Infidelity Learning for Model Interpretation [43.37354056251584]
本稿では,モデル解釈のためのモデル非依存能率直接(MEED)FSフレームワークを提案する。
我々のフレームワークは、正当性、ショートカット、モデルの識別可能性、情報伝達に関する懸念を緩和する。
我々のAILメカニズムは、選択した特徴と目標の間の条件分布を学習するのに役立ちます。
論文 参考訳（メタデータ） (2020-06-09T16:27:17Z) - Interpretable Learning-to-Rank with Generalized Additive Models [78.42800966500374]
ラーニング・ツー・ランクのモデルの解釈可能性は、非常に重要でありながら、比較的過小評価されている研究分野である。
解釈可能なランキングモデルの最近の進歩は、主に既存のブラックボックスランキングモデルに対するポストホックな説明の生成に焦点を当てている。
一般化加法モデル(GAM)をランキングタスクに導入することにより,本質的に解釈可能な学習 to ランクの基盤を築いた。
論文 参考訳（メタデータ） (2020-05-06T01:51:30Z) - Valid Explanations for Learning to Rank Models [5.320400771224103]
本稿では,入力特徴の少数のサブセットをランキング決定の理由として同定するモデルに依存しない局所的説明法を提案する。
我々は,選択された特徴の有無に基づいて,ランク付けに特化して説明の妥当性と完全性という新たな概念を導入する。
論文 参考訳（メタデータ） (2020-04-29T06:21:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。