論文の概要: The Problem of Coherence in Natural Language Explanations of Recommendations

• arxiv url: http://arxiv.org/abs/2312.11356v1
• Date: Mon, 18 Dec 2023 17:12:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-20 19:19:53.056504
• Title: The Problem of Coherence in Natural Language Explanations of Recommendations
• Title（参考訳）: 勧告の自然言語説明における一貫性の問題
• Authors: Jakub Raczy\'nski, Mateusz Lango, Jerzy Stefanowski
• Abstract要約: 我々は、説明品質の重要な側面が実験的評価で見過ごされていることを論じる。 本稿では,最先端手法の1つによる説明書の手作業による検証結果について述べる。 次に,提案手法が推薦性能の他の側面に影響を与えることなく,説明コヒーレンスを大幅に改善することを示す実験的評価を行った。
• 参考スコア（独自算出の注目度）: 4.765143789184956
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Providing natural language explanations for recommendations is particularly useful from the perspective of a non-expert user. Although several methods for providing such explanations have recently been proposed, we argue that an important aspect of explanation quality has been overlooked in their experimental evaluation. Specifically, the coherence between generated text and predicted rating, which is a necessary condition for an explanation to be useful, is not properly captured by currently used evaluation measures. In this paper, we highlight the issue of explanation and prediction coherence by 1) presenting results from a manual verification of explanations generated by one of the state-of-the-art approaches 2) proposing a method of automatic coherence evaluation 3) introducing a new transformer-based method that aims to produce more coherent explanations than the state-of-the-art approaches 4) performing an experimental evaluation which demonstrates that this method significantly improves the explanation coherence without affecting the other aspects of recommendation performance.
• Abstract（参考訳）: 推奨のために自然言語の説明を提供することは、専門家でないユーザーの観点から特に有用である。 近年,このような説明方法がいくつか提案されているが,実験的な評価では,説明品質の重要な側面が見過ごされている。 具体的には、現在使われている評価尺度では、説明が有用であるために必要な条件である生成テキストと予測格付けとの一貫性を適切に捉えていない。 本稿では,説明と予測コヒーレンスの問題を強調する。 1)最先端のアプローチの1つが生み出した説明の手作業による検証の結果 2)自動コヒーレンス評価手法の提案 3)最先端の手法よりも一貫性のある説明をすることを目的とした新しい変圧器方式の導入 4)レコメンデーション性能の他の側面に影響を与えることなく,この手法が説明コヒーレンスを大幅に改善することを示す実験的評価を行うこと。

関連論文リスト

• Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
  機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。 驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。 以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2023-12-10T23:13:23Z)
• Counterfactuals of Counterfactuals: a back-translation-inspired approach to analyse counterfactual editors [3.4253416336476246]
  我々は、反事実的、対照的な説明の分析に焦点をあてる。 本稿では,新しい逆翻訳に基づく評価手法を提案する。 本研究では, 予測モデルと説明モデルの両方の振る舞いについて, 反事実を反復的に説明者に与えることで, 価値ある洞察を得ることができることを示す。
  論文  参考訳（メタデータ） (2023-05-26T16:04:28Z)
• Explainable Recommender with Geometric Information Bottleneck [25.703872435370585]
  本稿では,ユーザ-イテム相互作用から学習した幾何学的事前学習を変分ネットワークに組み込むことを提案する。 個々のユーザとイテムペアからの遅延因子は、レコメンデーションと説明生成の両方に使用することができる。 3つの電子商取引データセットの実験結果から,我々のモデルは変分レコメンデータの解釈可能性を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2023-05-09T10:38:36Z)
• The Unreliability of Explanations in Few-Shot In-Context Learning [50.77996380021221]
  我々は、テキスト上の推論、すなわち質問応答と自然言語推論を含む2つのNLPタスクに焦点を当てる。 入力と論理的に整合した説明は、通常より正確な予測を示す。 本稿では,説明の信頼性に基づいてモデル予測を校正する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-06T17:57:58Z)
• Measuring "Why" in Recommender Systems: a Comprehensive Survey on the Evaluation of Explainable Recommendation [87.82664566721917]
  この調査は、IJCAI、AAAI、TheWebConf、Recsys、UMAP、IUIといったトップレベルのカンファレンスから100以上の論文に基づいています。
  論文  参考訳（メタデータ） (2022-02-14T02:58:55Z)
• Uncertainty Quantification of Surrogate Explanations: an Ordinal Consensus Approach [1.3750624267664155]
  我々は, 多様な自己記述型サロゲート説明器の集合間のコンセンサスを測定することによって, 与えられた説明の不確かさを推定する。 我々は、最先端の畳み込みニューラルネットワークアンサンブルの実験を通して、このアプローチの特性を実証的に説明する。
  論文  参考訳（メタデータ） (2021-11-17T13:55:58Z)
• Coalitional Bayesian Autoencoders -- Towards explainable unsupervised deep learning [78.60415450507706]
  その結果,BAEの予測は高い相関関係にあり,誤解を招くことが示唆された。 これを軽減するために、エージェントベースのシステム理論にインスパイアされた"Coalitional BAE"が提案されている。 公開条件監視データセットに関する実験は、Coalitional BAEを用いた説明の質の向上を実証している。
  論文  参考訳（メタデータ） (2021-10-19T15:07:09Z)
• On Sample Based Explanation Methods for NLP:Efficiency, Faithfulness, and Semantic Evaluation [23.72825603188359]
  我々は、任意のテキストシーケンスを説明単位として許容することにより、説明の解釈可能性を向上させることができる。 本研究では,人間による説明の判断に適合する意味に基づく評価指標を提案する。
  論文  参考訳（メタデータ） (2021-06-09T00:49:56Z)
• Evaluating Explanations: How much do explanations from the teacher aid students? [103.05037537415811]
  本研究では,説明が生徒の学習モデルを改善する程度を測る学生-教師パラダイムを用いて,説明の価値を定式化する。 説明を評価するための従来の提案とは異なり、我々のアプローチは容易にゲーム化できず、原則付き、スケーラブルで、属性の自動評価を可能にします。
  論文  参考訳（メタデータ） (2020-12-01T23:40:21Z)
• Explainable Recommendation via Interpretable Feature Mapping and Evaluation of Explainability [22.58823484394866]
  実験結果は、推奨と説明の両方において強力なパフォーマンスを示し、メタデータの必要性を排除した。 本稿では,解釈不能な一般特徴を解釈不能な側面特徴にマッピングする新しい特徴マッピング手法を提案する。
  論文  参考訳（メタデータ） (2020-07-12T23:49:12Z)
• Evaluations and Methods for Explanation through Robustness Analysis [117.7235152610957]
  分析による特徴に基づく説明の新たな評価基準を確立する。 我々は、緩やかに必要であり、予測に十分である新しい説明を得る。 我々は、現在の予測をターゲットクラスに移動させる一連の特徴を抽出するために、説明を拡張します。
  論文  参考訳（メタデータ） (2020-05-31T05:52:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。