論文の概要: Explaining reputation assessments
- arxiv url: http://arxiv.org/abs/2006.08818v1
- Date: Mon, 15 Jun 2020 23:19:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-21 04:55:53.490705
- Title: Explaining reputation assessments
- Title(参考訳): 評判評価の解説
- Authors: Ingrid Nunes, Phillip Taylor, Lina Barakat, Nathan Griffiths, Simon
Miles
- Abstract要約: 本稿では,定量的評価モデルによる評価の根拠を説明するためのアプローチを提案する。
提案手法は,複数属性決定モデルを用いて決定を下すための既存のアプローチを適応し,拡張し,組み合わせる。
- 参考スコア(独自算出の注目度): 6.87724532311602
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reputation is crucial to enabling human or software agents to select among
alternative providers. Although several effective reputation assessment methods
exist, they typically distil reputation into a numerical representation, with
no accompanying explanation of the rationale behind the assessment. Such
explanations would allow users or clients to make a richer assessment of
providers, and tailor selection according to their preferences and current
context. In this paper, we propose an approach to explain the rationale behind
assessments from quantitative reputation models, by generating arguments that
are combined to form explanations. Our approach adapts, extends and combines
existing approaches for explaining decisions made using multi-attribute
decision models in the context of reputation. We present example argument
templates, and describe how to select their parameters using explanation
algorithms. Our proposal was evaluated by means of a user study, which followed
an existing protocol. Our results give evidence that although explanations
present a subset of the information of trust scores, they are sufficient to
equally evaluate providers recommended based on their trust score. Moreover,
when explanation arguments reveal implicit model information, they are less
persuasive than scores.
- Abstract(参考訳): 評価は、人間またはソフトウェアエージェントが代替プロバイダの中から選択できるようにするのに不可欠である。
いくつかの効果的な評価方法が存在するが、通常は評価の背後にある根拠の説明を伴わず、評価を数値的な表現に分解する。
このような説明により、ユーザやクライアントはプロバイダをよりリッチに評価でき、好みや現在の状況に応じて選択を調整できる。
本稿では,定量的評価モデルから評価の背後にある理論的根拠を説明するための手法を提案する。
我々のアプローチは、評価の文脈において、複数の属性決定モデルを用いた決定を説明する既存のアプローチを適応し、拡張し、結合する。
本稿では,引数テンプレートの例を示し,そのパラメータを説明アルゴリズムを用いて選択する方法を説明する。
本提案は,既存のプロトコルに準拠したユーザ調査によって評価された。
以上の結果から,信頼スコアの情報のサブセットは説明されているものの,信頼スコアに基づいて推奨するプロバイダを等しく評価する上で十分であることを示す。
さらに、説明論が暗黙的なモデル情報を明らかにする場合、スコアよりも説得力が少ない。
関連論文リスト
- Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。
驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。
以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
論文 参考訳(メタデータ) (2023-12-10T23:13:23Z) - Pachinko: Patching Interpretable QA Models through Natural Language
Feedback [58.42753581189251]
我々は,QAモデルが生成した有理性の効果を分析し,その答えを支持する。
これらの有理性の様々な形式を、関心の明確な性質によって異なるものとみなす。
評定に影響を及ぼすことに加えて、一部のフォーマットは、ユーザーが報告したモデル出力の理解と信頼を著しく向上させる。
論文 参考訳(メタデータ) (2023-11-16T04:26:32Z) - SocREval: Large Language Models with the Socratic Method for
Reference-Free Reasoning Evaluation [87.92401904152179]
既存の基準に基づく評価指標は、モデル由来の連鎖を評価するために人間の注釈付き推論チェーンに依存している。
我々は,人為的参照の必要性を回避し,推論チェーンの品質を自動評価するGPT-4を提案する。
SocREval は GPT-4 の性能を大幅に改善し,既存の参照フリーおよび参照ベース推論評価指標を抜いた。
論文 参考訳(メタデータ) (2023-09-29T18:25:46Z) - Using Natural Language Explanations to Rescale Human Judgments [89.21530406247142]
大規模言語モデル(LLM)を用いて順序付けアノテーションと説明を再スケールする手法を提案する。
我々は、アノテータのLikert評価とそれに対応する説明をLLMに入力し、スコア付けルーリックに固定された数値スコアを生成する。
提案手法は,合意に影響を及ぼさずに生の判断を再スケールし,そのスコアを同一のスコア付けルーリックに接する人間の判断に近づける。
論文 参考訳(メタデータ) (2023-05-24T06:19:14Z) - Graph-based Extractive Explainer for Recommendations [38.278148661173525]
ユーザ,項目,属性,文をシームレスに統合し,抽出に基づく説明を行うグラフ注意型ニューラルネットワークモデルを開発した。
個々の文の関連性, 属性カバレッジ, 内容冗長性のバランスをとるために, 整数線形プログラミング問題を解くことにより, 文の最終的な選択を行う。
論文 参考訳(メタデータ) (2022-02-20T04:56:10Z) - From Intrinsic to Counterfactual: On the Explainability of
Contextualized Recommender Systems [43.93801836660617]
本研究では、コンテキスト的特徴(例えば、ユーザからの項目レビュー)を活用することで、一連の説明可能なレコメンデータシステムを設計できることを示す。
モデルの透明性を段階的に変化させる3つの方法として,ホワイトボックス,グレーボックス,ブラックボックスの3種類を提案する。
我々のモデルは高い競争力のあるランキング性能を達成し、多数の量的指標と定性的な視覚化の観点から正確かつ効果的な説明を生成する。
論文 参考訳(メタデータ) (2021-10-28T01:54:04Z) - Counterfactual Explainable Recommendation [22.590877963169103]
本稿では、因果推論から反実的推論の洞察を取り入れて説明可能な推薦を行うCountERを提案する。
CountERは、モデル決定に対して単純(低複雑性)で効果的な(高強度)説明を求める。
以上の結果から,我々のモデルは,最先端のレコメンデーションモデルよりも正確かつ効果的に説明できることを示す。
論文 参考訳(メタデータ) (2021-08-24T06:37:57Z) - On the Objective Evaluation of Post Hoc Explainers [10.981508361941335]
機械学習研究の最近の傾向は、それらがブラックボックスであると考えられる程度に、ますます複雑化しているアルゴリズムにつながっている。
意思決定の不透明度を低減するため、そのようなモデルの内部動作を人間に理解可能な方法で解釈する手法が提案されている。
本稿では,モデルの加法構造から直接導出される地底真理に基づくポストホック説明器の評価のための枠組みを提案する。
論文 参考訳(メタデータ) (2021-06-15T19:06:51Z) - Human Evaluation of Spoken vs. Visual Explanations for Open-Domain QA [22.76153284711981]
本研究は,ODQAシステムの回答をいつ受理するか,拒否するかをユーザが正確に判断するのに役立つかを検討する。
その結果,得られたエビデンスパスから得られた説明は,モダリティ間で強いベースライン(校正信頼度)を上回る可能性が示唆された。
我々は,現在の説明に共通する障害事例を示し,説明のエンドツーエンド評価を強調し,デプロイと異なるプロキシモダリティで評価することを警告する。
論文 参考訳(メタデータ) (2020-12-30T08:19:02Z) - Toward Scalable and Unified Example-based Explanation and Outlier
Detection [128.23117182137418]
我々は,試行錯誤の予測に例ベースの説明を与えることのできる,プロトタイプベースの学生ネットワークのより広範な採用を論じる。
類似カーネル以外のプロトタイプベースのネットワークは,分類精度を損なうことなく,有意義な説明と有望な外乱検出結果が得られることを示す。
論文 参考訳(メタデータ) (2020-11-11T05:58:17Z) - Evaluations and Methods for Explanation through Robustness Analysis [117.7235152610957]
分析による特徴に基づく説明の新たな評価基準を確立する。
我々は、緩やかに必要であり、予測に十分である新しい説明を得る。
我々は、現在の予測をターゲットクラスに移動させる一連の特徴を抽出するために、説明を拡張します。
論文 参考訳(メタデータ) (2020-05-31T05:52:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。