論文の概要: On the Interaction of Belief Bias and Explanations

• arxiv url: http://arxiv.org/abs/2106.15355v1
• Date: Tue, 29 Jun 2021 12:49:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-01 00:00:37.437718
• Title: On the Interaction of Belief Bias and Explanations
• Title（参考訳）: 信念バイアスと説明の相互作用について
• Authors: Ana Valeria Gonzalez, Anna Rogers, Anders S{\o}gaard
• Abstract要約: 我々は,信念バイアスの概観,人的評価における役割,そしてNLP実践者の考え方について述べる。 本研究では,評価における信念バイアスを考慮に入れることの重要性を指摘しながら,このような制御を導入する際に,最高性能の手法に関する結論が変化することを示す。
• 参考スコア（独自算出の注目度）: 4.211128681972148
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A myriad of explainability methods have been proposed in recent years, but there is little consensus on how to evaluate them. While automatic metrics allow for quick benchmarking, it isn't clear how such metrics reflect human interaction with explanations. Human evaluation is of paramount importance, but previous protocols fail to account for belief biases affecting human performance, which may lead to misleading conclusions. We provide an overview of belief bias, its role in human evaluation, and ideas for NLP practitioners on how to account for it. For two experimental paradigms, we present a case study of gradient-based explainability introducing simple ways to account for humans' prior beliefs: models of varying quality and adversarial examples. We show that conclusions about the highest performing methods change when introducing such controls, pointing to the importance of accounting for belief bias in evaluation.
• Abstract（参考訳）: 近年,数多くの説明可能性法が提案されているが,その評価方法についてのコンセンサスはほとんどない。 自動メトリクスはクイックベンチマークを可能にするが、そのようなメトリクスが説明とのヒューマンインタラクションをどのように反映するかは明確ではない。 人間の評価は極めて重要であるが、以前のプロトコルは人間のパフォーマンスに影響する信念バイアスを考慮せず、誤解を招く結論につながる可能性がある。 我々は,信念バイアスの概観,人的評価における役割,そしてNLP実践者の考え方について概説する。 2つの実験パラダイムについて,人間の先行する信念を説明する簡単な方法を導入するグラデーションに基づく説明可能性のケーススタディを提案する。 評価における信念バイアスを考慮に入れることの重要性を指摘し,高パフォーマンス手法に関する結論が変化していることを示す。

関連論文リスト

• Decoding Susceptibility: Modeling Misbelief to Misinformation Through a Computational Approach [63.67533153887132]
  誤報に対する感受性は、観測不可能な不検証の主張に対する信念の度合いを記述している。 既存の感受性研究は、自己報告された信念に大きく依存している。 本稿では,ユーザの潜在感受性レベルをモデル化するための計算手法を提案する。
  論文  参考訳（メタデータ） (2023-11-16T07:22:56Z)
• On the Definition of Appropriate Trust and the Tools that Come with it [0.0]
  本稿は文献からの適切な信頼の定義から始まる。 定義とモデル性能評価を比較し、適切な信頼とモデル性能評価の強い類似性を示す。 本稿では,不確実性の測定方法や回帰の適切な信頼度など,ユーザパフォーマンスのさまざまな側面に対する簡易な評価手法を提案する。
  論文  参考訳（メタデータ） (2023-09-21T09:52:06Z)
• Provable Benefits of Policy Learning from Human Preferences in Contextual Bandit Problems [82.92678837778358]
  嗜好に基づく手法は、InstructGPTのような経験的応用でかなりの成功を収めている。 フィードバックモデリングにおける人間のバイアスと不確実性がこれらのアプローチの理論的保証にどのように影響するかを示す。
  論文  参考訳（メタデータ） (2023-07-24T17:50:24Z)
• Using Natural Language Explanations to Rescale Human Judgments [81.66697572357477]
  大規模言語モデル(LLM)を用いて順序付けアノテーションと説明を再スケールする手法を提案する。 我々は、アノテータのLikert評価とそれに対応する説明をLLMに入力し、スコア付けルーリックに固定された数値スコアを生成する。 提案手法は,合意に影響を及ぼさずに生の判断を再スケールし,そのスコアを同一のスコア付けルーリックに接する人間の判断に近づける。
  論文  参考訳（メタデータ） (2023-05-24T06:19:14Z)
• Systematic Evaluation of Predictive Fairness [60.0947291284978]
  バイアス付きデータセットのトレーニングにおけるバイアスの緩和は、重要なオープンな問題である。 複数のタスクにまたがる様々なデバイアス化手法の性能について検討する。 データ条件が相対モデルの性能に強い影響を与えることがわかった。
  論文  参考訳（メタデータ） (2022-10-17T05:40:13Z)
• Counterfactually Evaluating Explanations in Recommender Systems [14.938252589829673]
  人間の関与なしに計算できるオフライン評価手法を提案する。 従来の手法と比較して,本手法は実際の人間の判断とより相関した評価スコアを得られることを示す。
  論文  参考訳（メタデータ） (2022-03-02T18:55:29Z)
• Empirical Estimates on Hand Manipulation are Recoverable: A Step Towards Individualized and Explainable Robotic Support in Everyday Activities [80.37857025201036]
  ロボットシステムの鍵となる課題は、他のエージェントの振る舞いを理解することである。 正しい推論の処理は、(衝突)因子が実験的に制御されない場合、特に困難である。 人に関する観察研究を行うために必要なツールをロボットに装備することを提案する。
  論文  参考訳（メタデータ） (2022-01-27T22:15:56Z)
• What I Cannot Predict, I Do Not Understand: A Human-Centered Evaluation Framework for Explainability Methods [6.232071870655069]
  本研究では,実世界のシナリオにおける個人帰属手法の実践的有用性について,説明可能性手法の評価に使用する理論的尺度が不十分であることを示す。 この結果から,より優れた説明可能性手法を開発し,人間中心評価手法を展開させる上で重要な必要性が示唆された。
  論文  参考訳（メタデータ） (2021-12-06T18:36:09Z)
• On Quantitative Evaluations of Counterfactuals [88.42660013773647]
  本稿では、分析と実験を通じて、視覚的対実例の評価に関する研究を集約する。 ほとんどのメトリクスは、十分な単純なデータセットを意図して振る舞うが、複雑さが増加すると、良い結果と悪い結果の違いを判断できないものもいる。 私たちはラベル変動スコアとOracleスコアという2つの新しい指標を提案しています。
  論文  参考訳（メタデータ） (2021-10-30T05:00:36Z)
• Counterfactual Evaluation for Explainable AI [21.055319253405603]
  そこで本稿では, 文献的推論の観点から, 説明の忠実さを評価する新しい手法を提案する。 離散シナリオと連続シナリオの両方において適切な反事実を見つけるために2つのアルゴリズムを導入し、取得した反事実を用いて忠実度を測定する。
  論文  参考訳（メタデータ） (2021-09-05T01:38:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。