論文の概要: Learning to Reject Low-Quality Explanations via User Feedback

• arxiv url: http://arxiv.org/abs/2507.12900v1
• Date: Thu, 17 Jul 2025 08:40:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-18 20:10:24.408619
• Title: Learning to Reject Low-Quality Explanations via User Feedback
• Title（参考訳）: ユーザフィードバックによる低品質な説明を拒否する学習
• Authors: Luca Stradiotti, Dario Pesenti, Stefano Teso, Jesse Davis,
• Abstract要約: ユーザ中心の低品質記述リジェクタ(ULER)を導入し,人間格付けと機能ごとの関連性判定から簡単なリジェクタを学習する。 実験の結果,ULERはLtXの戦略を拒否するために最先端の学習と説明学習の両方に優れることがわかった。
• 参考スコア（独自算出の注目度）: 19.00554619010889
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine Learning predictors are increasingly being employed in high-stakes applications such as credit scoring. Explanations help users unpack the reasons behind their predictions, but are not always "high quality''. That is, end-users may have difficulty interpreting or believing them, which can complicate trust assessment and downstream decision-making. We argue that classifiers should have the option to refuse handling inputs whose predictions cannot be explained properly and introduce a framework for learning to reject low-quality explanations (LtX) in which predictors are equipped with a rejector that evaluates the quality of explanations. In this problem setting, the key challenges are how to properly define and assess explanation quality and how to design a suitable rejector. Focusing on popular attribution techniques, we introduce ULER (User-centric Low-quality Explanation Rejector), which learns a simple rejector from human ratings and per-feature relevance judgments to mirror human judgments of explanation quality. Our experiments show that ULER outperforms both state-of-the-art and explanation-aware learning to reject strategies at LtX on eight classification and regression benchmarks and on a new human-annotated dataset, which we will publicly release to support future research.
• Abstract（参考訳）: 機械学習の予測器は、クレジットスコアリングのような高度なアプリケーションにますます採用されている。 説明は、ユーザーは予測の背後にある理由を解き放つのに役立つが、常に「高品質」であるとは限らない。 つまり、エンドユーザーは、信頼評価と下流の意思決定を複雑にしうる、それらを解釈したり、信じたりするのが難しいかもしれない。 我々は、予測が適切に説明できない入力の処理を拒否するオプションと、予測者が説明の質を評価するリジェクタを備えた低品質な説明(LtX)を拒否する学習フレームワークを導入するべきであると論じる。 この問題設定において、重要な課題は、説明品質を適切に定義し、評価する方法と、適切なリジェクタを設計する方法である。 一般的な帰属技術に着目し,人間格付けから簡単な拒絶者を学ぶULER(User-centric Low-quality Explanation Rejector)を導入する。 実験の結果、ULERは、LtXの8つの分類とレグレッションのベンチマークと、人間に注釈付けされた新しいデータセットにおいて、最先端の学習と説明学習の両方で、LtXの戦略を拒否し、将来の研究をサポートするために公開リリースする。

関連論文リスト

• Ranking Generated Answers: On the Agreement of Retrieval Models with Humans on Consumer Health Questions [25.158868133182025]
  本稿では,生成型大規模言語モデル(LLM)の出力を評価する手法を提案する。 我々は、注釈付き文書コレクションで訓練されたランキングモデルを、明示的な妥当性の代用として用いている。 ユーザ研究において,本手法は人間専門家の嗜好と相関する。
  論文  参考訳（メタデータ） (2024-08-19T09:27:45Z)
• Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
  大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。 提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
  論文  参考訳（メタデータ） (2024-06-28T20:06:30Z)
• Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
  機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。 驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。 以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2023-12-10T23:13:23Z)
• Understanding and Mitigating Classification Errors Through Interpretable Token Patterns [58.91023283103762]
  容易に解釈可能な用語でエラーを特徴付けることは、分類器が体系的なエラーを起こす傾向にあるかどうかを洞察する。 正しい予測と誤予測を区別するトークンのパターンを発見することを提案する。 提案手法であるPremiseが実際によく動作することを示す。
  論文  参考訳（メタデータ） (2023-11-18T00:24:26Z)
• XAL: EXplainable Active Learning Makes Classifiers Better Low-resource Learners [71.8257151788923]
  低リソーステキスト分類のための新しい説明可能なアクティブラーニングフレームワーク(XAL)を提案する。 XALは分類器に対して、推論を正当化し、合理的な説明ができないラベルのないデータを掘り下げることを推奨している。 6つのデータセットの実験では、XALは9つの強いベースラインに対して一貫した改善を達成している。
  論文  参考訳（メタデータ） (2023-10-09T08:07:04Z)
• How (Not) To Evaluate Explanation Quality [29.40729766120284]
  タスクやドメインにまたがって適用される説明品質の望ましい特性を定式化する。 本稿では,今日の説明品質評価を制限する障害を克服するための実用的なガイドラインを提案する。
  論文  参考訳（メタデータ） (2022-10-13T16:06:59Z)
• Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
  我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。 単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-12-17T18:29:56Z)
• Leveraging Expert Consistency to Improve Algorithmic Decision Support [62.61153549123407]
  建設のギャップを狭めるために観測結果と組み合わせることができる情報源として,歴史専門家による意思決定の利用について検討する。 本研究では,データ内の各ケースが1人の専門家によって評価された場合に,専門家の一貫性を間接的に推定する影響関数に基づく手法を提案する。 本研究は, 児童福祉領域における臨床現場でのシミュレーションと実世界データを用いて, 提案手法が構成ギャップを狭めることに成功していることを示す。
  論文  参考訳（メタデータ） (2021-01-24T05:40:29Z)
• Explaining reputation assessments [6.87724532311602]
  本稿では,定量的評価モデルによる評価の根拠を説明するためのアプローチを提案する。 提案手法は,複数属性決定モデルを用いて決定を下すための既存のアプローチを適応し,拡張し,組み合わせる。
  論文  参考訳（メタデータ） (2020-06-15T23:19:35Z)
• Evaluations and Methods for Explanation through Robustness Analysis [117.7235152610957]
  分析による特徴に基づく説明の新たな評価基準を確立する。 我々は、緩やかに必要であり、予測に十分である新しい説明を得る。 我々は、現在の予測をターゲットクラスに移動させる一連の特徴を抽出するために、説明を拡張します。
  論文  参考訳（メタデータ） (2020-05-31T05:52:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。