論文の概要: Creating Healthy Friction: Determining Stakeholder Requirements of Job Recommendation Explanations
- arxiv url: http://arxiv.org/abs/2409.15971v1
- Date: Tue, 24 Sep 2024 11:03:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-26 07:51:56.971066
- Title: Creating Healthy Friction: Determining Stakeholder Requirements of Job Recommendation Explanations
- Title（参考訳）: 健康摩擦の創出:雇用推薦説明書における株主要求の決定
- Authors: Roan Schellingerhout, Francesco Barile, Nava Tintarev,
- Abstract要約: 本研究では,現実的なタスクベースの複合設計ユーザスタディを用いて,説明可能なジョブレコメンデーションシステムの評価を行う。
実際の説明を利害関係者に提供することは意思決定のスピードと正確さを著しく向上させるものではない。
- 参考スコア（独自算出の注目度）: 2.373992571236766
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The increased use of information retrieval in recruitment, primarily through job recommender systems (JRSs), can have a large impact on job seekers, recruiters, and companies. As a result, such systems have been determined to be high-risk in recent legislature. This requires JRSs to be trustworthy and transparent, allowing stakeholders to understand why specific recommendations were made. To fulfill this requirement, the stakeholders' exact preferences and needs need to be determined. To do so, we evaluated an explainable job recommender system using a realistic, task-based, mixed-design user study (n=30) in which stakeholders had to make decisions based on the model's explanations. This mixed-methods evaluation consisted of two objective metrics - correctness and efficiency, along with three subjective metrics - trust, transparency, and usefulness. These metrics were evaluated twice per participant, once using real explanations and once using random explanations. The study included a qualitative analysis following a think-aloud protocol while performing tasks adapted to each stakeholder group. We find that providing stakeholders with real explanations does not significantly improve decision-making speed and accuracy. Our results showed a non-significant trend for the real explanations to outperform the random ones on perceived trust, usefulness, and transparency of the system for all stakeholder types. We determine that stakeholders benefit more from interacting with explanations as decision support capable of providing healthy friction, rather than as previously-assumed persuasive tools.
- Abstract（参考訳）: 求人システム(JRS)を通じた求人情報検索の普及は、求人者、求人者、企業に大きな影響を与える可能性がある。
その結果、近年の議会ではこのような制度はリスクが高いと判断されている。
これにより、JRSは信頼性が高く透明で、ステークホルダーが特別なレコメンデーションが行われた理由を理解する必要がある。
この要件を満たすには、ステークホルダーの正確な好みとニーズを決定する必要があります。
そこで本研究では,現実的でタスクベースで複合設計のユーザスタディ(n=30)を用いて,モデルの説明に基づいて意思決定を行う,説明可能なジョブレコメンデータシステムを評価した。
この混合メソッド評価は、正確性と効率の2つの客観的指標と、信頼、透明性、有用性の3つの主観的な指標で構成された。
これらの指標は参加者毎に2回評価され、1回は実説明、もう1回はランダム説明を用いて評価された。
この研究は、各利害関係者グループに適応したタスクを実行しながら、シンク・アラウド・プロトコルに従って定性的な分析を含む。
実際の説明を利害関係者に提供することは意思決定のスピードと正確さを著しく向上させるものではない。
その結果,全ての利害関係者に対するシステムの信頼,有用性,透明性について,無作為な説明が無作為な説明に勝る傾向がみられた。
ステークホルダーは、これまで想定されていた説得ツールではなく、健全な摩擦を提供するための意思決定支援として説明と対話することで、より多くの利益を享受できると判断する。
関連論文リスト
- Understanding Fairness in Recommender Systems: A Healthcare Perspective [0.18416014644193066]
本稿では,医療レコメンデーションにおける公正に対する一般の理解について考察する。
参加者は4つのフェアネス指標から選択した。
その結果, 公平性に対する一大アプローチが不十分である可能性が示唆された。
論文 参考訳（メタデータ） (2024-09-05T19:59:42Z) - Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。
提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
論文 参考訳（メタデータ） (2024-06-28T20:06:30Z) - Rethinking the Evaluation of Dialogue Systems: Effects of User Feedback on Crowdworkers and LLMs [57.16442740983528]
アドホック検索では、評価は暗黙のフィードバックを含むユーザーの行動に大きく依存する。
アノテータの会話知覚におけるターン評価におけるユーザフィードバックの役割はほとんど研究されていない。
本稿では,タスク指向対話システム(TDS)の評価が,ターンのフォローアップ発話を通じて提供されるユーザフィードバック,明示的あるいは暗黙的な評価にどのように影響するかに注目した。
論文 参考訳（メタデータ） (2024-04-19T16:45:50Z) - Clarify When Necessary: Resolving Ambiguity Through Interaction with LMs [58.620269228776294]
そこで本稿では,ユーザに対して,あいまいさを解消するためのタスク非依存のフレームワークを提案する。
我々は3つのNLPアプリケーション(質問応答、機械翻訳、自然言語推論)にまたがるシステムを評価する。
インテントシムは堅牢であり、幅広いNLPタスクやLMの改善を実証している。
論文 参考訳（メタデータ） (2023-11-16T00:18:50Z) - Interactive Explanation with Varying Level of Details in an Explainable
Scientific Literature Recommender System [0.5937476291232802]
本稿では,ユーザ中心の対話型説明モデルの採用を目標とし,さまざまな詳細レベルの説明を提供するとともに,ユーザのニーズや好みに基づいた説明の対話,制御,パーソナライズを可能にする。
本研究では,対話的説明の提供がユーザによる説明可能なRSの知覚に与える影響について質的研究を行った。
論文 参考訳（メタデータ） (2023-06-09T10:48:04Z) - A Survey on Fairness-aware Recommender Systems [59.23208133653637]
本稿では,様々なレコメンデーションシナリオにおいてフェアネスの概念を提示し,現在の進歩を包括的に分類し,レコメンデーションシステムのさまざまな段階におけるフェアネスを促進するための典型的な手法を紹介する。
次に、フェアネスを意識したレコメンデーションシステムが実業界における産業応用に与える影響について検討する。
論文 参考訳（メタデータ） (2023-06-01T07:08:22Z) - Justification vs. Transparency: Why and How Visual Explanations in a
Scientific Literature Recommender System [0.0]
我々は,「なぜ」と「どのように説明しやすさのタイプ」と「正当化」と「透明性」の「説明目標」の関係を識別する。
本研究は,説明の難易度の種類の選択が,説明の目的とユーザタイプに依存することを示す。
論文 参考訳（メタデータ） (2023-05-26T15:40:46Z) - Assisting Human Decisions in Document Matching [52.79491990823573]
我々は,意思決定者のパフォーマンスを向上する支援情報の種類を評価するためのプロキシマッチングタスクを考案した。
ブラックボックスモデルによる説明を提供することで,マッチング作業におけるユーザの精度が低下することが判明した。
一方,タスク固有のデシラタに密接に対応するように設計されたカスタムメソッドは,ユーザのパフォーマンス向上に有効であることが判明した。
論文 参考訳（メタデータ） (2023-02-16T17:45:20Z) - "There Is Not Enough Information": On the Effects of Explanations on
Perceptions of Informational Fairness and Trustworthiness in Automated
Decision-Making [0.0]
自動意思決定システム(ADS)は、連続的な意思決定にますます利用されている。
我々は,情報の公平さに対する人々の認識を評価するために,人間による研究を行う。
定性的フィードバックの包括的分析は、説明のために人々のデシラタに光を当てる。
論文 参考訳（メタデータ） (2022-05-11T20:06:03Z) - Fairness and Transparency in Recommendation: The Users' Perspective [14.830700792215849]
公平性認識型レコメンダーシステムのユーザ視点について考察する。
フェアネス対応レコメンダーシステムのユーザ理解と信頼を向上させる3つの機能を提案します。
論文 参考訳（メタデータ） (2021-03-16T00:42:09Z) - Uncertainty as a Form of Transparency: Measuring, Communicating, and
Using Uncertainty [66.17147341354577]
我々は,モデル予測に関連する不確実性を推定し,伝達することにより,相補的な透明性の形式を考えることについて議論する。
モデルの不公平性を緩和し、意思決定を強化し、信頼できるシステムを構築するために不確実性がどのように使われるかを説明する。
この研究は、機械学習、可視化/HCI、デザイン、意思決定、公平性にまたがる文学から引き出された学際的レビューを構成する。
論文 参考訳（メタデータ） (2020-11-15T17:26:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。