論文の概要: AI for human assessment: What do professional assessors need?

• arxiv url: http://arxiv.org/abs/2204.08471v1
• Date: Mon, 18 Apr 2022 03:35:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-20 14:46:28.066967
• Title: AI for human assessment: What do professional assessors need?
• Title（参考訳）: ai for human assessment: プロフェッショナルな評価者は何が必要か?
• Authors: Riku Arakawa, Hiromu Yakura
• Abstract要約: このケーススタディは、専門家が人的アセスメントにおける意思決定を支援することを目的としており、アセスメント担当者とのインタビューを行い、特定の職種に対する適性を評価する。 評価の非言語的手がかりを抽出できる計算システムは、意思決定を支援するという点で評価者にとって有益である。 本研究では,顔のキーポイント,ポーズ,頭部ポーズ,視線といったマルチモーダルな行動特徴を用いた教師なし異常検出アルゴリズムに基づくシステムを開発した。
• 参考スコア（独自算出の注目度）: 33.88509725285237
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present our case study that aims to help professional assessors make decisions in human assessment, in which they conduct interviews with assessees and evaluate their suitability for certain job roles. Our workshop with two industrial assessors revealed that a computational system that can extract nonverbal cues of assesses from interview videos would be beneficial to assessors in terms of supporting their decision making. In response, we developed such a system based on an unsupervised anomaly detection algorithm using multimodal behavioral features such as facial keypoints, pose, head pose, and gaze. Moreover, we enabled the system to output how much each feature contributed to the outlierness of the detected cues with the purpose of enhancing its interpretability. We then conducted a preliminary study to examine the validity of the system's output by using 20 actual assessment interview videos and involving the two assessors. The results suggested the advantages of using unsupervised anomaly detection in an interpretable manner by illustrating the informativeness of its outputs for assessors. Our approach, which builds on top of the idea of separation of observation and interpretation in human-AI teaming, will facilitate human decision making in highly contextual domains, such as human assessment, while keeping their trust in the system.
• Abstract（参考訳）: 本研究では,専門家が人的評価における意思決定を支援することを目的としたケーススタディを提案し,評価担当者とのインタビューを行い,特定の職種に対する適性を評価する。 2つの産業評価者によるワークショップにおいて,インタビュービデオから評価の非言語的手がかりを抽出できる計算システムは,意思決定を支援する点で評価者にとって有益であることを明らかにした。 そこで我々は,顔のキーポイント,ポーズ,頭部ポーズ,視線といったマルチモーダルな行動特徴を用いた教師なし異常検出アルゴリズムに基づくシステムを開発した。 さらに,各特徴が検出されたキューの外れ値にどの程度寄与するかを,その解釈可能性を高める目的で出力できるようにした。 そこで本研究では,20件の実際のアセスメントインタビュービデオと2件のアセスメントビデオを用いて,システムアウトプットの有効性を検討した。 その結果, 教師なし異常検出の利点は, 評価者に対するアウトプットの有意性を示すことによって, 解釈可能な方法で活用できることが示唆された。 人間-aiチームにおける観察と解釈の分離という考え方に基づくこのアプローチは、システムへの信頼を維持しつつ、ヒューマンアセスメントのような高度に文脈的なドメインにおける人間の意思決定を促進する。

関連論文リスト

• Rethinking the Evaluation of Dialogue Systems: Effects of User Feedback on Crowdworkers and LLMs [57.16442740983528]
  アドホック検索では、評価は暗黙のフィードバックを含むユーザーの行動に大きく依存する。 アノテータの会話知覚におけるターン評価におけるユーザフィードバックの役割はほとんど研究されていない。 本稿では,タスク指向対話システム(TDS)の評価が,ターンのフォローアップ発話を通じて提供されるユーザフィードバック,明示的あるいは暗黙的な評価にどのように影響するかに注目した。
  論文  参考訳（メタデータ） (2024-04-19T16:45:50Z)
• Online Decision Mediation [72.80902932543474]
  意思決定支援アシスタントを学習し、(好奇心)専門家の行動と(不完全)人間の行動の仲介役として機能することを検討する。 臨床診断では、完全に自律的な機械行動は倫理的余裕を超えることが多い。
  論文  参考訳（メタデータ） (2023-10-28T05:59:43Z)
• Evaluating General-Purpose AI with Psychometrics [43.85432514910491]
  本稿では,大規模言語モデルなどの汎用AIシステムの包括的かつ正確な評価の必要性について論じる。 現在の評価手法は、主に特定のタスクのベンチマークに基づいており、これらの汎用AIシステムを適切に評価するには不十分である。 これらの課題に対処するため,タスク指向評価から構成指向評価への移行を提案する。
  論文  参考訳（メタデータ） (2023-10-25T05:38:38Z)
• Perspectives on Large Language Models for Relevance Judgment [56.935731584323996]
  大型言語モデル(LLM)は、関連判断を支援することができると主張している。 自動判定が検索システムの評価に確実に利用できるかどうかは不明である。
  論文  参考訳（メタデータ） (2023-04-13T13:08:38Z)
• Inverse Online Learning: Understanding Non-Stationary and Reactionary Policies [79.60322329952453]
  エージェントが意思決定を行う方法の解釈可能な表現を開発する方法を示す。 一連の軌跡に基づく意思決定プロセスを理解することにより,このオンライン学習問題に対して,政策推論問題を逆問題とみなした。 本稿では、エージェントがそれらを更新するプロセスと並行して、その影響を遡及的に推定する実用的なアルゴリズムを提案する。 UNOSの臓器提供受諾決定の分析に応用することで、我々のアプローチは意思決定プロセスを管理する要因や時間とともにどのように変化するかに、貴重な洞察をもたらすことができることを実証する。
  論文  参考訳（メタデータ） (2022-03-14T17:40:42Z)
• Opportunities of a Machine Learning-based Decision Support System for Stroke Rehabilitation Assessment [64.52563354823711]
  リハビリテーションアセスメントは、患者の適切な介入を決定するために重要である。 現在の評価の実践は、主にセラピストの経験に依存しており、セラピストの可用性が限られているため、アセスメントは頻繁に実施される。 我々は、強化学習を用いて評価の健全な特徴を識別できるインテリジェントな意思決定支援システムを開発した。
  論文  参考訳（メタデータ） (2020-02-27T17:04:07Z)
• What's a Good Prediction? Challenges in evaluating an agent's knowledge [0.9281671380673306]
  一般知識の精度と有用性の矛盾を示す。 本稿では,オンライン連続学習環境において連続的に発生する代替評価手法を提案する。 本稿では,その利用による予測評価について初めて考察する。
  論文  参考訳（メタデータ） (2020-01-23T21:44:43Z)
• Proxy Tasks and Subjective Measures Can Be Misleading in Evaluating Explainable AI Systems [14.940404609343432]
  我々は、XAIシステムを評価するための2つの現在一般的な手法を評価した。 その結果,プロキシタスクによる評価は,実際の意思決定タスクによる評価結果の予測には至らなかった。 我々の研究は、誤解を招く評価手法を採用することで、人間やAI単独よりも確実にパフォーマンスを発揮できる人間とAIチームの開発に向けた進歩が、必然的に鈍化している可能性があることを示唆している。
  論文  参考訳（メタデータ） (2020-01-22T22:14:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。