論文の概要: Assisting Human Decisions in Document Matching
- arxiv url: http://arxiv.org/abs/2302.08450v1
- Date: Thu, 16 Feb 2023 17:45:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-17 13:13:09.503725
- Title: Assisting Human Decisions in Document Matching
- Title（参考訳）: 文書照合における人間の判断支援
- Authors: Joon Sik Kim, Valerie Chen, Danish Pruthi, Nihar B. Shah, Ameet
Talwalkar
- Abstract要約: 我々は,意思決定者のパフォーマンスを向上する支援情報の種類を評価するためのプロキシマッチングタスクを考案した。
ブラックボックスモデルによる説明を提供することで,マッチング作業におけるユーザの精度が低下することが判明した。
一方,タスク固有のデシラタに密接に対応するように設計されたカスタムメソッドは,ユーザのパフォーマンス向上に有効であることが判明した。
- 参考スコア（独自算出の注目度）: 52.79491990823573
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Many practical applications, ranging from paper-reviewer assignment in peer
review to job-applicant matching for hiring, require human decision makers to
identify relevant matches by combining their expertise with predictions from
machine learning models. In many such model-assisted document matching tasks,
the decision makers have stressed the need for assistive information about the
model outputs (or the data) to facilitate their decisions. In this paper, we
devise a proxy matching task that allows us to evaluate which kinds of
assistive information improve decision makers' performance (in terms of
accuracy and time). Through a crowdsourced (N=271 participants) study, we find
that providing black-box model explanations reduces users' accuracy on the
matching task, contrary to the commonly-held belief that they can be helpful by
allowing better understanding of the model. On the other hand, custom methods
that are designed to closely attend to some task-specific desiderata are found
to be effective in improving user performance. Surprisingly, we also find that
the users' perceived utility of assistive information is misaligned with their
objective utility (measured through their task performance).
- Abstract（参考訳）: ピアレビューにおけるペーパーリビューアの割り当てから採用のためのジョブアプライアンスマッチングまで、多くの実践的応用では、人間の意思決定者は、専門知識と機械学習モデルからの予測を組み合わせることで、関連するマッチを特定する必要がある。
このようなモデル支援ドキュメントマッチングタスクの多くにおいて、意思決定者はモデル出力(またはデータ)に関する補助的な情報が必要であることを強調してきた。
本稿では,意思決定者の性能を(正確性と時間の観点から)向上させる支援情報の評価を可能にするプロキシマッチングタスクを考案する。
クラウドソーシング(N=271人)調査により,ブラックボックスモデルによる説明を提供することで,モデルをより理解しやすくすることで有効であるという考えとは対照的に,マッチング作業におけるユーザの精度が低下することが判明した。
一方,タスク固有のデシラタに密接に対応するように設計されたカスタムメソッドは,ユーザのパフォーマンス向上に有効であることが判明した。
また,利用者が認識した補助情報の有用性は,目的の実用性(タスク性能を通じて測定される)と不一致であることが判明した。
関連論文リスト
- Likelihood as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
言語モデルの性能の効果的な指標としての可能性を示す。
提案手法は,より優れた性能をもたらすプロンプトの選択と構築のための尺度として,疑似可能性を利用する2つの手法を提案する。
論文 参考訳（メタデータ） (2024-11-12T13:14:09Z) - Decision-Aware Predictive Model Selection for Workforce Allocation [0.27309692684728615]
本稿では、機械学習を利用して労働者の行動を予測する新しいフレームワークを提案する。
本手法では,作業者の振舞いを表現するための最適予測モデルを,その作業員の割り当て方法によって決定する。
本稿では,予測モデル選択と作業員割り当てを統合した意思決定対応最適化フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-10T13:59:43Z) - Tell Me More! Towards Implicit User Intention Understanding of Language
Model Driven Agents [110.25679611755962]
現在の言語モデル駆動エージェントは、しばしば効果的なユーザ参加のメカニズムを欠いている。
Intention-in-Interaction (IN3) は明示的なクエリを通してユーザの暗黙の意図を検査するための新しいベンチマークである。
私たちは、タスクの曖昧さを積極的に評価し、ユーザの意図を問う強力なモデルであるMistral-Interactを経験的に訓練し、それらを実行可能な目標へと洗練させます。
論文 参考訳（メタデータ） (2024-02-14T14:36:30Z) - Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。
驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。
以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
論文 参考訳（メタデータ） (2023-12-10T23:13:23Z) - Optimising Human-AI Collaboration by Learning Convincing Explanations [62.81395661556852]
本研究では,人間による意思決定によって安全を保ちながら協調的なシステムを構築する手法を提案する。
Ardentは、説明のための個人の好みに適応することで、効率的で効果的な意思決定を可能にする。
論文 参考訳（メタデータ） (2023-11-13T16:00:16Z) - Creating user stereotypes for persona development from qualitative data
through semi-automatic subspace clustering [0.0]
本稿では,ペルソナ作成プロセスの一部を自動化するために,ユーザステレオタイプをモデル化する手法を提案する。
結果は、人格設計者と人格設計者との違いが、異なる結果をもたらすことを示している。
提案アルゴリズムはパラメータ入力に基づいて同様の結果を与えるが、より厳密で最適なクラスタを見つけることができる。
論文 参考訳（メタデータ） (2023-06-26T09:49:51Z) - Designing Closed-Loop Models for Task Allocation [36.04165658325371]
我々は、ブートストラップモデルトレーニングと人間とタスクの類似性に関する弱い事前情報を利用する。
このような弱い事前の使用は、人間の意思決定者が誤りを犯したりバイアスを受けたりしても、タスク割り当て精度を向上させることができることを示す。
論文 参考訳（メタデータ） (2023-05-31T13:57:56Z) - Personalized Privacy Auditing and Optimization at Test Time [44.15285550981899]
本稿では、モデルがテスト時に正確な予測を返却するために、入力機能を必要とするかどうかを問う。
パーソナライズされた設定の下では、各個人は最終的な決定に影響を与えることなく、これらの機能の小さなサブセットだけをリリースする必要があるかもしれない。
複数の学習課題に対する評価は、個人が同じレベルの精度を確保するために、情報の10%しか報告できないことを示している。
論文 参考訳（メタデータ） (2023-01-31T20:16:59Z) - Explainable Predictive Process Monitoring: A User Evaluation [62.41400549499849]
説明責任は、ブラックボックス機械学習アプローチの透明性の欠如によって動機付けられている。
予測プロセスモニタリングのための説明手法のユーザ評価を行う。
論文 参考訳（メタデータ） (2022-02-15T22:24:21Z) - DECE: Decision Explorer with Counterfactual Explanations for Machine
Learning Models [36.50754934147469]
我々は,機械学習モデルの振る舞いを理解し,探索するために,反実的説明の可能性を利用する。
我々は、個別のインスタンスとデータサブセットに関するモデルの判断を理解し、調査するのに役立つインタラクティブな可視化システムであるDECEを設計する。
論文 参考訳（メタデータ） (2020-08-19T09:44:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。