論文の概要: Task load dependent decision referrals for joint binary classification in human-automation teams

• arxiv url: http://arxiv.org/abs/2504.04248v1
• Date: Sat, 05 Apr 2025 19:09:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-16 04:58:00.780379
• Title: Task load dependent decision referrals for joint binary classification in human-automation teams
• Title（参考訳）: ヒューマン・オートメーション・チームにおける共同二分分類のためのタスク負荷依存決定基準
• Authors: Kesav Kaza, Jerome Le Ny, Aditya Mahajan,
• Abstract要約: 本稿では,バイナリ分類タスクを行う人間自動チームにおける最適意思決定基準の問題について考察する。 我々は、参照のためのタスクの最適セットを決定するためのランキングスキームとポリシーを提供する。 その結果、ブラインドポリシーよりも最適な参照ポリシーを提案する場合、統計的に有意な利得が得られた。
• 参考スコア（独自算出の注目度）: 5.004501184476518
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider the problem of optimal decision referrals in human-automation teams performing binary classification tasks. The automation, which includes a pre-trained classifier, observes data for a batch of independent tasks, analyzes them, and may refer a subset of tasks to a human operator for fresh and final analysis. Our key modeling assumption is that human performance degrades with task load. We model the problem of choosing which tasks to refer as a stochastic optimization problem and show that, for a given task load, it is optimal to myopically refer tasks that yield the largest reduction in expected cost, conditional on the observed data. This provides a ranking scheme and a policy to determine the optimal set of tasks for referral. We evaluate this policy against a baseline through an experimental study with human participants. Using a radar screen simulator, participants made binary target classification decisions under time constraint. They were guided by a decision rule provided to them, but were still prone to errors under time pressure. An initial experiment estimated human performance model parameters, while a second experiment compared two referral policies. Results show statistically significant gains for the proposed optimal referral policy over a blind policy that determines referrals using the automation and human-performance models but not based on the observed data.
• Abstract（参考訳）: 本稿では,バイナリ分類タスクを行う人間自動チームにおける最適意思決定基準の問題について考察する。 事前訓練された分類器を含む自動化は、独立したタスクのバッチのデータを観察し、それらを分析し、タスクのサブセットを人間のオペレータに参照して、新鮮で最終的な分析を行う。 私たちの重要なモデリングの前提は、ヒューマンパフォーマンスがタスク負荷で劣化するというものです。 確率的最適化問題としてどのタスクを選択するかという問題をモデル化し、与えられたタスクの負荷に対して、観測データに基づいて、期待される最大のコスト削減をもたらすタスクをミオプティックに参照することが最適であることを示す。 これは、参照のためのタスクの最適セットを決定するためのランキングスキームとポリシーを提供する。 我々は,この方針を,ヒトの被験者による実験的研究を通じて評価した。 レーダスクリーンシミュレーターを用いて、参加者は時間制約の下でバイナリターゲットの分類決定を行った。 彼らは彼らに与えられた決定規則によって導かれたが、それでも時間的プレッシャーの下でエラーを起こす傾向があった。 最初の実験では、人間のパフォーマンスモデルパラメータを推定し、第2の実験では、2つの基準ポリシーを比較した。 その結果,自動化モデルと人為的性能モデルを用いて参照を判定するブラインドポリシーに対する最適参照ポリシーの統計的に有意な利得が得られたが,観測データには基づかなかった。

関連論文リスト

• Maximizing Signal in Human-Model Preference Alignment [0.0]
  本稿では、エンドユーザーがMLモデルによる決定に同意する必要がある場合、モデルが好みを表すデータに基づいて訓練され、評価されるべきである、と論じる。 評価手法のベストプラクティスに固執することで,ラベル付け不一致のノイズを最小限に抑えることができることを示す。
  論文  参考訳（メタデータ） (2025-03-06T19:10:57Z)
• CritiQ: Mining Data Quality Criteria from Human Preferences [70.35346554179036]
  人間の嗜好からデータ品質の基準を自動的にマイニングする新しいデータ選択手法であるCritiQを紹介する。 CritiQ Flowはマネージャエージェントを使用して品質基準を進化させ、ワーカーエージェントはペアで判断する。 コード,数学,論理領域において,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2025-02-26T16:33:41Z)
• SureMap: Simultaneous Mean Estimation for Single-Task and Multi-Task Disaggregated Evaluation [75.56845750400116]
  分散評価(disaggregated evaluation) -- 異なるサブポピュレーション上での機械学習モデルのパフォーマンスの推定 - は、AIシステムのパフォーマンスとグループフェアネスを評価する上で、中核的なタスクである。 ブラックボックスモデルの評価において,マルチタスクとシングルタスクの双方に対して高い推定精度を持つSureMapを開発した。 提案手法は, ウェル・チョーゼンを用いた最大後部推定と, スタインの非バイアスリスク推定(SURE)によるクロスバリデーションフリーチューニングを併用する。
  論文  参考訳（メタデータ） (2024-11-14T17:53:35Z)
• Towards Objective and Unbiased Decision Assessments with LLM-Enhanced Hierarchical Attention Networks [6.520709313101523]
  本研究では,人的専門家による高い意思決定過程における認知バイアスの識別について検討する。 人間の判断を超越したバイアス対応AI拡張ワークフローを提案する。 実験では,提案モデルとエージェントワークフローの両方が,人間の判断と代替モデルの両方において有意に改善されている。
  論文  参考訳（メタデータ） (2024-11-13T10:42:11Z)
• Self-Training with Pseudo-Label Scorer for Aspect Sentiment Quad Prediction [54.23208041792073]
  Aspect Sentiment Quad Prediction (ASQP) は、与えられたレビューに対して全てのクワッド(アスペクト項、アスペクトカテゴリー、意見項、感情極性)を予測することを目的としている。 ASQPタスクにおける重要な課題はラベル付きデータの不足であり、既存のメソッドのパフォーマンスを制限している。 そこで我々は,擬似ラベルスコアラーを用いた自己学習フレームワークを提案し,レビューと擬似ラベルの一致をスコアラーが評価する。
  論文  参考訳（メタデータ） (2024-06-26T05:30:21Z)
• Automated Off-Policy Estimator Selection via Supervised Learning [7.476028372444458]
  オフ・ポリティ・アセスメント(OPE)問題(Off-Policy Evaluation)は、相手が収集したデータを用いて、対実的なポリシーの性能を評価することである。 OPEの問題を解決するために,我々は,ロギングポリシに代えて配置された場合の対策策が持つパフォーマンスを,最も正確な方法で推定することを目的とした推定器を利用する。 教師付き学習に基づく自動データ駆動型OPE推定器選択法を提案する。
  論文  参考訳（メタデータ） (2024-06-26T02:34:48Z)
• Online Decision Mediation [72.80902932543474]
  意思決定支援アシスタントを学習し、(好奇心)専門家の行動と(不完全)人間の行動の仲介役として機能することを検討する。 臨床診断では、完全に自律的な機械行動は倫理的余裕を超えることが多い。
  論文  参考訳（メタデータ） (2023-10-28T05:59:43Z)
• How to Estimate Model Transferability of Pre-Trained Speech Models? [84.11085139766108]
  事前学習音声モデルの伝達可能性推定のためのスコアベースアセスメントフレームワーク ベイズ確率推定と最適輸送という2つの表現理論を利用して、PSM候補のランクスコアを生成する。 本フレームワークは,候補モデルやレイヤを実際に微調整することなく,転送可能性スコアを効率的に計算する。
  論文  参考訳（メタデータ） (2023-06-01T04:52:26Z)
• Designing Closed-Loop Models for Task Allocation [36.04165658325371]
  我々は、ブートストラップモデルトレーニングと人間とタスクの類似性に関する弱い事前情報を利用する。 このような弱い事前の使用は、人間の意思決定者が誤りを犯したりバイアスを受けたりしても、タスク割り当て精度を向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-05-31T13:57:56Z)
• Investigations of Performance and Bias in Human-AI Teamwork in Hiring [30.046502708053097]
  AIによる意思決定では、効果的なハイブリッドチームワーク(ヒューマンAI)は、AIのパフォーマンスにのみ依存するものではない。 本研究では,モデルの予測性能とバイアスの両方が,推薦型意思決定タスクにおいてどのように人間に伝達されるかを検討する。
  論文  参考訳（メタデータ） (2022-02-21T17:58:07Z)
• Learning MDPs from Features: Predict-Then-Optimize for Sequential Decision Problems by Reinforcement Learning [52.74071439183113]
  我々は、強化学習を通して解決された逐次決定問題(MDP)の文脈における予測列最適化フレームワークについて検討した。 2つの重要な計算課題は、意思決定中心の学習をMDPに適用することである。
  論文  参考訳（メタデータ） (2021-06-06T23:53:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。