論文の概要: How human judgment impairs automated deception detection performance
- arxiv url: http://arxiv.org/abs/2003.13316v1
- Date: Mon, 30 Mar 2020 10:06:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-18 08:22:30.512745
- Title: How human judgment impairs automated deception detection performance
- Title（参考訳）: 人間の判断が自動誤認検出性能を損なう
- Authors: Bennett Kleinberg and Bruno Verschuere
- Abstract要約: 教師付き機械学習と人間の判断を組み合わせることで、偽造検出精度が向上するかどうかを検証した。
ハイブリッドオーバールール決定による人間の関与は、精度をチャンスレベルに戻した。
人間の意思決定戦略は、真実の偏見(相手が真実を語る傾向)が有害な影響を説明できることを示唆している。
- 参考スコア（独自算出の注目度）: 0.5660207256468972
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Background: Deception detection is a prevalent problem for security
practitioners. With a need for more large-scale approaches, automated methods
using machine learning have gained traction. However, detection performance
still implies considerable error rates. Findings from other domains suggest
that hybrid human-machine integrations could offer a viable path in deception
detection tasks. Method: We collected a corpus of truthful and deceptive
answers about participants' autobiographical intentions (n=1640) and tested
whether a combination of supervised machine learning and human judgment could
improve deception detection accuracy. Human judges were presented with the
outcome of the automated credibility judgment of truthful and deceptive
statements. They could either fully overrule it (hybrid-overrule condition) or
adjust it within a given boundary (hybrid-adjust condition). Results: The data
suggest that in neither of the hybrid conditions did the human judgment add a
meaningful contribution. Machine learning in isolation identified truth-tellers
and liars with an overall accuracy of 69%. Human involvement through
hybrid-overrule decisions brought the accuracy back to the chance level. The
hybrid-adjust condition did not deception detection performance. The
decision-making strategies of humans suggest that the truth bias - the tendency
to assume the other is telling the truth - could explain the detrimental
effect. Conclusion: The current study does not support the notion that humans
can meaningfully add to the deception detection performance of a machine
learning system.
- Abstract（参考訳）: 背景: 偽造検出は、セキュリティ実践者にとって一般的な問題である。
大規模アプローチの必要性から、機械学習を使った自動化手法が注目を集めている。
しかし、検出性能は依然としてかなりのエラー率を示している。
他のドメインからの発見は、ハイブリッドな人間と機械の統合が、偽造検出タスクにおいて実行可能な経路を提供する可能性を示唆している。
方法: 被験者の自伝的意図(n=1640)に関する真理的・虚偽的回答のコーパスを収集し, 教師付き機械学習と人間の判断の組み合わせが誤読検出精度を向上させるかどうかを検証した。
人間の裁判官は、真理と偽りのステートメントの自動信頼度判定の結果を提示された。
彼らはそれを完全にオーバールールするか(ハイブリッドオーバールール条件)、与えられた境界内で調整するか(ハイブリッド調整条件)。
結果:データは、どちらのハイブリッド条件においても、人間の判断は有意義な貢献をしなかったことを示唆している。
独立した機械学習では、真実のテラーと嘘つきを69%の精度で特定した。
ハイブリッドオーバールール決定による人間の関与は、精度をチャンスレベルに戻した。
ハイブリッド調整条件は誤認検出性能を示さなかった。
人間の意思決定戦略は、真理バイアス(相手が真理を語ると仮定する傾向)が有害な効果を説明できることを示唆している。
結論: 本研究は,人間が機械学習システムの偽造検出性能に有意義に付加できるという考えを支持するものではない。
関連論文リスト
- Online Decision Mediation [72.80902932543474]
意思決定支援アシスタントを学習し、(好奇心)専門家の行動と(不完全)人間の行動の仲介役として機能することを検討する。
臨床診断では、完全に自律的な機械行動は倫理的余裕を超えることが多い。
論文 参考訳（メタデータ） (2023-10-28T05:59:43Z) - Auditing for Human Expertise [12.967730957018688]
我々は、この問題を自然仮説テストとして適用できる統計的枠組みを開発する。
本稿では,専門家の予測が興味ある結果から統計的に独立しているかどうかを判定する簡単な手順を提案する。
我々のテストの拒絶は、人間の専門家が利用可能なデータに基づいてトレーニングされたアルゴリズムに価値を付加する可能性を示唆している。
論文 参考訳（メタデータ） (2023-06-02T16:15:24Z) - Who Should Predict? Exact Algorithms For Learning to Defer to Humans [40.22768241509553]
従来の手法では,誤分類誤りの少ない人間-AIシステムを見つけることができなかった。
線形設定における問題を最適に解くことができるMILP(mixed-integer-linear-gramming)の定式化について述べる。
実現可能で,実証的にも良好に機能する新規な代理損失関数を提供する。
論文 参考訳（メタデータ） (2023-01-15T21:57:36Z) - D-BIAS: A Causality-Based Human-in-the-Loop System for Tackling
Algorithmic Bias [57.87117733071416]
D-BIASは、人間のループ内AIアプローチを具現化し、社会的バイアスを監査し軽減する視覚対話型ツールである。
ユーザは、因果ネットワークにおける不公平な因果関係を識別することにより、グループに対する偏見の存在を検出することができる。
それぞれのインタラクション、例えばバイアスのある因果縁の弱体化/削除は、新しい(偏りのある)データセットをシミュレートするために、新しい方法を用いている。
論文 参考訳（メタデータ） (2022-08-10T03:41:48Z) - Empirical Estimates on Hand Manipulation are Recoverable: A Step Towards
Individualized and Explainable Robotic Support in Everyday Activities [80.37857025201036]
ロボットシステムの鍵となる課題は、他のエージェントの振る舞いを理解することである。
正しい推論の処理は、(衝突)因子が実験的に制御されない場合、特に困難である。
人に関する観察研究を行うために必要なツールをロボットに装備することを提案する。
論文 参考訳（メタデータ） (2022-01-27T22:15:56Z) - Probabilistic Human Motion Prediction via A Bayesian Neural Network [71.16277790708529]
本稿では,人間の動作予測のための確率モデルを提案する。
我々のモデルは、観測された動きシーケンスが与えられたときに、いくつかの将来の動きを生成することができる。
我々は、大規模ベンチマークデータセットHuman3.6mに対して、我々のアプローチを広範囲に検証した。
論文 参考訳（メタデータ） (2021-07-14T09:05:33Z) - The effectiveness of feature attribution methods and its correlation
with automatic evaluation scores [19.71360639210631]
320名のレイユーザと11名のエキスパートユーザを対象とした大規模ユーザスタディを初めて実施し、最先端の属性手法の有効性を明らかにする。
全体として、機能の属性は、人間が最も近いトレーニングセットの例を示すよりも、驚くほど効果的ではないことがわかりました。
論文 参考訳（メタデータ） (2021-05-31T13:23:50Z) - On complementing end-to-end human motion predictors with planning [31.025766804649464]
人間の運動予測のための高容量エンドツーエンドアプローチは、人間の行動における微妙なニュアンスを表現する能力を持つが、分布入力やテールイベントから外れた頑健さに苦しむ。
一方、計画ベースの予測は、適切な予測を確実に出力できます。
論文 参考訳（メタデータ） (2021-03-09T19:02:45Z) - Joint Inference of States, Robot Knowledge, and Human (False-)Beliefs [90.20235972293801]
本稿では,人間(時間的)・人間(時間的)・人間(時間的)・人間(時間的)・人間(時間的)・人間(時間的)・人間(時間的)・人間(時間的)・人間(時間的)・人間(時間的)・人間(時間的)・人間(時間的)の認知能力が,ロボットとの相互作用にどのように影響するかを理解するために,対象状態,ロボット知識,人間(時間的)の認知能力の表現にグラフィカルモデルを採用することを提案する。
推論アルゴリズムは、複数のビューにまたがる全てのロボットから個別のpgを融合し、単一のビューから発生したエラーを克服するより効果的な推論能力を得る。
論文 参考訳（メタデータ） (2020-04-25T23:02:04Z) - A Case for Humans-in-the-Loop: Decisions in the Presence of Erroneous
Algorithmic Scores [85.12096045419686]
本研究では,児童虐待のホットラインスクリーニング決定を支援するアルゴリズムツールの採用について検討した。
まず、ツールがデプロイされたときに人間が行動を変えることを示します。
表示されたスコアが誤ったリスク推定である場合、人間はマシンの推奨に従わない可能性が低いことを示す。
論文 参考訳（メタデータ） (2020-02-19T07:27:32Z) - Deceptive AI Explanations: Creation and Detection [3.197020142231916]
我々は、AIモデルを用いて、偽りの説明を作成し、検出する方法について検討する。
実験的な評価として,GradCAMによるテキスト分類と説明の変更に着目した。
被験者200名を対象に, 偽装説明がユーザに与える影響について検討した。
論文 参考訳（メタデータ） (2020-01-21T16:41:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。