論文の概要: Exploring the Lands Between: A Method for Finding Differences between AI-Decisions and Human Ratings through Generated Samples
- arxiv url: http://arxiv.org/abs/2409.12801v1
- Date: Thu, 19 Sep 2024 14:14:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-07 13:23:33.522838
- Title: Exploring the Lands Between: A Method for Finding Differences between AI-Decisions and Human Ratings through Generated Samples
- Title（参考訳）: 土地を探索する:生成サンプルによるAI-決定と人間格付けの差を見つける方法
- Authors: Lukas Mecke, Daniel Buschek, Uwe Gruenefeld, Florian Alt,
- Abstract要約: 生成モデルの潜在空間におけるサンプルを見つける手法を提案する。
これらのサンプルを意思決定モデルと人間のレーダの両方に提示することにより、その決定が人間の直感と一致する領域を特定することができる。
本手法を顔認識モデルに適用し,100人の被験者から11,200人の評価データを収集する。
- 参考スコア（独自算出の注目度）: 45.209635328908746
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many important decisions in our everyday lives, such as authentication via biometric models, are made by Artificial Intelligence (AI) systems. These can be in poor alignment with human expectations, and testing them on clear-cut existing data may not be enough to uncover those cases. We propose a method to find samples in the latent space of a generative model, designed to be challenging for a decision-making model with regard to matching human expectations. By presenting those samples to both the decision-making model and human raters, we can identify areas where its decisions align with human intuition and where they contradict it. We apply this method to a face recognition model and collect a dataset of 11,200 human ratings from 100 participants. We discuss findings from our dataset and how our approach can be used to explore the performance of AI models in different contexts and for different user groups.
- Abstract（参考訳）: 生体認証モデルによる認証など、日常生活における多くの重要な決定は、人工知能(AI)システムによってなされる。
これらは人間の期待にそぐわないものでもあり、既存の明確なデータでテストしても、これらのケースを明らかにするのに十分ではないかもしれない。
そこで本研究では,人間の期待に合致する意思決定モデルにおいて,意思決定モデルに難易度の高い生成モデルの潜伏空間にサンプルを見つける手法を提案する。
これらのサンプルを意思決定モデルと人間のレーダの両方に提示することにより、決定が人間の直感と一致し、矛盾する領域を特定することができる。
本手法を顔認識モデルに適用し,100人の被験者から11,200人の評価データを収集する。
データセットから得られた知見と、異なるコンテキストと異なるユーザグループでAIモデルのパフォーマンスを調査するために、我々のアプローチをどのように利用できるかについて議論する。
関連論文リスト
- User-centric evaluation of explainability of AI with and for humans: a comprehensive empirical study [5.775094401949666]
この研究はHuman-Centered Artificial Intelligence (HCAI)にある。
一般的に使用されるeXplainable Artificial Intelligence (XAI)アルゴリズムのユーザ中心評価の結果に焦点を当てている。
論文 参考訳（メタデータ） (2024-10-21T12:32:39Z) - Evaluating Multiview Object Consistency in Humans and Image Models [68.36073530804296]
我々は、物体の形状に関するゼロショット視覚的推論を必要とする認知科学の実験的設計を活用する。
我々は500人以上の参加者から行動データの35万件の試行を収集した。
次に、一般的な視覚モデルの性能を評価する。
論文 参考訳（メタデータ） (2024-09-09T17:59:13Z) - Is my Data in your AI Model? Membership Inference Test with Application to Face Images [18.402616111394842]
この記事では、AI/MLモデルのトレーニング中に与えられたデータが使用されているかどうかを経験的に評価することを目的とした新しいアプローチである、メンバシップ推論テスト(MINT)を紹介します。
本稿では,学習過程に使用されるデータに監査モデルが露出した場合に現れるアクティベーションパターンを学習するための2つのMINTアーキテクチャを提案する。
実験は6つの公開データベースを使って行われ、合計で2200万以上の顔画像で構成されている。
論文 参考訳（メタデータ） (2024-02-14T15:09:01Z) - Human-Centric Multimodal Machine Learning: Recent Advances and Testbed
on AI-based Recruitment [66.91538273487379]
人間中心のアプローチでAIアプリケーションを開発する必要性には、ある程度のコンセンサスがある。
i)ユーティリティと社会的善、(ii)プライバシとデータ所有、(iii)透明性と説明責任、(iv)AIによる意思決定プロセスの公正性。
異種情報ソースに基づく現在のマルチモーダルアルゴリズムは、データ中の機密要素や内部バイアスによってどのように影響を受けるかを検討する。
論文 参考訳（メタデータ） (2023-02-13T16:44:44Z) - Human-AI Collaboration via Conditional Delegation: A Case Study of
Content Moderation [47.102566259034326]
我々は,人間-AI協調のための代替パラダイムとして条件付きデリゲートを提案する。
我々は、条件付きデリゲートルールの作成において、人間を支援する新しいインタフェースを開発する。
本研究は,モデル性能向上における条件付きデリゲートの実現可能性を示す。
論文 参考訳（メタデータ） (2022-04-25T17:00:02Z) - DIME: Fine-grained Interpretations of Multimodal Models via Disentangled
Local Explanations [119.1953397679783]
我々は,マルチモーダルモデルの解釈における最先端化に注力する。
提案手法であるDIMEは,マルチモーダルモデルの高精度かつきめ細かな解析を可能にする。
論文 参考訳（メタデータ） (2022-03-03T20:52:47Z) - Investigations of Performance and Bias in Human-AI Teamwork in Hiring [30.046502708053097]
AIによる意思決定では、効果的なハイブリッドチームワーク(ヒューマンAI)は、AIのパフォーマンスにのみ依存するものではない。
本研究では,モデルの予測性能とバイアスの両方が,推薦型意思決定タスクにおいてどのように人間に伝達されるかを検討する。
論文 参考訳（メタデータ） (2022-02-21T17:58:07Z) - Adversarial Sample Enhanced Domain Adaptation: A Case Study on
Predictive Modeling with Electronic Health Records [57.75125067744978]
ドメイン適応を容易にするデータ拡張手法を提案する。
逆生成したサンプルはドメイン適応時に使用される。
その結果,本手法の有効性とタスクの一般性が確認された。
論文 参考訳（メタデータ） (2021-01-13T03:20:20Z) - Model-agnostic Fits for Understanding Information Seeking Patterns in
Humans [0.0]
不確実な意思決定タスクでは、人間はそのタスクに関連する情報を探し、統合し、行動する際、特徴的なバイアスを示す。
ここでは,これらのバイアスを総合的に測定・分類した,大規模に収集した先行設計実験のデータを再検討した。
これらのバイアスを集約的に再現するディープラーニングモデルを設計し、個々の行動の変化を捉えます。
論文 参考訳（メタデータ） (2020-12-09T04:34:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。