論文の概要: Human Uncertainty in Concept-Based AI Systems

• arxiv url: http://arxiv.org/abs/2303.12872v1
• Date: Wed, 22 Mar 2023 19:17:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-24 16:37:51.418487
• Title: Human Uncertainty in Concept-Based AI Systems
• Title（参考訳）: 概念ベースAIシステムにおける人間の不確実性
• Authors: Katherine M. Collins, Matthew Barker, Mateo Espinosa Zarlenga, Naveen Raman, Umang Bhatt, Mateja Jamnik, Ilia Sucholutsky, Adrian Weller, Krishnamurthy Dvijotham
• Abstract要約: 概念に基づくAIシステムのコンテキストにおける人間の不確実性について検討する。 不確実な概念ラベルによるトレーニングは、概念ベースシステムにおける弱点を軽減するのに役立つ可能性がある。
• 参考スコア（独自算出の注目度）: 37.82747673914624
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Placing a human in the loop may abate the risks of deploying AI systems in safety-critical settings (e.g., a clinician working with a medical AI system). However, mitigating risks arising from human error and uncertainty within such human-AI interactions is an important and understudied issue. In this work, we study human uncertainty in the context of concept-based models, a family of AI systems that enable human feedback via concept interventions where an expert intervenes on human-interpretable concepts relevant to the task. Prior work in this space often assumes that humans are oracles who are always certain and correct. Yet, real-world decision-making by humans is prone to occasional mistakes and uncertainty. We study how existing concept-based models deal with uncertain interventions from humans using two novel datasets: UMNIST, a visual dataset with controlled simulated uncertainty based on the MNIST dataset, and CUB-S, a relabeling of the popular CUB concept dataset with rich, densely-annotated soft labels from humans. We show that training with uncertain concept labels may help mitigate weaknesses of concept-based systems when handling uncertain interventions. These results allow us to identify several open challenges, which we argue can be tackled through future multidisciplinary research on building interactive uncertainty-aware systems. To facilitate further research, we release a new elicitation platform, UElic, to collect uncertain feedback from humans in collaborative prediction tasks.
• Abstract（参考訳）: ループに人間を配置することは、安全クリティカルな設定(例えば、医療AIシステムを扱う臨床医)でAIシステムをデプロイするリスクを緩和する可能性がある。 しかしながら、このような人間とAIの相互作用におけるヒューマンエラーや不確実性から生じるリスクを軽減することは重要かつ未検討の問題である。 本研究では、専門家がタスクに関連する人間解釈可能な概念に介入するコンセプト介入を通じて人間のフィードバックを可能にするAIシステムのファミリーである概念ベースモデルの文脈における人間の不確実性を研究する。 この分野での先行研究は、人間が常に確実で正しいオラクルであると仮定することが多い。 しかし、人間による現実世界の意思決定は、しばしばミスや不確実性をもたらす。 既存の概念ベースモデルは、MNISTデータセットに基づいて制御された模擬不確実性を持つ視覚的データセットであるUMNISTと、人間からのリッチで濃密に注釈付けされたソフトラベルを持つ人気のCUBコンセプトデータセットであるCUB-Sの2つの新しいデータセットを用いて、人間の不確実性に対する対処方法を検討する。 不確定な概念ラベルを持つトレーニングは、不確定な介入を扱う際に概念ベースのシステムの弱点を和らげる可能性がある。 これらの結果から,対話型不確実性認識システム構築に関する今後の多分野研究を通じて解決可能な,いくつかのオープン課題を明らかにすることができる。 さらなる研究を容易にするために,人間からの不確定なフィードバックを協調的な予測タスクで収集する,新たなelicitation platformであるuelicをリリースする。

関連論文リスト

• Imagining and building wise machines: The centrality of AI metacognition [78.76893632793497]
  AIシステムは知恵を欠いている。 AI研究はタスクレベルの戦略に焦点を当てているが、メタ認知はAIシステムでは未発達である。 メタ認知機能をAIシステムに統合することは、その堅牢性、説明可能性、協力性、安全性を高めるために不可欠である。
  論文  参考訳（メタデータ） (2024-11-04T18:10:10Z)
• Human-Modeling in Sequential Decision-Making: An Analysis through the Lens of Human-Aware AI [20.21053807133341]
  私たちは、人間を意識したAIシステムを構成するものの説明を提供しようとしています。 人間を意識したAIはデザイン指向のパラダイムであり、人間と対話するかもしれないモデリングの必要性に焦点を当てている。
  論文  参考訳（メタデータ） (2024-05-13T14:17:52Z)
• Closely Interactive Human Reconstruction with Proxemics and Physics-Guided Adaption [64.07607726562841]
  既存の人間再建アプローチは主に、正確なポーズの回復や侵入を避けることに焦点を当てている。 本研究では,モノクロ映像から密に対話的な人間を再構築する作業に取り組む。 本稿では,視覚情報の欠如を補うために,確率的行動や物理からの知識を活用することを提案する。
  論文  参考訳（メタデータ） (2024-04-17T11:55:45Z)
• Enabling High-Level Machine Reasoning with Cognitive Neuro-Symbolic Systems [67.01132165581667]
  本稿では,認知アーキテクチャを外部のニューロシンボリックコンポーネントと統合することにより,AIシステムにおける高レベル推論を実現することを提案する。 本稿では,ACT-Rを中心としたハイブリッドフレームワークについて紹介し,最近の応用における生成モデルの役割について論じる。
  論文  参考訳（メタデータ） (2023-11-13T21:20:17Z)
• Intent-aligned AI systems deplete human agency: the need for agency foundations research in AI safety [2.3572498744567127]
  人間の意図の一致は、安全なAIシステムには不十分である、と我々は主張する。 我々は、人類の長期的機関の保存がより堅牢な標準であると論じている。
  論文  参考訳（メタデータ） (2023-05-30T17:14:01Z)
• Deep Interpretable Models of Theory of Mind For Human-Agent Teaming [0.7734726150561086]
  我々は、他の観測対象の意図をモデル化するための解釈可能なモジュラー・ニューラル・フレームワークを開発する。 Minecraftの検索および救助タスクで、人間の参加者のデータに関する実験を行い、アプローチの有効性を実証します。
  論文  参考訳（メタデータ） (2021-04-07T06:18:58Z)
• Adversarial Interaction Attack: Fooling AI to Misinterpret Human Intentions [46.87576410532481]
  現在の大きな成功にもかかわらず、ディープラーニングベースのAIシステムは、微妙な敵対的ノイズによって容易に騙されることを示した。 骨格に基づくヒトの相互作用のケーススタディに基づき、相互作用に対する新しい敵対的攻撃を提案する。 本研究では、安全クリティカルなアプリケーションにAIシステムをデプロイする際に慎重に対処する必要があるAIと人間との相互作用ループにおける潜在的なリスクを強調します。
  論文  参考訳（メタデータ） (2021-01-17T16:23:20Z)
• Modelos din\^amicos aplicados \`a aprendizagem de valores em intelig\^encia artificial [0.0]
  この地域の数人の研究者が、人間と環境の保存のための堅牢で有益な、安全なAIの概念を開発した。 人工知能エージェントが人間の価値観に合わせた価値を持っていることは、最も重要である。 おそらくこの難しさは、認知的手法を使って価値を表現するという問題に対処する方法から来ています。
  論文  参考訳（メタデータ） (2020-07-30T00:56:11Z)
• An Uncertainty-based Human-in-the-loop System for Industrial Tool Wear Analysis [68.8204255655161]
  人間のループシステムにおけるモンテカルロのドロップアウトに基づく不確実性対策により,システムの透明性と性能が向上することを示す。 シミュレーション研究により、不確実性に基づく「ループ内人間システム」は、様々なレベルの人間の関与に対する性能を高めることが示されている。
  論文  参考訳（メタデータ） (2020-07-14T15:47:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。