論文の概要: Unjustified Sample Sizes and Generalizations in Explainable AI Research: Principles for More Inclusive User Studies

• arxiv url: http://arxiv.org/abs/2305.09477v1
• Date: Mon, 8 May 2023 15:02:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-21 11:04:48.564783
• Title: Unjustified Sample Sizes and Generalizations in Explainable AI Research: Principles for More Inclusive User Studies
• Title（参考訳）: 説明可能なAI研究における不正なサンプルサイズと一般化:より包括的なユーザ研究の原則
• Authors: Uwe Peters, Mary Carman
• Abstract要約: XAI研究者がどの程度のサンプルサイズを反映し、正当化しているかは不明だ。 ほとんどの研究では、サンプルサイズについて合理的な説明は得られなかった。 定量的研究においてより広範な結論がより大きなサンプルと相関していたという証拠は存在しなかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many ethical frameworks require artificial intelligence (AI) systems to be explainable. Explainable AI (XAI) models are frequently tested for their adequacy in user studies. Since different people may have different explanatory needs, it is important that participant samples in user studies are large enough to represent the target population to enable generalizations. However, it is unclear to what extent XAI researchers reflect on and justify their sample sizes or avoid broad generalizations across people. We analyzed XAI user studies (N = 220) published between 2012 and 2022. Most studies did not offer rationales for their sample sizes. Moreover, most papers generalized their conclusions beyond their target population, and there was no evidence that broader conclusions in quantitative studies were correlated with larger samples. These methodological problems can impede evaluations of whether XAI systems implement the explainability called for in ethical frameworks. We outline principles for more inclusive XAI user studies.
• Abstract（参考訳）: 多くの倫理的枠組みは、説明可能な人工知能(AI)システムを必要とする。 説明可能なai(xai)モデルは、ユーザー研究の適性について頻繁にテストされる。 異なる人が異なる説明ニーズを持つ可能性があるため、ユーザ研究の参加者サンプルが、一般化を可能にするためにターゲット人口を表すのに十分な大きさであることは重要である。 しかし、xaiの研究者がどの程度サンプルサイズを反映し、正当化するか、あるいは広範囲にわたる一般化を避けるかは定かではない。 2012年から2022年にかけて発行されたXAIユーザスタディ(N = 220)を分析した。 ほとんどの研究はサンプルサイズについて根拠を示さなかった。 さらに、ほとんどの論文は対象とする個体群以上の結論を一般化しており、定量研究における広範な結論がより大きな標本と相関しているという証拠は存在しなかった。 これらの方法論的問題は、倫理的枠組みに求められる説明可能性を実装するかどうかの評価を妨げる可能性がある。 より包括的なXAIユーザ研究の原則を概説する。

関連論文リスト

• Investigating the Role of Explainability and AI Literacy in User Compliance [2.8623940003518156]
  XAIの導入により,ユーザのコンプライアンスが向上する一方で,AIリテラシーの影響も受けていることがわかった。 また,AIリテラシーXAIとユーザのコンプライアンスの関係は,ユーザのメンタルモデルが介在していることも確認した。
  論文  参考訳（メタデータ） (2024-06-18T14:28:12Z)
• Cultural Bias in Explainable AI Research: A Systematic Analysis [0.0]
  我々は、西洋、一般的に個人主義の国の人々と非西洋、しばしば集団主義の国の人々の間に、人間の説明に有意な違いがあるという心理学的な研究を強調した。 我々は200以上のXAIユーザスタディを体系的にレビューし、ほとんどの研究が関連する文化的バリエーションを考慮していないことを発見した。 ほとんどのレビューでは、説明的ニーズの文化的相違やXAIユーザ調査結果の広範囲にわたる異文化間外挿のフラグについて言及していない。
  論文  参考訳（メタデータ） (2024-02-28T19:30:32Z)
• Towards Human-centered Explainable AI: A Survey of User Studies for Model Explanations [18.971689499890363]
  我々は過去5年間に人間によるXAI評価で97コア論文を特定し分析してきた。 我々の研究は、XAIがレコメンダシステムなど特定のアプリケーション領域で急速に普及していることを示している。 我々は,XAI研究者や実践者を対象としたユーザスタディの設計と実施に関する実践的ガイドラインを提案する。
  論文  参考訳（メタデータ） (2022-10-20T20:53:00Z)
• What Do End-Users Really Want? Investigation of Human-Centered XAI for Mobile Health Apps [69.53730499849023]
  説明可能なAI(XAI)を評価するために,ユーザ中心のペルソナ概念を提案する。 分析の結果,ユーザの人口統計や性格,説明のタイプ,影響説明の嗜好が示された。 私たちの洞察は、対話的で人間中心のXAIを実践的な応用に近づけます。
  論文  参考訳（メタデータ） (2022-10-07T12:51:27Z)
• Explanation-by-Example Based on Item Response Theory [0.0]
  本研究は, 項目応答理論(IRT)を, モデルを説明し, 説明による信頼性のレベルを測定するためのツールとして検討する。 テストセットからすると、83.8%のエラーはIRTがモデルを信頼できないと指摘しているインスタンスからのものである。
  論文  参考訳（メタデータ） (2022-10-04T14:36:33Z)
• Connecting Algorithmic Research and Usage Contexts: A Perspective of Contextualized Evaluation for Explainable AI [65.44737844681256]
  説明可能なAI(XAI)を評価する方法に関するコンセンサスの欠如は、この分野の進歩を妨げる。 このギャップを埋める一つの方法は、異なるユーザ要求を考慮に入れた評価方法を開発することである、と我々は主張する。
  論文  参考訳（メタデータ） (2022-06-22T05:17:33Z)
• Do Deep Neural Networks Always Perform Better When Eating More Data? [82.6459747000664]
  Identically Independent Distribution(IID)とOut of Distribution(OOD)による実験を設計する。 IID条件下では、情報の量は各サンプルの効果度、サンプルの寄与度、クラス間の差がクラス情報の量を決定する。 OOD条件下では、試料のクロスドメイン度が寄与を決定づけ、無関係元素によるバイアス適合はクロスドメインの重要な要素である。
  論文  参考訳（メタデータ） (2022-05-30T15:40:33Z)
• A User-Centred Framework for Explainable Artificial Intelligence in Human-Robot Interaction [70.11080854486953]
  本稿では,XAIのソーシャル・インタラクティブな側面に着目したユーザ中心型フレームワークを提案する。 このフレームワークは、エキスパートでないユーザのために考えられた対話型XAIソリューションのための構造を提供することを目的としている。
  論文  参考訳（メタデータ） (2021-09-27T09:56:23Z)
• AES Systems Are Both Overstable And Oversensitive: Explaining Why And Proposing Defenses [66.49753193098356]
  スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。 のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。 高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-24T03:49:38Z)
• Indecision Modeling [50.00689136829134]
  AIシステムは人間の価値観に合わせて行動することが重要である。 人々はしばしば決定的ではなく、特に彼らの決定が道徳的な意味を持つときです。
  論文  参考訳（メタデータ） (2020-12-15T18:32:37Z)
• Challenging common interpretability assumptions in feature attribution explanations [0.0]
  大規模な人・物体実験により,3つの共通解釈可能性仮定の妥当性を実証的に評価した。 特徴帰属の説明は、人間の意思決定者にとって、我々のタスクに限界効用をもたらす。
  論文  参考訳（メタデータ） (2020-12-04T17:57:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。