論文の概要: PADTHAI-MM: Principles-based Approach for Designing Trustworthy, Human-centered AI using MAST Methodology

• arxiv url: http://arxiv.org/abs/2401.13850v2
• Date: Wed, 22 Jan 2025 20:52:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-24 15:56:38.700145
• Title: PADTHAI-MM: Principles-based Approach for Designing Trustworthy, Human-centered AI using MAST Methodology
• Title（参考訳）: PADTHAI-MM:MAST法を用いた信頼できる人間中心AI設計のための原理に基づくアプローチ
• Authors: Myke C. Cohen, Nayoung Kim, Yang Ba, Anna Pan, Shawaiz Bhatti, Pouria Salehi, James Sung, Erik Blasch, Michelle V. Mancenido, Erin K. Chiou,
• Abstract要約: マルチソースAIスコアカードテーブル(Multisource AI Scorecard Table, MAST)は、AI対応意思決定支援システムを評価するための、体系的かつトレードクラフト中心のアプローチを提供することによって、ギャップを埋めるように設計されている。 我々は,信頼に値する,人間中心のAIを設計するためのテキスト原則に基づくアプローチという,反復的な設計フレームワークを導入する。 我々はこの枠組みを防衛情報タスク報告支援(READIT)の開発において実証する。
• 参考スコア（独自算出の注目度）: 5.215782336985273
• License:
• Abstract: Despite an extensive body of literature on trust in technology, designing trustworthy AI systems for high-stakes decision domains remains a significant challenge, further compounded by the lack of actionable design and evaluation tools. The Multisource AI Scorecard Table (MAST) was designed to bridge this gap by offering a systematic, tradecraft-centered approach to evaluating AI-enabled decision support systems. Expanding on MAST, we introduce an iterative design framework called \textit{Principles-based Approach for Designing Trustworthy, Human-centered AI using MAST Methodology} (PADTHAI-MM). We demonstrate this framework in our development of the Reporting Assistant for Defense and Intelligence Tasks (READIT), a research platform that leverages data visualizations and natural language processing-based text analysis, emulating an AI-enabled system supporting intelligence reporting work. To empirically assess the efficacy of MAST on trust in AI, we developed two distinct iterations of READIT for comparison: a High-MAST version, which incorporates AI contextual information and explanations, and a Low-MAST version, akin to a ``black box'' system. This iterative design process, guided by stakeholder feedback and contemporary AI architectures, culminated in a prototype that was evaluated through its use in an intelligence reporting task. We further discuss the potential benefits of employing the MAST-inspired design framework to address context-specific needs. We also explore the relationship between stakeholder evaluators' MAST ratings and three categories of information known to impact trust: \textit{process}, \textit{purpose}, and \textit{performance}. Overall, our study supports the practical benefits and theoretical validity for PADTHAI-MM as a viable method for designing trustable, context-specific AI systems.
• Abstract（参考訳）: テクノロジーへの信頼に関する膨大な文献があるにもかかわらず、高度な意思決定領域のための信頼できるAIシステムを設計することは依然として大きな課題であり、実用的な設計と評価ツールの欠如によってさらに複雑化されている。 マルチソースAIスコアカードテーブル(Multisource AI Scorecard Table, MAST)は、AI対応意思決定支援システムを評価するための、体系的かつトレードクラフト中心のアプローチを提供することによって、このギャップを埋めるように設計されている。 MASTを拡張して,MAST法(PADTHAI-MM)を用いた信頼に値する,人間中心のAIを設計するための,‘textit{Principles-based Approach for Designing Trustworthy, Human-centered AI’(PADTHAI-MM)という反復的設計フレームワークを導入する。 データ視覚化と自然言語処理に基づくテキスト分析を活用する研究プラットフォームであるReporting Assistant for Defense and Intelligence Tasks (READIT)の開発において,このフレームワークを実証した。 我々は,AIの信頼性に対するMASTの有効性を実証的に評価するために,AIの文脈情報と説明を組み込んだ高MASTバージョンと,‘ブラックボックス’システムに似た低MASTバージョンという,READITの2つの異なるイテレーションを開発した。 この反復的な設計プロセスは、利害関係者のフィードバックと現代のAIアーキテクチャによって導かれ、インテリジェンスレポートタスクでその使用によって評価されたプロトタイプで完了した。 さらに、コンテキスト固有のニーズに対処するために、MASTにインスパイアされたデザインフレームワークを使うことの潜在的な利点について論じる。 また、利害関係者のMAST評価と、信頼に影響を与えることが知られている情報の3つのカテゴリ: \textit{process}, \textit{purpose}, \textit{ Performance} との関係についても検討する。 本研究は,信頼性の高いコンテキスト依存型AIシステムの設計手法として,PADTHAI-MMの実用的メリットと理論的妥当性を支持する。

関連論文リスト

• Found in Translation: semantic approaches for enhancing AI interpretability in face verification [0.4222205362654437]
  本研究は,XAIフレームワークに意味概念を統合することで,モデル出力と人間の理解の包括的ギャップを埋めることにより,これまでの研究を拡張した。 ユーザが選択した顔のランドマークによって定義された意味的特徴を用いて,グローバルな説明とローカルな説明を組み合わせた新しいアプローチを提案する。 結果は、セマンティックベースのアプローチ、特に最も詳細なセットは、従来の手法よりも、モデル決定をよりきめ細やかな理解を提供することを示している。
  論文  参考訳（メタデータ） (2025-01-06T08:34:53Z)
• Data Analysis in the Era of Generative AI [56.44807642944589]
  本稿では,AIを活用したデータ分析ツールの可能性について考察する。 我々は、大規模言語とマルチモーダルモデルの出現が、データ分析ワークフローの様々な段階を強化する新しい機会を提供する方法について検討する。 次に、直感的なインタラクションを促進し、ユーザ信頼を構築し、AI支援分析ワークフローを複数のアプリにわたって合理化するための、人間中心の設計原則を調べます。
  論文  参考訳（メタデータ） (2024-09-27T06:31:03Z)
• Combining AI Control Systems and Human Decision Support via Robustness and Criticality [53.10194953873209]
  我々は、逆説(AE)の方法論を最先端の強化学習フレームワークに拡張する。 学習したAI制御システムは、敵のタンパリングに対する堅牢性を示す。 トレーニング/学習フレームワークでは、この技術は人間のインタラクションを通じてAIの決定と説明の両方を改善することができる。
  論文  参考訳（メタデータ） (2024-07-03T15:38:57Z)
• Trustworthy Artificial Intelligence in the Context of Metrology [3.2873782624127834]
  我々は、信頼できる人工知能(TAI)分野の国立物理研究所での研究をレビューする。 技術的,社会技術的,社会的の3つのテーマについて述べる。これは,開発モデルが信頼性が高く,責任ある決定を下す上で重要な役割を担っている。 NPLで取り組んでいるTAI内の3つの研究領域について論じ、AIシステムの認証について、TAIの特徴の遵守の観点から検討する。
  論文  参考訳（メタデータ） (2024-06-14T15:23:27Z)
• An In-depth Survey of Large Language Model-based Artificial Intelligence Agents [11.774961923192478]
  LLMベースのAIエージェントと従来のAIエージェントの主な違いと特徴について検討した。 我々は、計画、記憶、ツール使用を含むAIエージェントの重要なコンポーネントについて、詳細な分析を行った。
  論文  参考訳（メタデータ） (2023-09-23T11:25:45Z)
• A Study of Situational Reasoning for Traffic Understanding [63.45021731775964]
  トラフィック領域における状況推論のための3つの新しいテキストベースのタスクを考案する。 先行作業における言語推論タスクにまたがる一般化能力を示す知識強化手法を4つ採用する。 本稿では,データ分割におけるモデル性能の詳細な解析を行い,モデル予測を分類的に検討する。
  論文  参考訳（メタデータ） (2023-06-05T01:01:12Z)
• Connecting Algorithmic Research and Usage Contexts: A Perspective of Contextualized Evaluation for Explainable AI [65.44737844681256]
  説明可能なAI(XAI)を評価する方法に関するコンセンサスの欠如は、この分野の進歩を妨げる。 このギャップを埋める一つの方法は、異なるユーザ要求を考慮に入れた評価方法を開発することである、と我々は主張する。
  論文  参考訳（メタデータ） (2022-06-22T05:17:33Z)
• A Comparative Approach to Explainable Artificial Intelligence Methods in Application to High-Dimensional Electronic Health Records: Examining the Usability of XAI [0.0]
  XAIは、コミュニケーション手段によって人間に達成される信頼の実証的要因を生み出すことを目的としている。 機械を信頼して人間の生き方に向くというイデオロギーは倫理的な混乱を引き起こします。 XAIメソッドは、ローカルレベルとグローバルレベルの両方で出力される特定のモデルに対する機能貢献を視覚化します。
  論文  参考訳（メタデータ） (2021-03-08T18:15:52Z)
• Multisource AI Scorecard Table for System Evaluation [3.74397577716445]
  本稿では、AI/機械学習(ML)システムの開発者およびユーザに対して標準チェックリストを提供するマルチソースAIスコアカードテーブル(MAST)について述べる。 本稿では,インテリジェンス・コミュニティ・ディレクティブ(ICD)203で概説されている分析的トレードクラフト標準が,AIシステムの性能を評価するためのフレームワークを提供する方法について考察する。
  論文  参考訳（メタデータ） (2021-02-08T03:37:40Z)
• Leveraging Expert Consistency to Improve Algorithmic Decision Support [62.61153549123407]
  建設のギャップを狭めるために観測結果と組み合わせることができる情報源として,歴史専門家による意思決定の利用について検討する。 本研究では,データ内の各ケースが1人の専門家によって評価された場合に,専門家の一貫性を間接的に推定する影響関数に基づく手法を提案する。 本研究は, 児童福祉領域における臨床現場でのシミュレーションと実世界データを用いて, 提案手法が構成ギャップを狭めることに成功していることを示す。
  論文  参考訳（メタデータ） (2021-01-24T05:40:29Z)
• A general framework for scientifically inspired explanations in AI [76.48625630211943]
  我々は、AIシステムの説明を実装可能な一般的なフレームワークの理論的基盤として、科学的説明の構造の概念をインスタンス化する。 このフレームワークは、AIシステムの"メンタルモデル"を構築するためのツールを提供することを目的としている。
  論文  参考訳（メタデータ） (2020-03-02T10:32:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。