論文の概要: When AI Gets it Wong: Reliability and Risk in AI-Assisted Medication Decision Systems

• arxiv url: http://arxiv.org/abs/2604.01449v1
• Date: Wed, 01 Apr 2026 22:53:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-03 14:21:10.091234
• Title: When AI Gets it Wong: Reliability and Risk in AI-Assisted Medication Decision Systems
• Title（参考訳）: AIが苦しむ時:AI支援医療意思決定システムの信頼性とリスク
• Authors: Khalid Adnan Alsayed,
• Abstract要約: 薬物管理などのリスクの高い領域では、単一の誤った勧告でさえ、重度の患者を傷つける可能性がある。 本稿では,システム障害とその臨床効果に着目し,AI支援医療システムの信頼性について検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Artificial intelligence (AI) systems are increasingly integrated into healthcare and pharmacy workflows, supporting tasks such as medication recommendations, dosage determination, and drug interaction detection. While these systems often demonstrate strong performance under standard evaluation metrics, their reliability in real-world decision-making remains insufficiently understood. In high-risk domains such as medication management, even a single incorrect recommendation can result in severe patient harm. This paper examines the reliability of AI-assisted medication systems by focusing on system failures and their potential clinical consequences. Rather than evaluating performance solely through aggregate metrics, this work shifts attention towards how errors occur and what happens when AI systems produce incorrect outputs. Through a series of controlled, simulated scenarios involving drug interactions and dosage decisions, we analyse different types of system failures, including missed interactions, incorrect risk flagging, and inappropriate dosage recommendations. The findings highlight that AI errors in medication-related contexts can lead to adverse drug reactions, ineffective treatment, or delayed care, particularly when systems are used without sufficient human oversight. Furthermore, the paper discusses the risks of over-reliance on AI recommendations and the challenges posed by limited transparency in decision-making processes. This work contributes a reliability-focused perspective on AI evaluation in healthcare, emphasising the importance of understanding failure behavior and real-world impact. It highlights the need to complement traditional performance metrics with risk-aware evaluation approaches, particularly in safety-critical domains such as pharmacy practice.
• Abstract（参考訳）: 人工知能(AI)システムは、医療や薬局のワークフローにますます統合され、医薬品推奨、服薬判定、薬物相互作用の検出などのタスクをサポートする。 これらのシステムは、標準的な評価基準の下では高い性能を示すことが多いが、現実の意思決定における信頼性は未だに十分に理解されていない。 薬物管理などのリスクの高い領域では、単一の誤った勧告でさえ、重度の患者を傷つける可能性がある。 本稿では,システム障害とその臨床効果に着目し,AI支援医療システムの信頼性について検討する。 集約されたメトリクスによってのみパフォーマンスを評価するのではなく、この作業は、エラーの発生と、AIシステムが誤ったアウトプットを生成する場合に発生することに注目します。 薬物相互作用と服薬決定に関する一連の制御されたシミュレートされたシナリオを通じて、私たちは、欠落した相互作用、誤ったリスクフラグ付け、不適切な服薬推奨など、さまざまなタイプのシステム障害を分析します。 この結果は、薬物関連の文脈におけるAIのエラーが、薬物反応の悪影響、非効率な治療、遅延ケアに繋がる可能性があること、特に人間の監視が不十分なシステムを使用する場合を浮き彫りにしている。 さらに、AIレコメンデーションに対する過信のリスクと、意思決定プロセスにおける透明性の制限による課題についても論じる。 この研究は、医療におけるAI評価に対する信頼性を重視した視点に貢献し、失敗行動と実世界の影響を理解することの重要性を強調している。 これは、特に薬局の実践のような安全クリティカルな領域において、従来のパフォーマンス指標をリスク対応評価アプローチで補完する必要性を強調している。

関連論文リスト

• When Life Gives You AI, Will You Turn It Into A Market for Lemons? Understanding How Information Asymmetries About AI System Capabilities Affect Market Outcomes and Adoption [45.10829096284761]
  複雑なAIシステムは、コストのかかるエラーを犯したり、隠れた欠陥を埋め込んだりしながら、非常に正確に見える。 本稿では,AIシステムのユーザ導入における情報非対称性と開示設計の役割について,最初の実験的証拠を提供する。
  論文  参考訳（メタデータ） (2026-01-29T12:49:28Z)
• AI Epidemiology: achieving explainable AI through expert oversight patterns [0.0]
  AI疫学(AI Epidemiology)は、先進的なAIシステムの管理と説明のためのフレームワークである。 これは疫学者が統計的証拠を通じて公衆衛生の介入を可能にする方法を反映している。
  論文  参考訳（メタデータ） (2025-12-15T11:29:05Z)
• Monitoring Deployed AI Systems in Health Care [8.240297189233528]
  医療における人工知能(AI)システムのデプロイ後モニタリングは、その安全性、品質、持続的な利益を保証するために不可欠である。 このフレームワークは,3つの補完的原則 – システムの完全性,パフォーマンス,影響 – に基づいて構成されている。 それは、AIデプロイメントが時間とともに安全で効果的であることを保証するために、医療システムに実用的なテンプレートと出発点を提供する。
  論文  参考訳（メタデータ） (2025-12-09T19:06:48Z)
• Perspectives on a Reliability Monitoring Framework for Agentic AI Systems [5.539407031861404]
  エージェントAIシステムの動作時の信頼性の課題は,その特性に基づいて導出する。 本稿ではエージェントAIシステムのための2層信頼性監視フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-12T10:19:17Z)
• MARIA: A Framework for Marginal Risk Assessment without Ground Truth in AI Systems [11.620099531890716]
  既存のプロセスを置き換えるためにAIシステムをデプロイする前に、リスクを追加することなく改善を保証するために、既存のシステムと比較する必要がある。 従来の評価は両方のシステムに対して基礎的な真理に依存しているが、しばしば遅延または不可知の結果のために利用できない。 根拠的真理や絶対的リスクへの依存を避けるための限界リスク評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-31T04:18:20Z)
• AILuminate: Introducing v1.0 of the AI Risk and Reliability Benchmark from MLCommons [62.374792825813394]
  本稿ではAI製品リスクと信頼性を評価するための業界標準ベンチマークとして,AIluminate v1.0を紹介する。 このベンチマークは、危険、違法、または望ましくない行動を12の危険カテゴリーで引き起こすように設計されたプロンプトに対するAIシステムの抵抗を評価する。
  論文  参考訳（メタデータ） (2025-02-19T05:58:52Z)
• Model evaluation for extreme risks [46.53170857607407]
  AI開発のさらなる進歩は、攻撃的なサイバー能力や強力な操作スキルのような極端なリスクを引き起こす能力につながる可能性がある。 モデル評価が極端なリスクに対処するために重要である理由を説明します。
  論文  参考訳（メタデータ） (2023-05-24T16:38:43Z)
• Validation and Transparency in AI systems for pharmacovigilance: a case study applied to the medical literature monitoring of adverse events [0.483420384410068]
  本稿では,薬物移動における検証済みAIシステムに対する既存のガイダンスの運用方法に関するケーススタディを提案する。 課題の専門家との密接なコラボレーションで構築された活動の軽減を目的として設計されたAIシステムについて述べる。
  論文  参考訳（メタデータ） (2021-12-21T21:02:24Z)
• Overcoming Failures of Imagination in AI Infused System Development and Deployment [71.9309995623067]
  NeurIPS 2020は研究論文に「潜在的な悪用と失敗の結果」に関するインパクトステートメントを含むよう要求した。 我々は、害の枠組みは文脈に適応し、潜在的な利害関係者、システム余裕、および最も広い意味での害を評価するための実行可能なプロキシを考える必要があると論じている。
  論文  参考訳（メタデータ） (2020-11-26T18:09:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。