論文の概要: Risk-graded Safety for Handling Medical Queries in Conversational AI
- arxiv url: http://arxiv.org/abs/2210.00572v1
- Date: Sun, 2 Oct 2022 16:49:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-04 15:08:25.387387
- Title: Risk-graded Safety for Handling Medical Queries in Conversational AI
- Title（参考訳）: 会話型AIにおける医療用クエリ処理のリスクグレード安全性
- Authors: Gavin Abercrombie and Verena Rieser
- Abstract要約: 我々は、人間の記述した英語の医療クエリのコーパスを作成し、異なるタイプのシステムの応答を出力する。
これをクラウドソースとエキスパートアノテーションの両方でラベル付けします。
分類実験の結果は、これらのタスクは自動化できるが、注意が必要であることを示唆している。
- 参考スコア（独自算出の注目度）: 11.845823886072058
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Conversational AI systems can engage in unsafe behaviour when handling users'
medical queries that can have severe consequences and could even lead to
deaths. Systems therefore need to be capable of both recognising the
seriousness of medical inputs and producing responses with appropriate levels
of risk. We create a corpus of human written English language medical queries
and the responses of different types of systems. We label these with both
crowdsourced and expert annotations. While individual crowdworkers may be
unreliable at grading the seriousness of the prompts, their aggregated labels
tend to agree with professional opinion to a greater extent on identifying the
medical queries and recognising the risk types posed by the responses. Results
of classification experiments suggest that, while these tasks can be automated,
caution should be exercised, as errors can potentially be very serious.
- Abstract（参考訳）: 会話型AIシステムは、深刻な結果をもたらし、死に至る可能性のあるユーザの医療クエリを扱う際に、安全でない振る舞いをすることができる。
したがって、システムは医療入力の重大さを認識し、適切なレベルのリスクで応答を生成できる必要がある。
我々は、人間の書いた英語の医学的問合せと、さまざまな種類のシステムの反応のコーパスを作成する。
これをクラウドソースとエキスパートアノテーションの両方でラベル付けします。
個々のクラウドワーカーは、プロンプトの重大さを評価できないかもしれないが、彼らの集約されたラベルは、医療質問を特定し、応答によって生じるリスクタイプを認識することで、専門家の意見と一致しがちである。
分類実験の結果、これらのタスクは自動化できるが、エラーは非常に深刻な可能性があるため注意すべきである。
関連論文リスト
- Risks and NLP Design: A Case Study on Procedural Document QA [52.557503571760215]
より具体的なアプリケーションやユーザに対して分析を専門化すれば,ユーザに対するリスクや害の明確な評価が可能になる,と我々は主張する。
リスク指向のエラー分析を行い、リスクの低減とパフォーマンスの向上を図り、将来のシステムの設計を通知する。
論文 参考訳（メタデータ） (2024-08-16T17:23:43Z) - People over trust AI-generated medical responses and view them to be as valid as doctors, despite low accuracy [25.91497161129666]
合計300人の参加者が、オンラインヘルスケアプラットフォーム上で医師によって書かれた、あるいは大きな言語モデルによって生成された医療反応の評価を行った。
その結果、被験者はAI生成と医師の反応を効果的に区別できないことがわかった。
論文 参考訳（メタデータ） (2024-08-11T23:41:28Z) - The Need for Guardrails with Large Language Models in Medical Safety-Critical Settings: An Artificial Intelligence Application in the Pharmacovigilance Ecosystem [0.6965384453064829]
大規模言語モデル(LLM)は、特定の種類の知識処理を効果的にスケールする能力を備えた有用なツールである。
しかし、高リスクで安全に重要な領域への展開は、特に幻覚の問題など、ユニークな課題を生んでいる。
これは特に、不正確さが患者を傷つける可能性がある薬物の安全性のような設定に関係している。
我々は、特定の種類の幻覚と薬物安全性のエラーを軽減するために特別に設計されたガードレールのコンセプトスイートを開発し、実証した。
論文 参考訳（メタデータ） (2024-07-01T19:52:41Z) - Challenges of GPT-3-based Conversational Agents for Healthcare [11.517862889784293]
本稿では,GPT-3に基づく医療質問応答モデル(MedQA)の課題とリスクについて検討する。
MedQA システムにおける LLM の高リスク制約をストレステストするために,患者クエリを手動で設計する手法を提案する。
分析の結果、LSMはこれらのクエリに適切に対応できず、誤った医療情報、安全でないレコメンデーション、攻撃的と考えられるコンテンツを生成することがわかった。
論文 参考訳（メタデータ） (2023-08-28T15:12:34Z) - Informing clinical assessment by contextualizing post-hoc explanations
of risk prediction models in type-2 diabetes [50.8044927215346]
本研究は, 合併症リスク予測のシナリオを考察し, 患者の臨床状態に関する文脈に焦点を当てる。
我々は、リスク予測モデル推論に関する文脈を提示し、その受容性を評価するために、最先端のLLMをいくつか採用する。
本論文は,実世界における臨床症例における文脈説明の有効性と有用性を明らかにする最初のエンドツーエンド分析の1つである。
論文 参考訳（メタデータ） (2023-02-11T18:07:11Z) - Mitigating Covertly Unsafe Text within Natural Language Systems [55.26364166702625]
制御されていないシステムは、怪我や致命的な結果につながるレコメンデーションを生成する。
本稿では,身体的危害につながる可能性のあるテキストのタイプを識別し,特に未発見のカテゴリを確立する。
論文 参考訳（メタデータ） (2022-10-17T17:59:49Z) - Medical Question Understanding and Answering with Knowledge Grounding
and Semantic Self-Supervision [53.692793122749414]
本稿では,知識基盤とセマンティック・セルフスーパービジョンを備えた医療質問理解・回答システムについて紹介する。
我々のシステムは、まず、教師付き要約損失を用いて、長い医学的、ユーザによる質問を要約するパイプラインである。
システムはまず、信頼された医療知識ベースから要約されたユーザ質問とFAQとをマッチングし、対応する回答文書から一定の数の関連文を検索する。
論文 参考訳（メタデータ） (2022-09-30T08:20:32Z) - Transforming unstructured voice and text data into insight for paramedic
emergency service using recurrent and convolutional neural networks [68.8204255655161]
救急隊員は救急車内で限られた時間内に救命判断をしなければならないことが多い。
本研究の目的は、音声とテキストデータを自動的に融合して、救急隊員に適切な状況認識情報を提供することである。
論文 参考訳（メタデータ） (2020-05-30T06:47:02Z) - COVI White Paper [67.04578448931741]
接触追跡は、新型コロナウイルスのパンデミックの進行を変える上で不可欠なツールだ。
カナダで開発されたCovid-19の公衆ピアツーピア接触追跡とリスク認識モバイルアプリケーションであるCOVIの理論的、設計、倫理的考察、プライバシ戦略について概説する。
論文 参考訳（メタデータ） (2020-05-18T07:40:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。