論文の概要: When RAG Chatbots Expose Their Backend: An Anonymized Case Study of Privacy and Security Risks in Patient-Facing Medical AI
- arxiv url: http://arxiv.org/abs/2605.00796v1
- Date: Fri, 01 May 2026 17:29:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-04 17:43:29.027445
- Title: When RAG Chatbots Expose Their Backend: An Anonymized Case Study of Privacy and Security Risks in Patient-Facing Medical AI
- Title（参考訳）: RAGチャットボットがバックエンドを公開するとき--患者支援医療AIにおけるプライバシとセキュリティリスクの匿名ケーススタディ
- Authors: Alfredo Madrid-García, Miguel Rujas,
- Abstract要約: AI支援開発は、それらを構築するための障壁を低くするが、それでも厳格なセキュリティ、プライバシ、ガバナンスコントロールを必要としている。
公衆アクセス可能な医療用RAGチャットボットの匿名化,非破壊的セキュリティ評価を報告する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Background: Patient-facing medical chatbots based on retrieval-augmented generation (RAG) are increasingly promoted to deliver accessible, grounded health information. AI-assisted development lowers the barrier to building them, but they still demand rigorous security, privacy, and governance controls. Objective: To report an anonymized, non-destructive security assessment of a publicly accessible patient-facing medical RAG chatbot and identify governance lessons for safe deployment of generative AI in health. Methods: We used a two-stage strategy. First, Claude Opus 4.6 supported exploratory prompt-based testing and structured vulnerability hypotheses. Second, candidate findings were manually verified using Chrome Developer Tools, inspecting browser-visible network traffic, payloads, API schemas, configuration objects, and stored interaction data. Results: The LLM-assisted phase identified a critical vulnerability: sensitive system and RAG configuration appeared exposed through client-server communication rather than restricted server-side. Manual verification confirmed that ordinary browser inspection allowed collection of the system prompt, model and embedding configuration, retrieval parameters, backend endpoints, API schema, document and chunk metadata, knowledge-base content, and the 1,000 most recent patient-chatbot conversations. The deployment also contradicted its privacy assurances: full conversation records, including health-related queries, were retrievable without authentication. Conclusions: Serious privacy and security failures in patient-facing RAG chatbots can be identified with standard browser tools, without specialist skills or authentication; independent review should be a prerequisite for deployment. Commercial LLMs accelerated this assessment, including under a false developer persona; assistance available to auditors is equally available to adversaries.
- Abstract（参考訳）: 背景: 検索強化世代(RAG)に基づく患者向け医療チャットボットは, アクセスしやすく, 接地された健康情報を提供するために, ますます推進されている。
AI支援開発は、それらを構築するための障壁を低くするが、それでも厳格なセキュリティ、プライバシ、ガバナンスコントロールを必要としている。
目的: 公衆にアクセス可能な医療用RAGチャットボットの匿名で非破壊的なセキュリティ評価を報告し、生成AIを健康に安全に展開するためのガバナンスのレッスンを特定する。
方法: 2段階の戦略を採用しました。
第一に、Claude Opus 4.6は探索的なプロンプトベースのテストと構造化された脆弱性仮説をサポートした。
次に、Chrome Developer Toolsを使用して、ブラウザ可視のネットワークトラフィック、ペイロード、APIスキーマ、設定オブジェクト、ストアドインタラクションデータを検査して、候補を手動で検証した。
結果: LLM支援フェーズでは,機密システムとRAG構成が,制限されたサーバ側ではなく,クライアントサーバ間通信を通じて公開されたという,重大な脆弱性が確認された。
手動検証により、通常のブラウザ検査によってシステムプロンプト、モデルおよび埋め込み構成、検索パラメータ、バックエンドエンドポイント、APIスキーマ、ドキュメントとチャンクメタデータ、ナレッジベースコンテンツ、そして最新の1000人の患者とチャットボットの会話の収集が可能であることが確認された。
健康関連クエリを含む完全な会話記録は、認証なしで検索可能である。
結論: 患者が直面するRAGチャットボットの重大なプライバシとセキュリティ上の障害は、専門的なスキルや認証なしに、標準的なブラウザツールと同一視できる。
商業LLMは、偽の開発者ペルソナの下で、この評価を加速させた。
関連論文リスト
- WebAgentGuard: A Reasoning-Driven Guard Model for Detecting Prompt Injection Attacks in Web Agents [117.65855863464863]
Webエージェントはインジェクション攻撃に対して非常に脆弱である。
システム・プロンプト・ディフェンス(英語版)やエージェントの直接微調整を含む既存の防御は、効果が限られている。
本稿では,WebAgentGuardを導入し,インジェクション検出のためのマルチモーダルガードモデルを提案する。
論文 参考訳（メタデータ） (2026-04-14T04:50:35Z) - Caging the Agents: A Zero Trust Security Architecture for Autonomous AI in Healthcare [0.0]
本稿では,医療技術企業において,9つの自律型AIエージェントを実運用環境に配置するセキュリティアーキテクチャを提案する。
我々は、医療におけるエージェントAIの6領域脅威モデルを構築し、クレデンシャルエクスポージャー、実行能力の乱用、ネットワークのエクスプロイト、即時完全性障害、データベースアクセスリスク、およびフリート構成ドリフトをカバーする。
すべての構成、監査ツール、即時整合性フレームワークがオープンソースとしてリリースされている。
論文 参考訳（メタデータ） (2026-03-18T06:54:47Z) - Semantic Risk Scoring of Aggregated Metrics: An AI-Driven Approach for Healthcare Data Governance [0.0]
大規模医療機関は通常、複数のビジネスインテリジェンス(BI)チームを運営している。
HIPAA、FERPA、IRBの制限のため、これらのチームは分析に必要な患者レベルのデータを共有するという課題に直面している。
事前計算されたプライバシに準拠した要約である計量集計表が提案されている。
論文 参考訳（メタデータ） (2026-03-09T03:36:11Z) - The Trojan Knowledge: Bypassing Commercial LLM Guardrails via Harmless Prompt Weaving and Adaptive Tree Search [58.8834056209347]
大規模言語モデル(LLM)は、有害な出力を誘導するために安全ガードレールをバイパスするジェイルブレイク攻撃に弱いままである。
CKA-Agent(Correlated Knowledge Attack Agent)は、ターゲットモデルの知識基盤の適応的木構造探索としてジェイルブレイクを再構成する動的フレームワークである。
論文 参考訳（メタデータ） (2025-12-01T07:05:23Z) - VERA-MH Concept Paper [0.0]
本稿では,メンタルヘルスにおけるAIチャットボットの安全性を自動評価するVERA-MHを紹介する。
プロセスを完全に自動化するために、2つのアシラリーAIエージェントを使用しました。
シミュレーションされた会話は、そのルーリックに基づいてそれらをスコアする審査員に渡される。
論文 参考訳（メタデータ） (2025-10-17T04:07:29Z) - Malice in Agentland: Down the Rabbit Hole of Backdoors in the AI Supply Chain [82.98626829232899]
自分自身のインタラクションからのデータに対する微調整のAIエージェントは、AIサプライチェーン内の重要なセキュリティ脆弱性を導入している。
敵は容易にデータ収集パイプラインに毒を盛り、検出しにくいバックドアを埋め込むことができる。
論文 参考訳（メタデータ） (2025-10-03T12:47:21Z) - DRIFT: Dynamic Rule-Based Defense with Injection Isolation for Securing LLM Agents [52.92354372596197]
大規模言語モデル(LLM)は、強力な推論と計画能力のため、エージェントシステムの中心となってきています。
この相互作用は、外部ソースからの悪意のある入力がエージェントの振る舞いを誤解させる可能性がある、インジェクション攻撃のリスクも引き起こす。
本稿では,信頼に値するエージェントシステムのための動的ルールベースの分離フレームワークを提案する。
論文 参考訳（メタデータ） (2025-06-13T05:01:09Z) - VPI-Bench: Visual Prompt Injection Attacks for Computer-Use Agents [74.6761188527948]
完全なシステムアクセスを持つコンピュータ利用エージェント(CUA)は、セキュリティとプライバシの重大なリスクを負う。
我々は、悪意のある命令がレンダリングされたユーザーインターフェイスに視覚的に埋め込まれた視覚的プロンプトインジェクション(VPI)攻撃について検討する。
実験により,現在のCUAとBUAは,それぞれのプラットフォーム上で最大51%,100%の速度で騙すことができることがわかった。
論文 参考訳（メタデータ） (2025-06-03T05:21:50Z) - Decoding User Concerns in AI Health Chatbots: An Exploration of Security and Privacy in App Reviews [1.2437039433843042]
本研究では,セキュリティプライバシに関する懸念(SPR)を特定する上で,特にBARTとGemini GenAIの自動化手法の有効性を評価する。
以上の結果から,SPR分類におけるGeminiの性能は手動ラベリングに匹敵するものの,どちらの自動手法にも限界があることが示唆された。
論文 参考訳（メタデータ） (2025-01-31T00:38:37Z) - Confidential and Protected Disease Classifier using Fully Homomorphic Encryption [0.09424565541639365]
多くのユーザーは、病気のために医療専門家に相談する前に、ChatGPTやBardのようなプラットフォームで潜在的な原因を探している。
このようなプラットフォームの利便性にもかかわらず、個人医療データをオンラインで共有することは、悪意のあるプラットフォームの存在を含むリスクを引き起こす。
安全かつプライベートな診断システムのためのFHEとDeep Learningを組み合わせた新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-05-05T02:10:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。