論文の概要: Design and Implementation of a Secure RAG-Enhanced AI Chatbot for Smart Tourism Customer Service: Defending Against Prompt Injection Attacks -- A Case Study of Hsinchu, Taiwan
- arxiv url: http://arxiv.org/abs/2509.21367v1
- Date: Mon, 22 Sep 2025 11:40:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-29 20:57:53.875286
- Title: Design and Implementation of a Secure RAG-Enhanced AI Chatbot for Smart Tourism Customer Service: Defending Against Prompt Injection Attacks -- A Case Study of Hsinchu, Taiwan
- Title（参考訳）: スマートツーリズムカスタマーサービスのためのセキュアなRAG強化型AIチャットボットの設計と実装 : 台湾・日中市を事例として
- Authors: Yu-Kai Shih, You-Kai Kang,
- Abstract要約: 本稿では,Hsinchuスマート観光サービスのためのセキュア検索強化型チャットボットの設計と実装について述べる。
このシステムは、API関数呼び出し、多層言語分析、インジェクションに対するガードレールとRAGを統合している。
674の対向的プロンプトと223の良性クエリによる評価は、良性タスクに対する95%以上の精度を示し、インジェクション攻撃をかなり検出した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: As smart tourism evolves, AI-powered chatbots have become indispensable for delivering personalized, real-time assistance to travelers while promoting sustainability and efficiency. However, these systems are increasingly vulnerable to prompt injection attacks, where adversaries manipulate inputs to elicit unintended behaviors such as leaking sensitive information or generating harmful content. This paper presents a case study on the design and implementation of a secure retrieval-augmented generation (RAG) chatbot for Hsinchu smart tourism services. The system integrates RAG with API function calls, multi-layered linguistic analysis, and guardrails against injections, achieving high contextual awareness and security. Key features include a tiered response strategy, RAG-driven knowledge grounding, and intent decomposition across lexical, semantic, and pragmatic levels. Defense mechanisms include system norms, gatekeepers for intent judgment, and reverse RAG text to prioritize verified data. We also benchmark a GPT-5 variant (released 2025-08-07) to assess inherent robustness. Evaluations with 674 adversarial prompts and 223 benign queries show over 95% accuracy on benign tasks and substantial detection of injection attacks. GPT-5 blocked about 85% of attacks, showing progress yet highlighting the need for layered defenses. Findings emphasize contributions to sustainable tourism, multilingual accessibility, and ethical AI deployment. This work offers a practical framework for deploying secure chatbots in smart tourism and contributes to resilient, trustworthy AI applications.
- Abstract（参考訳）: スマート観光が発展するにつれて、AIを利用したチャットボットは、旅行者にパーソナライズされたリアルタイムのアシストを提供すると同時に、持続可能性と効率を向上するために欠かせないものになっている。
しかし、これらのシステムはインジェクション攻撃に対してますます脆弱になり、敵はインプットを操作して、機密情報の漏洩や有害なコンテンツの生成などの意図しない行動を誘発する。
本稿では,Hsinchuスマート観光サービスのためのセキュア検索強化型チャットボット(RAG)の設計と実装に関するケーススタディを提案する。
このシステムはRAGとAPI関数呼び出し、多層言語分析、インジェクションに対するガードレールを統合し、高いコンテキスト認識とセキュリティを実現する。
主な特徴は、結合された応答戦略、RAG駆動の知識基盤、語彙、意味、実用レベルを越えた意図の分解である。
防御機構には、システム規範、意図判断のためのゲートキーパー、検証されたデータを優先順位付けするためのRAGテキストのリバースが含まれる。
また,GPT-5変異体(2025-08-07)をベンチマークし,本質的なロバスト性を評価する。
674の対向的プロンプトと223の良性クエリによる評価は、良性タスクに対する95%以上の精度を示し、インジェクション攻撃をかなり検出した。
GPT-5は攻撃の約85%をブロックし、防御層の必要性を浮き彫りにした。
発見は、持続可能な観光、多言語アクセシビリティ、倫理的AI展開への貢献を強調している。
この作業は、スマート観光にセキュアなチャットボットをデプロイするための実践的なフレームワークを提供し、レジリエントで信頼性の高いAIアプリケーションに貢献する。
関連論文リスト
- Passive Hack-Back Strategies for Cyber Attribution: Covert Vectors in Denied Environment [0.2538209532048867]
本稿では,直接攻撃を起こさずに隠蔽属性と情報収集を可能にするパッシブ・ハックバック手法の戦略的価値について検討する。
主なベクタとしては、ビーコンの追跡、ハネトケン、環境固有のペイロード、流出または漏洩した資産に埋め込まれたサプライチェーンベースのトラップなどがある。
また、受動的ハックバック操作の強化における人工知能(AI)の役割についても検討する。
論文 参考訳（メタデータ） (2025-08-17T16:43:23Z) - AutoAdv: Automated Adversarial Prompting for Multi-Turn Jailbreaking of Large Language Models [0.0]
大規模言語モデル(LLM)は、ジェイルブレイク攻撃の脆弱性を示し続けている。
本稿では,敵対的即時生成を自動化する新しいフレームワークであるAutoAdvを紹介する。
我々の攻撃は、有害なコンテンツ生成に対して最大86%のジェイルブレイク成功率を達成したことを示す。
論文 参考訳（メタデータ） (2025-04-18T08:38:56Z) - Temporal Context Awareness: A Defense Framework Against Multi-turn Manipulation Attacks on Large Language Models [0.0]
大規模言語モデル(LLM)は、高度なマルチターン操作攻撃に対してますます脆弱である。
本稿では,この課題に対処するための新しい防御機構であるテンポラルコンテキスト認識フレームワークを紹介する。
シミュレーションされた敵シナリオに関する予備的な評価は、微妙な操作パターンを識別するフレームワークの可能性を示している。
論文 参考訳（メタデータ） (2025-03-18T22:30:17Z) - Turning Logic Against Itself : Probing Model Defenses Through Contrastive Questions [50.40122190627256]
非倫理的反応を引き起こすために、対照的な推論を利用する新しいジェイルブレイク手法であるPOATEを導入する。
PoATEは意味論的に意図に反し、敵のテンプレートと統合し、有害なアウトプットを驚くほど微妙に操る。
これに対応するために、悪意のある意図と理性を検出するためにクエリを分解して、有害な応答を評価し、拒否するIntent-Aware CoTとReverse Thinking CoTを提案する。
論文 参考訳（メタデータ） (2025-01-03T15:40:03Z) - Poison Attacks and Adversarial Prompts Against an Informed University Virtual Assistant [3.0874677990361246]
大規模言語モデル(LLM)は特に敵の攻撃に対して脆弱である。
AIベースのシステムの急速な開発ペースは、意思決定において人間を支援するジェネレーティブAI(GenAI)の可能性によって推進されている。
脅威アクターは、セキュリティギャップ、貧弱な保護、限られたデータガバナンスを使用して、システムとそのデータへの不正アクセスを許可する攻撃を実行することができる。
論文 参考訳（メタデータ） (2024-11-03T05:34:38Z) - Artificial Intelligence as the New Hacker: Developing Agents for Offensive Security [0.0]
本稿では,人工知能(AI)の攻撃的サイバーセキュリティへの統合について検討する。
サイバー攻撃をシミュレートし実行するために設計された、自律的なAIエージェントであるReaperAIを開発している。
ReaperAIは、セキュリティ脆弱性を自律的に識別し、悪用し、分析する可能性を実証する。
論文 参考訳（メタデータ） (2024-05-09T18:15:12Z) - On the Security Risks of Knowledge Graph Reasoning [71.64027889145261]
我々は、敵の目標、知識、攻撃ベクトルに応じて、KGRに対するセキュリティ脅威を体系化する。
我々は、このような脅威をインスタンス化する新しいタイプの攻撃であるROARを提示する。
ROARに対する潜在的な対策として,潜在的に有毒な知識のフィルタリングや,対向的な拡張クエリによるトレーニングについて検討する。
論文 参考訳（メタデータ） (2023-05-03T18:47:42Z) - Can AI-Generated Text be Reliably Detected? [50.95804851595018]
大規模言語モデル(LLM)は、様々なアプリケーションで非常によく機能します。
盗作、偽ニュースの発生、スパムなどの活動においてこれらのモデルが誤用される可能性があることは、彼らの責任ある使用に対する懸念を引き起こしている。
我々は、攻撃者の存在下で、これらのAIテキスト検出装置の堅牢性を強調テストする。
論文 参考訳（メタデータ） (2023-03-17T17:53:19Z) - Illusory Attacks: Information-Theoretic Detectability Matters in Adversarial Attacks [76.35478518372692]
エプシロン・イリューソリー(epsilon-illusory)は、シーケンシャルな意思決定者に対する敵対的攻撃の新たな形態である。
既存の攻撃と比較して,エプシロン・イリューソリーの自動検出は極めて困難である。
以上の結果から, より優れた異常検知器, 効果的なハードウェアおよびシステムレベルの防御の必要性が示唆された。
論文 参考訳（メタデータ） (2022-07-20T19:49:09Z) - Adversarial vs behavioural-based defensive AI with joint, continual and
active learning: automated evaluation of robustness to deception, poisoning
and concept drift [62.997667081978825]
人工知能(AI)の最近の進歩は、サイバーセキュリティのための行動分析(UEBA)に新たな能力をもたらした。
本稿では、検出プロセスを改善し、人間の専門知識を効果的に活用することにより、この攻撃を効果的に軽減するソリューションを提案する。
論文 参考訳（メタデータ） (2020-01-13T13:54:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。