論文の概要: Evaluating Robustness of Generative Search Engine on Adversarial Factual Questions

• arxiv url: http://arxiv.org/abs/2403.12077v1
• Date: Sun, 25 Feb 2024 11:22:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-25 07:36:54.677955
• Title: Evaluating Robustness of Generative Search Engine on Adversarial Factual Questions
• Title（参考訳）: 逆問題に対する生成検索エンジンのロバスト性評価
• Authors: Xuming Hu, Xiaochuan Li, Junzhe Chen, Yinghui Li, Yangning Li, Xiaoguang Li, Yasheng Wang, Qun Liu, Lijie Wen, Philip S. Yu, Zhijiang Guo,
• Abstract要約: 生成検索エンジンは、人々がオンラインで情報を求める方法を変える可能性を秘めている。 しかし,既存の大規模言語モデル(LLM)が支援する生成検索エンジンからの応答は必ずしも正確ではない。 検索強化世代は、敵がシステム全体を回避できるため、安全上の懸念を増す。
• 参考スコア（独自算出の注目度）: 89.35345649303451
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative search engines have the potential to transform how people seek information online, but generated responses from existing large language models (LLMs)-backed generative search engines may not always be accurate. Nonetheless, retrieval-augmented generation exacerbates safety concerns, since adversaries may successfully evade the entire system by subtly manipulating the most vulnerable part of a claim. To this end, we propose evaluating the robustness of generative search engines in the realistic and high-risk setting, where adversaries have only black-box system access and seek to deceive the model into returning incorrect responses. Through a comprehensive human evaluation of various generative search engines, such as Bing Chat, PerplexityAI, and YouChat across diverse queries, we demonstrate the effectiveness of adversarial factual questions in inducing incorrect responses. Moreover, retrieval-augmented generation exhibits a higher susceptibility to factual errors compared to LLMs without retrieval. These findings highlight the potential security risks of these systems and emphasize the need for rigorous evaluation before deployment.
• Abstract（参考訳）: 生成検索エンジンは、人々がオンラインで情報を求める方法を変える可能性があるが、既存の大規模言語モデル(LLM)が支援する生成検索エンジンからの応答は必ずしも正確ではないかもしれない。 にもかかわらず、検索が強化された世代は、主張の最も脆弱な部分を微妙に操作することで、敵がシステム全体を回避できるため、安全上の懸念をさらに高める。 そこで本研究では,ブラックボックスシステムにのみアクセス可能な生成検索エンジンの高リスク環境でのロバスト性を評価し,そのモデルから誤った応答を返却する方法を提案する。 本稿では,Bing Chat,PerplexityAI,YouChatなどの多種多様な生成検索エンジンの総合的評価を通じて,不適切な応答を誘導する対人的事実質問の有効性を実証する。 さらに, 検索拡張生成は, 検索不要のLLMに比べて, 事実誤りに対する感受性が高い。 これらの知見は、これらのシステムの潜在的なセキュリティリスクを強調し、展開前に厳密な評価の必要性を強調している。

関連論文リスト

• DeepRAG: Thinking to Retrieval Step by Step for Large Language Models [92.87532210660456]
  我々はマルコフ決定過程(MDP)として検索強化推論をモデル化するDeepRAGを提案する。 クエリを反復的に分解することで、DeepRAGは外部知識を取得するか、あるいは各ステップでパラメトリック推論に依存するかを動的に決定する。 実験の結果、DeepRAGは解答精度を21.99%向上させ、検索強化推論の最適化の有効性を示した。
  論文  参考訳（メタデータ） (2025-02-03T08:22:45Z)
• Towards More Robust Retrieval-Augmented Generation: Evaluating RAG Under Adversarial Poisoning Attacks [45.07581174558107]
  Retrieval-Augmented Generation (RAG) システムは幻覚を緩和するための有望な解決策として登場した。 RAGシステムは、検索データベースに注入された悪意のあるパスが、モデルを誤誘導し、事実的に誤ったアウトプットを発生させるような、敵の毒殺攻撃に弱い。 本稿では,RAGシステムの検索と生成の両要素について検討し,攻撃に対するロバスト性を高める方法について考察する。
  論文  参考訳（メタデータ） (2024-12-21T17:31:52Z)
• "Glue pizza and eat rocks" -- Exploiting Vulnerabilities in Retrieval-Augmented Generative Models [74.05368440735468]
  Retrieval-Augmented Generative (RAG)モデルにより大規模言語モデル(LLM)が強化される 本稿では,これらの知識基盤の開放性を敵が活用できるセキュリティ上の脅威を示す。
  論文  参考訳（メタデータ） (2024-06-26T05:36:23Z)
• Ranking Manipulation for Conversational Search Engines [7.958276719131612]
  本稿では,対話型検索エンジンが参照するソースのランク付け順序に対するインジェクションのインジェクションの影響について検討する。 低品位製品を確実に促進する攻撃木を用いた脱獄技術を提案する。
  論文  参考訳（メタデータ） (2024-06-05T19:14:21Z)
• Large Language Models for Information Retrieval: A Survey [58.30439850203101]
  情報検索は、項ベースの手法から高度なニューラルモデルとの統合へと進化してきた。 近年の研究では、大規模言語モデル(LLM)を活用してIRシステムの改善が試みられている。 LLMとIRシステムの合流点を探索し、クエリリライト、リトリバー、リランカー、リーダーといった重要な側面を含む。
  論文  参考訳（メタデータ） (2023-08-14T12:47:22Z)
• On the Robustness of Generative Retrieval Models: An Out-of-Distribution Perspective [65.16259505602807]
  本研究では,高密度検索モデルに対する生成的検索モデルのロバスト性について検討する。 実験結果から, 生成的検索モデルのOODロバスト性には強化が必要であることが示唆された。
  論文  参考訳（メタデータ） (2023-06-22T09:18:52Z)
• Evaluating Verifiability in Generative Search Engines [70.59477647085387]
  生成検索エンジンは、インラインの引用とともに、ユーザークエリへの応答を直接生成する。 我々は,一般的な4つの生成検索エンジンの評価を行う。 既存の生成検索エンジンからの応答は流動的であり、情報的に見えるが、しばしばサポートされていない文や不正確な引用を含んでいる。
  論文  参考訳（メタデータ） (2023-04-19T17:56:12Z)
• GUTS: Generalized Uncertainty-Aware Thompson Sampling for Multi-Agent Active Search [8.767487824003373]
  一般化された不確実性認識型トンプソンサンプリング (GUTS) アルゴリズムは, 大規模非構造環境における能動探索のための異種マルチロボットシステムへの展開に適したアルゴリズムである。 探索面積が75,000 sq.mの非構造環境におけるマルチロボットシステムを用いたフィールドテストを行った。
  論文  参考訳（メタデータ） (2023-04-04T18:58:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。