論文の概要: EmoRAG: Evaluating RAG Robustness to Symbolic Perturbations

• arxiv url: http://arxiv.org/abs/2512.01335v1
• Date: Mon, 01 Dec 2025 06:53:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-02 19:46:34.72326
• Title: EmoRAG: Evaluating RAG Robustness to Symbolic Perturbations
• Title（参考訳）: EmoRAG: シンボリック摂動に対するRAGロバスト性の評価
• Authors: Xinyun Zhou, Xinfeng Li, Yinan Peng, Ming Xu, Xuanwang Zhang, Miao Yu, Yidong Wang, Xiaojun Jia, Kun Wang, Qingsong Wen, XiaoFeng Wang, Wei Dong,
• Abstract要約: Retrieval-Augmented Generation (RAG)システムは、ますます堅牢なAIの中心になっている。 今回の研究では、微妙な象徴的な摂動に対する感受性という、批判的で見落とされがちな脆弱性が明らかになりました。 一つのエモティコンをクエリに注入することで、意味的に無関係なテキストを100%検索できることを示す。
• 参考スコア（独自算出の注目度）: 57.97838850473147
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-Augmented Generation (RAG) systems are increasingly central to robust AI, enhancing large language model (LLM) faithfulness by incorporating external knowledge. However, our study unveils a critical, overlooked vulnerability: their profound susceptibility to subtle symbolic perturbations, particularly through near-imperceptible emoticon tokens such as "(@_@)" that can catastrophically mislead retrieval, termed EmoRAG. We demonstrate that injecting a single emoticon into a query makes it nearly 100% likely to retrieve semantically unrelated texts that contain a matching emoticon. Our extensive experiment across general question-answering and code domains, using a range of state-of-the-art retrievers and generators, reveals three key findings: (I) Single-Emoticon Disaster: Minimal emoticon injections cause maximal disruptions, with a single emoticon almost 100% dominating RAG output. (II) Positional Sensitivity: Placing an emoticon at the beginning of a query can cause severe perturbation, with F1-Scores exceeding 0.92 across all datasets. (III) Parameter-Scale Vulnerability: Counterintuitively, models with larger parameters exhibit greater vulnerability to the interference. We provide an in-depth analysis to uncover the underlying mechanisms of these phenomena. Furthermore, we raise a critical concern regarding the robustness assumption of current RAG systems, envisioning a threat scenario where an adversary exploits this vulnerability to manipulate the RAG system. We evaluate standard defenses and find them insufficient against EmoRAG. To address this, we propose targeted defenses, analyzing their strengths and limitations in mitigating emoticon-based perturbations. Finally, we outline future directions for building robust RAG systems.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG)システムは、より堅牢なAIの中心となり、外部知識を取り入れることで、大規模言語モデル(LLM)の忠実性を高める。 しかし,本研究では, 微妙な象徴的摂動に対する深い感受性, 特に「(@@@)」のような, 破滅的に誤解を招く可能性のあるエモティコントークン(EmoRAG)によって, 重大な脆弱性が明らかにされている。 一つのエモティコンをクエリに注入することで、マッチするエモティコンを含む意味的に無関係なテキストを100%検索できることを示す。 I) 単一エモティコン障害: 最小エモティコン注入は最大破壊を引き起こすが、単一のエモティコンはRAG出力をほぼ100%支配する。 (II) 位置感度: クエリの開始時にエモティコンを配置すると、F1スコアは全データセットで0.92を超え、深刻な摂動を引き起こす可能性がある。 (III) パラメータスケール脆弱性: 反対に、より大きなパラメータを持つモデルは、干渉に対する大きな脆弱性を示す。 これらの現象の根底にあるメカニズムを明らかにするために、詳細な分析を行う。 さらに,現在のRAGシステムのロバスト性仮定に対する批判的懸念を提起し,敵がRAGシステムを操作するためにこの脆弱性を悪用する脅威シナリオを想定する。 EmoRAGに対する標準防御効果を評価した。 そこで我々は,エモティコンによる摂動を緩和する際の強みと限界を解析し,目標とする防御法を提案する。 最後に、ロバストなRAGシステムを構築するための今後の方向性について概説する。

関連論文リスト

• GAPS: A Clinically Grounded, Automated Benchmark for Evaluating AI Clinicians [32.33432636089606]
  AI臨床システムの現在のベンチマークは、実際の臨床実践に必要な深さ、堅牢性、安全性を捉えていない。 本稿では, GAPSフレームワーク, textbfGrounding (認識深度), textbfAdequacy (回答完全性), textbfPerturbation (損耗性), textbfSafetyを提案する。 GAPS準拠のベンチマークをエンドツーエンドに構築するための,完全自動化されたガイドライン変換パイプラインを開発した。
  論文  参考訳（メタデータ） (2025-10-15T16:40:28Z)
• FreezeVLA: Action-Freezing Attacks against Vision-Language-Action Models [124.02734355214325]
  Vision-Language-Action(VLA)モデルはロボティクスの急速な進歩を加速している。 敵画像はVLAモデルを「凍結」し、その後の命令を無視する。 FreezeVLAは、min-maxバイレベル最適化を通じて、アクション凍結攻撃を生成し、評価する。
  論文  参考訳（メタデータ） (2025-09-24T08:15:28Z)
• The Emotional Baby Is Truly Deadly: Does your Multimodal Large Reasoning Model Have Emotional Flattery towards Humans? [10.208269928409138]
  EmoAgentは感情的なプロンプトを誇張して、推論経路をハイジャックする。 透過的な深い思考シナリオにおいて、永続的な高リスク障害モードを特定します。 高度MLRM実験はEmoAgentの有効性を示す。
  論文  参考訳（メタデータ） (2025-08-06T00:39:28Z)
• The Silent Saboteur: Imperceptible Adversarial Attacks against Black-Box Retrieval-Augmented Generation Systems [101.68501850486179]
  本稿では,RAGシステムに対する敵攻撃について検討し,その脆弱性を同定する。 このタスクは、ターゲット文書を検索する非知覚的な摂動を見つけることを目的としており、もともとはトップ$k$の候補セットから除外されていた。 本稿では、攻撃者とターゲットRAG間の相互作用を追跡する強化学習ベースのフレームワークであるReGENTを提案する。
  論文  参考訳（メタデータ） (2025-05-24T08:19:25Z)
• RSFuzz: A Robustness-Guided Swarm Fuzzing Framework Based on Behavioral Constraints [19.659469020494022]
  RSFuzzは、マルチロボットシステムの論理的脆弱性を検出するために設計された堅牢性誘導型Swarmファジィフレームワークである。 単一攻撃者ファジング(SAファジング)と多重攻撃者ファジング(MAファジング)の2つのスウォームファジングスキームを構築した。 その結果、RSFuzzは、平均的な17.75%の効率改善と38.4%の効率向上により、最先端技術よりも優れていた。
  論文  参考訳（メタデータ） (2024-09-07T06:46:23Z)
• Typos that Broke the RAG's Back: Genetic Attack on RAG Pipeline by Simulating Documents in the Wild via Low-level Perturbations [9.209974698634175]
  Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) の限界に対処するための有望なソリューションである。 本研究では,RAGのロバスト性評価における2つの未解明点について検討する。 本稿では,RAG(textitGARAG)を標的とした新たな攻撃手法を提案する。
  論文  参考訳（メタデータ） (2024-04-22T07:49:36Z)
• Exploring Robustness of Unsupervised Domain Adaptation in Semantic Segmentation [74.05906222376608]
  クリーンな画像とそれらの逆の例との一致を、出力空間における対照的な損失によって最大化する、逆向きの自己スーパービジョンUDA(ASSUDA)を提案する。 i) セマンティックセグメンテーションにおけるUDA手法のロバスト性は未解明のままであり, (ii) 一般的に自己スーパービジョン(回転やジグソーなど) は分類や認識などのイメージタスクに有効であるが, セグメンテーションタスクの識別的表現を学習する重要な監視信号の提供には失敗している。
  論文  参考訳（メタデータ） (2021-05-23T01:50:44Z)
• Towards robust sensing for Autonomous Vehicles: An adversarial perspective [82.83630604517249]
  結果として得られる決定が摂動に対して堅牢であることは、最も重要なことです。 敵対的摂動は、意図的に環境や感覚測定の修正を施したものである。 より安全なシステムの構築とデプロイには,センサーシステムの脆弱性を慎重に評価する必要がある。
  論文  参考訳（メタデータ） (2020-07-14T05:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。