Fugu-MT 論文翻訳(概要): Controlled Generation of Natural Adversarial Documents for Stealthy Retrieval Poisoning

論文の概要: Controlled Generation of Natural Adversarial Documents for Stealthy Retrieval Poisoning

arxiv url: http://arxiv.org/abs/2410.02163v1
Date: Thu, 3 Oct 2024 03:06:42 GMT
ステータス: 処理完了
システム内更新日: 2024-11-04 08:15:54.309855
Title: Controlled Generation of Natural Adversarial Documents for Stealthy Retrieval Poisoning
Title（参考訳）: ステルス性検索毒殺のための自然逆境文書の生成制御
Authors: Collin Zhang, Tingwei Zhang, Vitaly Shmatikov,
Abstract要約: 近年の研究では, 組込み類似性に基づく検索は毒性に弱いことが示されている。従来のHotFlipベースの手法は、パープレキシティ・フィルタリングを用いて、非常に容易に検出可能なドキュメントを生成する。我々は、敵の目的(類似性を包含する)と「自然性」の目的を組み合わせた新しい制御された生成手法を設計し、実装し、評価する。
参考スコア（独自算出の注目度）: 9.200635465485067
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recent work showed that retrieval based on embedding similarity (e.g., for retrieval-augmented generation) is vulnerable to poisoning: an adversary can craft malicious documents that are retrieved in response to broad classes of queries. We demonstrate that previous, HotFlip-based techniques produce documents that are very easy to detect using perplexity filtering. Even if generation is constrained to produce low-perplexity text, the resulting documents are recognized as unnatural by LLMs and can be automatically filtered from the retrieval corpus. We design, implement, and evaluate a new controlled generation technique that combines an adversarial objective (embedding similarity) with a "naturalness" objective based on soft scores computed using an open-source, surrogate LLM. The resulting adversarial documents (1) cannot be automatically detected using perplexity filtering and/or other LLMs, except at the cost of significant false positives in the retrieval corpus, yet (2) achieve similar poisoning efficacy to easily-detectable documents generated using HotFlip, and (3) are significantly more effective than prior methods for energy-guided generation, such as COLD.
Abstract（参考訳）: 近年の研究では, 組込み類似性に基づく検索(例えば, 検索強化世代)は, 有害な攻撃に対して脆弱であることが示されている。従来のHotFlipベースの手法は、パープレキシティ・フィルタリングを用いて、非常に容易に検出可能なドキュメントを生成する。生成された文書はLLMによって不自然なものとして認識され、検索コーパスから自動的にフィルタリングされる。我々は,オープンソースのサロゲート LLM を用いて計算したソフトスコアに基づいて,敵対的目的(類似性を埋め込んだ)と「自然性」の目標とを組み合わせた新たな制御生成手法を設計し,実装し,評価する。得られた逆境文書(1)は、検索コーパスにおいて有意な偽陽性を犠牲にして、パープレキシティフィルタリングや/またはその他のLCMを用いて自動的に検出することはできないが、(2)HotFlipを用いて容易に検出可能な文書に対して類似の毒性効果を達成し、(3)COLDのようなエネルギー誘導生成の従来の方法よりも有意に有効である。

関連論文リスト

Zero-Shot Dense Retrieval with Embeddings from Relevance Feedback [17.986392250269606]
Relevance Feedback (ReDE-RF) による実文書埋め込みについて紹介する。 ReDE-RFは、関連性フィードバックにインスパイアされて、関連性推定タスクとして仮説文書生成を再構成することを提案する。実験の結果,ReDE-RFは最先端のゼロショット高密度検索手法を一貫して上回っていることがわかった。
論文参考訳（メタデータ） (2024-10-28T17:40:40Z)
Localizing Factual Inconsistencies in Attributable Text Generation [91.981439746404]
本稿では,帰属可能なテキスト生成における事実の不整合をローカライズするための新しい形式であるQASemConsistencyを紹介する。まず,人間のアノテーションに対するQASemConsistency法の有効性を示す。そこで我々は,局所的な事実の不整合を自動的に検出するいくつかの手法を実装した。
論文参考訳（メタデータ） (2024-10-09T22:53:48Z)
On the Vulnerability of Applying Retrieval-Augmented Generation within Knowledge-Intensive Application Domains [34.122040172188406]
Retrieval-Augmented Generation (RAG)は、知識集約ドメインにおける大規模言語モデル(LLM)の性能向上を実証的に示している。医学的Q&Aにおいて,RAGは普遍的な毒殺攻撃に弱いことが示唆された。我々は、RAGの安全な使用を保証するために、新しい検出ベースの防御を開発する。
論文参考訳（メタデータ） (2024-09-12T02:43:40Z)
Zero-Shot Machine-Generated Text Detection Using Mixture of Large Language Models [35.67613230687864]
大規模言語モデル(LLM)は大規模に訓練され、強力なテキスト生成能力を備えている。それぞれの強みを組み合わせるための理論的な新しいアプローチを提案する。種々のジェネレータLSMを用いた実験により,検出のロバスト性を効果的に向上することが示唆された。
論文参考訳（メタデータ） (2024-09-11T20:55:12Z)
SparseCL: Sparse Contrastive Learning for Contradiction Retrieval [87.02936971689817]
コントラディション検索(Contradiction Search)とは、クエリの内容に明示的に異を唱える文書を識別し、抽出することである。類似性探索やクロスエンコーダモデルといった既存の手法には、大きな制限がある。文間の微妙で矛盾したニュアンスを保存するために特別に訓練された文埋め込みを利用するSparseCLを導入する。
論文参考訳（メタデータ） (2024-06-15T21:57:03Z)
PromptReps: Prompting Large Language Models to Generate Dense and Sparse Representations for Zero-Shot Document Retrieval [76.50690734636477]
本稿では,PmptRepsを提案する。このPmptRepsは,トレーニングを必要とせず,コーパス全体から検索できる機能である。検索システムは、高密度テキスト埋め込みとスパースバッグ・オブ・ワード表現の両方を利用する。
論文参考訳（メタデータ） (2024-04-29T04:51:30Z)
Corrective Retrieval Augmented Generation [36.04062963574603]
Retrieval-augmented Generation (RAG) は、検索された文書の関連性に大きく依存しており、検索が失敗した場合のモデルがどのように振る舞うかについての懸念を提起する。生成の堅牢性を改善するために,CRAG(Corrective Retrieval Augmented Generation)を提案する。 CRAGはプラグアンドプレイであり、様々なRAGベースのアプローチとシームレスに結合できる。
論文参考訳（メタデータ） (2024-01-29T04:36:39Z)
ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
本稿では,LLMベースのフレームワークであるReEvalについて述べる。本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
論文参考訳（メタデータ） (2023-10-19T06:37:32Z)
SeqXGPT: Sentence-Level AI-Generated Text Detection [62.3792779440284]
大規模言語モデル(LLM)を用いた文書の合成による文レベル検出の課題について紹介する。次に,文レベルのAIGT検出機能として,ホワイトボックスLEMのログ確率リストを利用した textbfSequence textbfX (Check) textbfGPT を提案する。
論文参考訳（メタデータ） (2023-10-13T07:18:53Z)
Precise Zero-Shot Dense Retrieval without Relevance Labels [60.457378374671656]
仮説文書埋め込み(英: hypothetical Document Embeddings, HyDE)は、ゼロショット高密度検索システムである。我々は,HyDEが最先端の非教師付き高密度検索器であるContrieverを著しく上回っていることを示す。
論文参考訳（メタデータ） (2022-12-20T18:09:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。