論文の概要: Utility Under Attack: Agent Memory Poisoning and the Limits of Content Screening and Provenance Ranking

• arxiv url: http://arxiv.org/abs/2608.21230v1
• Date: Fri, 21 Aug 2026 15:37:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-24 14:49:32.627468
• Title: Utility Under Attack: Agent Memory Poisoning and the Limits of Content Screening and Provenance Ranking
• Title（参考訳）: 攻撃中のユーティリティ:エージェントのメモリ中毒とコンテンツスクリーニングと警告ランキングの限界
• Abstract要約: ロングMemEvalコーパスの1.2%は、精度を0.850から0.300に下げる。 これはコンテンツのみのスクリーニングの境界を公開している、と我々は主張する。 信頼できない内容がほとんど良性である混合推進コーパスでは、精度は0.3167から0.7000に上昇する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Persistent memory makes false information durable: once a false statement is stored, it can be retrieved into future sessions that match it. We measure the cost of this failure mode using plainly worded false assertions generated in a single pass, with no instruction, trigger, or retriever optimization. Poisoning 1.2% of a LongMemEval corpus reduces accuracy from 0.850 to 0.300. A four-stage write-time screening pipeline that reaches 0.832 recall on indirect prompt injection while flagging 1.5% of trigger-word-laden benign text rejects 0 of 360 poisoned memories. We argue this exposes a boundary of content-only screening: distinguishing a false assertion from a true one generally requires external grounding beyond the text itself. We then evaluate provenance-weighted retrieval. The shipped weight is statistically indistinguishable from no defense (p=0.80), while a stronger weight recovers utility only by excluding untrusted content. In a mixed-provenance corpus where untrusted content is mostly benign, accuracy rises from 0.3167 to 0.7000; when the answer-bearing evidence itself arrives untrusted, evidence recall falls to zero and accuracy to 0.0417. Under the measured similarity regime, the additive provenance term has no usable setting: a weight strong enough to resist query-shaped poison is also strong enough to suppress legitimate untrusted evidence. We therefore argue for bounded occupancy constraints at retrieval rather than additive provenance penalties, and release the harnesses, corpora, and aggregate run reports.
• Abstract（参考訳）: 永続メモリは偽情報を耐久性のあるものにする: 偽のステートメントが保存されると、それを一致する将来のセッションに検索する。 この障害モードのコストは,命令やトリガ,レトリバーの最適化を伴わずに,単一のパスで生成した,平易に表現された偽アサーションを用いて測定する。 ロングMemEvalコーパスの1.2%は、精度を0.850から0.300に下げる。 間接的なプロンプトインジェクションで0.832リコールに達する4段階の書き込み時スクリーニングパイプラインは、トリガーワードをラップした良性テキストの1.5%が360個の有毒メモリの0を拒絶する。 偽のアサーションと真のアサーションを区別するには、通常、テキスト自体を超えて外部のグラウンド化が必要です。 次に,前立腺重み付け検索の評価を行った。 出荷された重量は、防御のないものと統計的に区別できない(p=0.80)。 信頼できない内容がほとんど良性である混合証明コーパスでは、精度は0.3167から0.7000に上昇する。 測定された類似性体制の下では、加法的証明項は役に立たない:クエリー型の毒に抵抗するほど強い重量もまた、正当な信頼できない証拠を抑えるのに十分である。 そこで我々は,加法的前置法ではなく,検索における有界占有制約を論じ,ハーネス,コーパス,アグリゲーションの報告を解放する。

関連論文リスト

• VeriPhy: Agentic Physical Reasoning for World Model Evaluation and Refinement [57.86962208273888]
  テキストのみのプランナが入力された物理義務にプロンプトをコンパイルする監査可能な物理検証システムを提案する。 それぞれのアクションは、ペイロードがタイプされた測定か、明示的にタグ付けされた学習状態である証明付きエビデンスレコードを返す。 我々は, 実発生障害を即時参照, 空間, 時間でローカライズする, 1500クリックの欠陥記録のコーパスにおいて, 評価をアンロックする。
  論文  参考訳（メタデータ） (2026-09-02T20:36:45Z)
• Boundary-Mutation Testing for Pattern-Based Secret Detection: A Rule-Level Method and Cross-Scanner Evaluation [0.0]
  パターンベースシークレットスキャナにおける境界突然変異試験 3つのスキャナー(43ルールのオープンソーススキャナ、Gitleaks 8.21.2、TruffleHog 3.82.13)がテストされている。
  論文  参考訳（メタデータ） (2026-09-02T13:41:50Z)
• Trustworthy RAG: An Evaluation Agent for Detecting Misinformation and Knowledge Poisoning in Generative AI Systems [1.7327102304628392]
  Retrieval-Augmented Generation (RAG) は、Large Language Model (LLM) を外部知識で出力する。 本稿では,自然言語推論(NLI)の事実検証,関連性重み付けによる5信号毒素検出,信頼指数T = 0.4 F + 0.35 C + 0.25 (1 - P) を組み合わせた評価エージェントを提案する。 Llama 3.3 70BのTrathfulQAでは、エージェントは91%の精度と100%の精度に達し、インストラクションインジェクションで100%リコールされる。
  論文  参考訳（メタデータ） (2026-08-21T13:42:41Z)
• Inadvertent Context Leakage in Language Models [44.48836485611056]
  AIエージェントが単純なチャットを超えて有用であるためには、カレンダー、資格情報、健康記録、財務データなどの機密性の高いユーザコンテキストを保持する必要がある。 モデルコンテキストウィンドウにそのようなシークレットが存在するだけで、モデルの良質な出力に隠れた相関がもたらされるかどうかを考察する。 この制限されたリークは、ブラックボックスが基盤となるモデルにアクセスできることを前提とした、新しい適応攻撃によって悪用されることを示す。
  論文  参考訳（メタデータ） (2026-08-20T10:05:29Z)
• The Recall Trap: A Recall-Maximizing Retriever Configuration Reduces Issue Resolution in Fixed-Budget Code Context [45.88028371034407]
  コード修復における制御ケーススタディを報告し,新しい現象ではない。 私たちは、同じスタック上の1つのフラグ(1チャンク毎の重複)を切り替えます。 BM25(3.2pp、重要なパラダイム間相互作用)を逆転させる。 厳格な固定予算では、ファイルごとのハードダイドプリケートや、タスクに対するA/Bパッケージングポリシは、メトリックフラグを調整しないことが示されます。
  論文  参考訳（メタデータ） (2026-08-14T19:22:50Z)
• Excess Separability: Nuisance-Controlled Residual-Stream Probing for Benchmark Contamination Detection [0.0]
  ベンチマーク汚染はn-gram重なり、可能性に基づくメンバーシップ推論、カナリア文字列と診断される。 これを行う自然な方法はうまくいかないことを示し、測定を生き残るものを特定し、それを動作させる補正が、テストされるnullよりも多くのばらつきをもたらすことを見つけます。
  論文  参考訳（メタデータ） (2026-08-12T23:27:20Z)
• Does Accuracy Equal Evidence? Reasoning Faithfulness under KV Cache Compression [42.94199567901975]
  KVキャッシュ圧縮は、一般に最終回答精度によって評価され、答えを保存することもそれをサポートする推論を保存することを暗黙的に仮定する。 我々は、この仮定を大きな推論モデルで検証し、失敗する可能性があることを示す。 数理的推論,科学的QA,臨床計算,長文検索の3つのモデルに対して,10個のトークン消去KV圧縮法と1つの量子化法を評価した。
  論文  参考訳（メタデータ） (2026-08-03T03:03:53Z)
• Witness robustness: An operational quantifier of measurement resources via free state discrimination [43.748379918040854]
  実測値ではなく,自由状態の証人で構成される資源定量器の証人ロバスト性について紹介する。 我々は、信頼が回復される条件を特定し、資源破壊マップを認める資源理論において、証人は測定毎に消滅することを示す。 単一量子魔法における射影測定と2量子エンタングルメント理論における2元純状態射影測定について解析的な結果を得る。
  論文  参考訳（メタデータ） (2026-07-30T09:08:55Z)
• TriShieldRAG: A Three-Ring Defense-in-Depth Framework Against Knowledge Corruption in Retrieval-Augmented Generation [1.5474833458331865]
  Retrieval-Augmented Generationは、クエリ時に外部の知識ベースから取得したドキュメントを使用して、大きな言語モデルが質問に答えることを可能にする。 知識ベースが複数の当事者からの書き込みを受け付けている場合、攻撃者は選択された間違った回答に向けてモデルを操縦するために、少数の敵対的文書しか必要としない。 PoisonedRAGは、これを実証した:5つの人工文書が、修正されていないシステムの解答を約90%ひっくり返す。
  論文  参考訳（メタデータ） (2026-07-26T20:52:23Z)
• Train the Model, Not the Reader: Decodability Supervision for Verifiable Activation Explanations [0.11280931253550518]
  テストは2つの方法でパスされますが、忠実ではありません。 リリースされた Qwen-2.5-7B では、説明はチャンスよりもはるかに早く再構築されている。 AI安全性のために、RECAPは指定された内部コンテンツを独立してチェック可能にする。
  論文  参考訳（メタデータ） (2026-07-22T17:10:23Z)
• When Not to Write Memory: Governing False Promotion from Correlated Agent Traces [10.675009214407185]
  長寿命の言語エージェントは、自身の実行トレースから再利用可能なメモリを書くことが増えています。 重要な安全上の問題は、どのエージェントを覚えるべきかということだが、いつメモリの記述を一切拒否すべきなのか。 我々は、この障害モードをメモリの書き込みパスガバナンス問題として研究する。
  論文  参考訳（メタデータ） (2026-06-30T21:27:41Z)
• ADMIT: Few-shot Knowledge Poisoning Attacks on RAG-based Fact Checking [42.283307608442946]
  知識中毒はレトリーバル増強世代(RAG)システムにとって重大な脅威となる。 textbfADMIT (textbfADversarial textbfMulti-textbfInjection textbfTechnique) は、事実チェックの決定を覆す意味論的に整合した中毒攻撃である。
  論文  参考訳（メタデータ） (2025-10-11T14:50:40Z)
• Backdoor Attacks on Dense Retrieval via Public and Unintentional Triggers [46.19574403393449]
  本稿では,攻撃者が検索システムを誤認して攻撃者の特定内容を検索する新たな攻撃シナリオについて検討する。 これらのコンテンツは、攻撃者によって検索コーパスに注入され、ヘイトスピーチやスパムのような有害なテキストを含むことができる。 モデル重みに頼り、顕著で不自然な出力を生成する従来の手法とは異なり、文法エラーによって引き起こされる隠れたバックドア攻撃を提案する。
  論文  参考訳（メタデータ） (2024-02-21T05:03:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。