論文の概要: Decision Models as Retrieval Gates Against Injection and Pollution
- arxiv url: http://arxiv.org/abs/2611.08325v1
- Date: Thu, 05 Nov 2026 17:19:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-07 04:55:13.595084
- Title: Decision Models as Retrieval Gates Against Injection and Pollution
- Title(参考訳): 排出・汚染防止ゲートとしての意思決定モデル
- Abstract要約: オープンウェイトな意思決定モデルが、両方の脅威に対して検索されたパスをスクリーニングできるかどうかを検証する。
隠されたインジェクションを含むフォーラムスタイルのWebページに対する1000の質問のベンチマークでは、Kev-4Bゲートが各パスのHTMLを読み取る。
ゲートは、ページのHTMLを読むときよりも、平易なテキストを読むときの方が、より多くの攻撃を受ける。
- 参考スコア(独自算出の注目度): 0.7161783472741748
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Retrieved web text can carry instructions aimed at the language model, or synthetic pages written to mislead. We test whether released open-weight decision models, which answer typed questions about a text without generating tokens, can screen retrieved passages against both threats. On a benchmark of 1,000 questions over forum-style web pages with hidden injected instructions, a Kev-4B gate reads each passage's HTML. Attack success, measured automatically, falls from 27.9% with no defence to 13.6% with the published mitigations (sanitisation, normalisation and citation prompting) and to 5.7% with the gate added. The gate takes 76 ms per passage and wrongly flags 4 of 186 benign pages with instructions for human readers. Responsiveness on clean queries stays within a point (85.6% to 86.2%). On a 200-query pollution testbed where two thirds of the candidate pages are fake, filtering the pool before the top ten are chosen keeps fake pages out of the answer (0.5% exposure) and holds accuracy at 83%, against 28% with no filter. Filtering only the top ten leaves the generator too few pages to answer. Large LLMs used as judges rank attacks better (AUROC 0.99 against 0.94) but cost ten times more. Gates catch more attacks when they read the page's HTML than when they read its plain text. Every model is open-weight.
- Abstract(参考訳): 検索されたWebテキストは、言語モデルや誤解を招くために書かれた合成ページを格納することができる。
トークンを生成せずにテキストに関する型付き質問に回答するオープンウェイト決定モデルが、両方の脅威に対して検索されたパスをスクリーニングできるかどうかを検証する。
隠されたインジェクションを含むフォーラムスタイルのWebページに対する1000の質問のベンチマークでは、Kev-4Bゲートが各パスのHTMLを読み取る。
自動で測定された攻撃の成功は、防御なしで27.9%から13.6%に減少し、衛生、正常化、引用の促進)、ゲートを追加して5.7%に増加した。
ゲートは通行に76msかかり、186ページのうち4ページが誤って表示され、人間の読者に指示が付けられている。
クリーンクエリに対する応答性は1ポイント(85.6%から86.2%)以内に留まる。
候補ページの3分の2がフェイクである200クエリの汚染テストベッドでは、上位10ページが選択される前にプールをフィルタリングすると、偽ページは回答から外され(0.5%が露出)、精度は83%、フィルターなしでは28%である。
上位10ページだけをフィルタリングすると、生成元が答えるページが少なくなる。
審査員の階級攻撃に使用される大型のLLM(AUROC 0.99対0.94)は10倍の費用がかかる。
ゲートは、ページのHTMLを読むときよりも、平易なテキストを読むときの方が、より多くの攻撃を受ける。
すべてのモデルはオープンウェイトです。
関連論文リスト
- When 200 OK Is Not an Answer: Silent Fetch Failures in Agentic Web Content Acquisition [6.446568742921826]
静的なクライアントとレンダリングされたブラウザクライアントで、3日で10,307のURLを取得しました。
200の応答に何が含まれるかの分類を定義し、静的200の応答を自動的にラベル付けし、300の項目に対してラベルをチェックする。
エージェントとその評価は、ステータスラインから推論するのではなく、フェッチ結果を明示的に報告すべきである、と我々は主張する。
論文 参考訳(メタデータ) (2026-10-31T12:42:45Z) - Ranking Is Not Deciding: Benchmark Shortcuts and Operating-Point Collapse in Query-Time RAG Poisoning Defenses [0.0]
検索した文書がジェネレータに到達する前に表示されるクエリ時間フィルタは、検索強化世代中毒に対する主要な防御である。
この性能は, フィルタの読み方ではなく, 毒物セットの作り方によって予測されることを示す。
論文 参考訳(メタデータ) (2026-10-24T18:40:31Z) - Same Attack, Different Judge: A First Controlled Adversarial Comparison of Jev, LLM Judges, and Purpose-Built Safety Classifiers [12.231986760106365]
TypeSafe AIのJevは、新しいタイプの安全判事だ。
開発者が事前に定義した質問に答え、各回答の確率を返す。
本報告では,Jevの初回制御逆評価について述べる。
論文 参考訳(メタデータ) (2026-10-13T06:43:29Z) - BrowseSafe++: Benchmarking Prompt Injection Detection Across Web Contexts, Languages, and Browser Views [9.895930642502169]
BrowseSafe++は、BrowseSafeを14,719ページから38,675ページまで拡張します。
プロンプトインジェクションのほとんどは、本番Webサイトで観察されました。各インジェクションは変更せず、その周りの機密部分を書き直して、プライバシを保護します。
ベンチマークには、ニュース記事から共有ドキュメント、フォーラムまで、12種類のWebサイトが含まれており、24の攻撃タイプが1ページに18の異なる場所に表示される。
どちらもフロンティアモデルに基づく検出器よりも高いF1スコアを達成すると同時に、良質なページに対する偽陽性率と推論コストを低く保っている。
論文 参考訳(メタデータ) (2026-10-12T22:17:51Z) - Reading Is Not Leaking: Local, Auditable Measurement and Reduction of Inference Exposure from Public Footprints [0.0]
ターゲットのプライベートな真実に対する推論システムが、どれだけの頻度で記録を読み取るかを示す。
16の合成企業に対する128の質問では、質問のほぼ半分が6人の読者によって正しく答えられることはない。
我々の分析装置は、規則と統計解法と、106M-パラメータエンコーダをスクラッチから訓練し、冗長な証拠をマークし、テキストを決して生成しない。
論文 参考訳(メタデータ) (2026-09-26T12:40:35Z) - Reward Hacking Challenges Oversight of Autonomous Research Agents [104.38175629103235]
自律的な研究エージェントは実験を設計し、結果を評価し、レポートを書き、科学的結果とそれを支持する証拠の両方を制御できる。
これは、意図した目標を達成することなく、報酬基準を満たす、報酬ハックのリスクを生み出す。
そこで本研究では,ハッキングが許可された場合,その方法がいかに効果的かつ検出可能か,LCMレビューパネルが意思決定と理由を返却した場合にどのように適応するか,などについて検討する。
論文 参考訳(メタデータ) (2026-09-23T17:54:01Z) - Turning Bias into Bugs: Bandit-Guided Style Manipulation Attacks on LLM Judges [65.92623263645139]
LLM審査員を誤解させるためにセマンティクスを保存する編集を学習するブラックボックスの敵対的フレームワークであるBITEを紹介する。
BITEは65%を超える攻撃成功率を獲得し、9ポイントのスケールでスコアを1-2ポイント上げる。
LLM-as-a-judgeパラダイムの根本的な弱点を明らかにし,ロバストでアタック・アウェアな評価を動機づけた。
論文 参考訳(メタデータ) (2026-05-24T05:24:09Z) - Evaluating Commercial AI Chatbots as News Intermediaries [85.32040752972836]
ベストシステムは、数時間前に報告されたイベントに関する質問に対して、90%以上の多重選択精度を達成する。
すべてのモデルはヒンディー語で最小の精度を達成する。
原因ではなく検索は エラーの70%以上を 引き起こします
論文 参考訳(メタデータ) (2026-05-21T17:42:07Z) - Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
完全無害データを用いた新しい毒殺法を提案する。
自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。
LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
論文 参考訳(メタデータ) (2025-05-23T08:13:59Z) - Understanding writing style in social media with a supervised
contrastively pre-trained transformer [57.48690310135374]
オンラインソーシャルネットワークは、ヘイトスピーチから偽情報の拡散まで、有害な行動の場として機能している。
本稿では, 4.5 x 106テキストの公開資料から得られた大規模コーパスに基づいて学習したStyle Transformer for Authorship Representations (STAR)を紹介する。
512個のトークンからなる8つのドキュメントからなるサポートベースを使用して、著者を最大1616人の著者のセットから、少なくとも80%の精度で識別することができる。
論文 参考訳(メタデータ) (2023-10-17T09:01:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。