論文の概要: Exploiting Positional Bias for Query-Agnostic Generative Content in Search

• arxiv url: http://arxiv.org/abs/2405.00469v2
• Date: Wed, 09 Oct 2024 08:52:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 01:28:25.190625
• Title: Exploiting Positional Bias for Query-Agnostic Generative Content in Search
• Title（参考訳）: 検索におけるクエリ非依存な生成コンテンツのための位置バイアスの爆発
• Authors: Andrew Parry, Sean MacAvaney, Debasis Ganguly,
• Abstract要約: 検索結果における非関連テキストの位置に悪影響を及ぼすことなく、文書に非関連テキストを注入できることを示す。 非関連テキストの文脈化は、既存のコンテンツフィルタリング機構を回避しつつ、ネガティブな効果をさらに減少させる。
• 参考スコア（独自算出の注目度）: 24.600506147325717
• License:
• Abstract: In recent years, neural ranking models (NRMs) have been shown to substantially outperform their lexical counterparts in text retrieval. In traditional search pipelines, a combination of features leads to well-defined behaviour. However, as neural approaches become increasingly prevalent as the final scoring component of engines or as standalone systems, their robustness to malicious text and, more generally, semantic perturbation needs to be better understood. We posit that the transformer attention mechanism can induce exploitable defects through positional bias in search models, leading to an attack that could generalise beyond a single query or topic. We demonstrate such defects by showing that non-relevant text--such as promotional content--can be easily injected into a document without adversely affecting its position in search results. Unlike previous gradient-based attacks, we demonstrate these biases in a query-agnostic fashion. In doing so, without the knowledge of topicality, we can still reduce the negative effects of non-relevant content injection by controlling injection position. Our experiments are conducted with simulated on-topic promotional text automatically generated by prompting LLMs with topical context from target documents. We find that contextualisation of a non-relevant text further reduces negative effects whilst likely circumventing existing content filtering mechanisms. In contrast, lexical models are found to be more resilient to such content injection attacks. We then investigate a simple yet effective compensation for the weaknesses of the NRMs in search, validating our hypotheses regarding transformer bias.
• Abstract（参考訳）: 近年, ニューラルランキングモデル (NRM) は, テキスト検索において, 語彙的にはかなり優れていることが示されている。 従来の検索パイプラインでは、機能の組み合わせは明確に定義された振る舞いをもたらす。 しかし、エンジンの最終的なスコアリングコンポーネントやスタンドアロンシステムとしてニューラルネットワークアプローチが普及するにつれて、悪意のあるテキストに対する堅牢性、より一般的には意味論的摂動をよりよく理解する必要がある。 我々は、トランスフォーマーのアテンション機構が、探索モデルにおける位置バイアスによって悪用可能な欠陥を誘発し、単一のクエリやトピックを越えて一般化する攻撃につながると仮定する。 本研究では,非関連テキスト(プロモーションコンテンツなど)が,検索結果における位置に悪影響を及ぼすことなく,文書に簡単に注入できることを示して,このような欠陥を実証する。 従来の勾配に基づく攻撃とは異なり、これらのバイアスをクエリに依存しない方法で示す。 このような場合、話題の知識がなければ、注入位置を制御することで、非関連コンテンツ注入のマイナス効果を低減できる。 本実験は,対象文書からトピックコンテキストの LLM を誘導することにより,オンラインプロモーションテキストを自動生成する実験である。 非関連テキストの文脈化は、既存のコンテンツフィルタリング機構を回避しつつ、ネガティブな効果をさらに減少させる。 対照的に、レキシカルモデルはそのようなコンテンツインジェクション攻撃に対してより弾力性が高い。 次に、探索におけるNAMの弱点に対する簡易かつ効果的な補償について検討し、トランスフォーマーバイアスに関する仮説を検証した。

関連論文リスト

• Attacking Misinformation Detection Using Adversarial Examples Generated by Language Models [0.0]
  テキスト分類アルゴリズムのロバスト性をテストするために,逆例を生成するという課題について検討する。 我々は、攻撃者が試すことができるクエリ数に現実的な制限を設定することで、コンテンツモデレーションのシミュレーションに焦点を当てる。
  論文  参考訳（メタデータ） (2024-10-28T11:46:30Z)
• Neural Retrievers are Biased Towards LLM-Generated Content [35.40318940303482]
  大規模言語モデル(LLM)は情報検索(IR)のパラダイムに革命をもたらした。 これらのLCM生成した文書がIRシステムにどのように影響するかは、迫りつつも未解明の疑問である。 意外なことに, ニューラルネットワークによる検索モデルでは, LLM生成文書のランクが高くなる傾向が示唆された。
  論文  参考訳（メタデータ） (2023-10-31T14:42:23Z)
• Defense of Adversarial Ranking Attack in Text Retrieval: Benchmark and Baseline via Detection [12.244543468021938]
  本稿では,敵対的文書に対する2種類の検出タスクを提案する。 敵のランク防衛の調査を容易にするために、ベンチマークデータセットが確立されている。 いくつかの検出基準線の性能を総合的に調査する。
  論文  参考訳（メタデータ） (2023-07-31T16:31:24Z)
• Towards Imperceptible Document Manipulations against Neural Ranking Models [13.777462017782659]
  本稿では,Imberceptible DocumEnt Manipulation (IDEM) というフレームワークを提案する。 IDEMは、BARTのような確立された生成言語モデルに、容易に検出できるエラーを発生させることなく、接続文を生成するよう指示する。 対象文書の流速と正しさを保ちながら, IDEM が強いベースラインを上回り得ることを示す。
  論文  参考訳（メタデータ） (2023-05-03T02:09:29Z)
• Verifying the Robustness of Automatic Credibility Assessment [50.55687778699995]
  入力テキストにおける意味保存的変化がモデルを誤解させる可能性があることを示す。 また、誤情報検出タスクにおける被害者モデルと攻撃方法の両方をテストするベンチマークであるBODEGAについても紹介する。 我々の実験結果によると、現代の大規模言語モデルは、以前のより小さなソリューションよりも攻撃に対して脆弱であることが多い。
  論文  参考訳（メタデータ） (2023-03-14T16:11:47Z)
• Sequential Recommendation via Stochastic Self-Attention [68.52192964559829]
  Transformerベースのアプローチでは、アイテムをベクトルとして埋め込んで、ドット積の自己アテンションを使用してアイテム間の関係を測定する。 本稿では,これらの問題を克服するための新しいtextbfStochastic textbfSelf-textbfAttention (STOSA) を提案する。 我々は、アイテムと項目の位置関係を列で特徴づける新しいワッサースタイン自己保持モジュールを考案した。
  論文  参考訳（メタデータ） (2022-01-16T12:38:45Z)
• AES Systems Are Both Overstable And Oversensitive: Explaining Why And Proposing Defenses [66.49753193098356]
  スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。 のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。 高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-24T03:49:38Z)
• Detecting Hallucinated Content in Conditional Neural Sequence Generation [165.68948078624499]
  出力シーケンスの各トークンが(入力に含まれていない)幻覚化されているかどうかを予測するタスクを提案する。 また、合成データに微調整された事前学習言語モデルを用いて幻覚を検出する方法についても紹介する。
  論文  参考訳（メタデータ） (2020-11-05T00:18:53Z)
• Detecting Cross-Modal Inconsistency to Defend Against Neural Fake News [57.9843300852526]
  我々は、画像やキャプションを含む機械生成ニュースに対して、より現実的で挑戦的な対策を導入する。 敵が悪用できる可能性のある弱点を特定するために、4つの異なる種類の生成された記事からなるNeuralNewsデータセットを作成します。 ユーザ実験から得られた貴重な知見に加えて,視覚的意味的不整合の検出にもとづく比較的効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2020-09-16T14:13:15Z)
• Adv-BERT: BERT is not robust on misspellings! Generating nature adversarial samples on BERT [95.88293021131035]
  しかし、悪意のある敵のインスタンスがしばしば存在するのではなく、テクトナチュラルなシナリオでモデルがどのように機能するかは定かではない。 この研究は、NLPにおける最先端のTransformerスタイルモデルであるBERTの、ノイズの多いデータを扱うための頑健さを体系的に探求する。
  論文  参考訳（メタデータ） (2020-02-27T22:07:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。