論文の概要: Membership Inference Attack against Long-Context Large Language Models

• arxiv url: http://arxiv.org/abs/2411.11424v1
• Date: Mon, 18 Nov 2024 09:50:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:33:53.063130
• Title: Membership Inference Attack against Long-Context Large Language Models
• Title（参考訳）: 長期大規模言語モデルに対するメンバーシップ推論攻撃
• Authors: Zixiong Wang, Gaoyang Liu, Yang Yang, Chen Wang,
• Abstract要約: すべての情報を長いコンテキストに統合することで、センシティブな情報のリポジトリになる、と我々は主張する。 LCLMに適した6つのメンバシップ推論攻撃戦略を提案する。 LCLMがそのような会員情報を明らかにするのに有効な理由について検討する。
• 参考スコア（独自算出の注目度）: 8.788010048413188
• License:
• Abstract: Recent advances in Large Language Models (LLMs) have enabled them to overcome their context window limitations, and demonstrate exceptional retrieval and reasoning capacities on longer context. Quesion-answering systems augmented with Long-Context Language Models (LCLMs) can automatically search massive external data and incorporate it into their contexts, enabling faithful predictions and reducing issues such as hallucinations and knowledge staleness. Existing studies targeting LCLMs mainly concentrate on addressing the so-called lost-in-the-middle problem or improving the inference effiencicy, leaving their privacy risks largely unexplored. In this paper, we aim to bridge this gap and argue that integrating all information into the long context makes it a repository of sensitive information, which often contains private data such as medical records or personal identities. We further investigate the membership privacy within LCLMs external context, with the aim of determining whether a given document or sequence is included in the LCLMs context. Our basic idea is that if a document lies in the context, it will exhibit a low generation loss or a high degree of semantic similarity to the contents generated by LCLMs. We for the first time propose six membership inference attack (MIA) strategies tailored for LCLMs and conduct extensive experiments on various popular models. Empirical results demonstrate that our attacks can accurately infer membership status in most cases, e.g., 90.66% attack F1-score on Multi-document QA datasets with LongChat-7b-v1.5-32k, highlighting significant risks of membership leakage within LCLMs input contexts. Furthermore, we examine the underlying reasons why LCLMs are susceptible to revealing such membership information.
• Abstract（参考訳）: 近年のLarge Language Models (LLM) の進歩により、コンテキストウィンドウの制限を克服し、より長いコンテキストで例外的な検索能力と推論能力を示した。 LCLM(Long-Context Language Models)を付加した問い合わせ応答システムは、大量の外部データを自動的に検索し、それらのコンテキストに組み込むことができ、忠実な予測を可能にし、幻覚や知識の安定化といった問題を低減できる。 LCLMをターゲットとする既存の研究は、主にいわゆる失業者問題の解決や推論効率の向上に重点を置いており、そのプライバシーリスクは未解明のままである。 本稿では,このギャップを埋めることを目指しており,全ての情報を長期的コンテキストに統合することで,医療記録や個人情報などの個人データを含むセンシティブな情報のリポジトリとなることを議論する。 さらに,LCLMの外部コンテキストにおけるメンバシッププライバシについて検討し,LCLMのコンテキストに含まれる文書やシーケンスが含まれているかどうかを判断する。 我々の基本的な考え方は、文書がコンテキスト内にある場合、LCLMが生成した内容と低世代損失または高い意味的類似性を示すことである。 我々は,LCLMに適した6つのメンバシップ推論攻撃(MIA)戦略を初めて提案し,様々な人気モデルの広範な実験を行った。 実験の結果,LongChat-7b-v1.5-32kを用いたマルチドキュメントQAデータセットにおいて,90.66%がF1スコアを攻撃し,LCLMの入力コンテキスト内でのメンバシップリークの重大なリスクを浮き彫りにした。 さらに,LCLMがそのような会員情報を明らかにするのに有効な理由についても検討した。

関連論文リスト

• Exploring Language Model Generalization in Low-Resource Extractive QA [57.14068405860034]
  ドメインドリフト下でのLarge Language Models (LLM) を用いた抽出質問応答(EQA)について検討する。 パフォーマンスギャップを実証的に説明するための一連の実験を考案する。
  論文  参考訳（メタデータ） (2024-09-27T05:06:43Z)
• LLM-PBE: Assessing Data Privacy in Large Language Models [111.58198436835036]
  大規模言語モデル(LLM)は多くのドメインに不可欠なものとなり、データ管理、マイニング、分析におけるアプリケーションを大幅に進歩させた。 この問題の批判的な性質にもかかわらず、LLMにおけるデータプライバシのリスクを総合的に評価する文献は存在しない。 本稿では,LLMにおけるデータプライバシリスクの体系的評価を目的としたツールキットであるLLM-PBEを紹介する。
  論文  参考訳（メタデータ） (2024-08-23T01:37:29Z)
• ReCaLL: Membership Inference via Relative Conditional Log-Likelihoods [56.073335779595475]
  ReCaLL (Relative Conditional Log-Likelihood) という新しいメンバーシップ推論攻撃(MIA)を提案する。 ReCaLLは、ターゲットデータポイントを非メンバーコンテキストでプレフィックスする場合、条件付きログライクな状態の相対的変化を調べる。 我々は総合的な実験を行い、ReCaLLがWikiMIAデータセット上で最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-06-23T00:23:13Z)
• CLAMBER: A Benchmark of Identifying and Clarifying Ambiguous Information Needs in Large Language Models [60.59638232596912]
  大規模言語モデル(LLM)を評価するベンチマークであるCLAMBERを紹介する。 分類を基盤として12Kの高品質なデータを構築し, 市販のLCMの強度, 弱点, 潜在的なリスクを評価する。 本研究は, あいまいなユーザクエリの特定と明確化において, 現在のLCMの実用性に限界があることを示唆する。
  論文  参考訳（メタデータ） (2024-05-20T14:34:01Z)
• Locally Differentially Private In-Context Learning [8.659575019965152]
  大規模な事前学習言語モデル(LLM)は、驚くべきインコンテキスト学習(ICL)能力を示している。 本稿では,文脈内学習(LDP-ICL)の局所的差分的フレームワークを提案する。 変圧器の勾配勾配降下による文脈内学習のメカニズムを考慮し,LDP-ICLにおけるプライバシとユーティリティのトレードオフ分析を行う。
  論文  参考訳（メタデータ） (2024-05-07T06:05:43Z)
• On Protecting the Data Privacy of Large Language Models (LLMs): A Survey [35.48984524483533]
  LLM(Large Language Model)は、人間の言語を理解し、生成し、翻訳できる複雑な人工知能システムである。 LLMは大量のデータを処理して生成し、データプライバシを脅かす可能性がある。
  論文  参考訳（メタデータ） (2024-03-08T08:47:48Z)
• Blinded by Generated Contexts: How Language Models Merge Generated and Retrieved Contexts When Knowledge Conflicts? [45.233517779029334]
  応答が生成されたコンテキストと検索されたコンテキストに関連付けられているかどうかを識別する。 実験では、誤った情報を提供する場合でも、生成されたコンテキストを優先する複数のLSMにおいて、重大なバイアスが示される。
  論文  参考訳（メタデータ） (2024-01-22T12:54:04Z)
• Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation [91.30946119104111]
  大規模言語モデル(LLM)は,質問に応答する能力に対して,波及しない自信を持っていることを示す。 検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。 また, LLM は, 回答の定式化に際し, 提案した検索結果に依存する傾向が認められた。
  論文  参考訳（メタデータ） (2023-07-20T16:46:10Z)
• On the Risk of Misinformation Pollution with Large Language Models [127.1107824751703]
  本稿では,現代大規模言語モデル (LLM) の誤用の可能性について検討する。 本研究は, LLMが効果的な誤情報発生器として機能し, DOQAシステムの性能が著しく低下することを明らかにする。
  論文  参考訳（メタデータ） (2023-05-23T04:10:26Z)
• Assessing Hidden Risks of LLMs: An Empirical Study on Robustness, Consistency, and Credibility [37.682136465784254]
  我々は、ChatGPT、LLaMA、OPTを含む、主流の大規模言語モデル(LLM)に100万以上のクエリを実行します。 入力が極端に汚染された場合でも、ChatGPTは正しい答えを得ることができる。 そこで本研究では,LCMによる評価において,そのようなデータの有効性を大まかに決定する新たな指標を提案する。
  論文  参考訳（メタデータ） (2023-05-15T15:44:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。