論文の概要: Inherent Challenges of Post-Hoc Membership Inference for Large Language Models

• arxiv url: http://arxiv.org/abs/2406.17975v1
• Date: Tue, 25 Jun 2024 23:12:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-27 15:07:42.346700
• Title: Inherent Challenges of Post-Hoc Membership Inference for Large Language Models
• Title（参考訳）: 大規模言語モデルにおけるポストホックメンバーシップ推論の創発的課題
• Authors: Matthieu Meeus, Shubham Jain, Marek Rei, Yves-Alexandre de Montjoye,
• Abstract要約: 大規模言語モデル(LLM)は、しばしば大量の未公開データに基づいて訓練され、ポストホックなメンバーシップ推論攻撃(MIA)の開発を動機付けている。 我々は、収集されたメンバーと非メンバーのデータセット間の潜在的分布シフトによるポストホックMIA評価における固有の課題を同定する。 本稿では,ポストホックデータ収集における回帰不連続性設計(RDD)アプローチを提案する。
• 参考スコア（独自算出の注目度）: 17.993892458845124
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are often trained on vast amounts of undisclosed data, motivating the development of post-hoc Membership Inference Attacks (MIAs) to gain insight into their training data composition. However, in this paper, we identify inherent challenges in post-hoc MIA evaluation due to potential distribution shifts between collected member and non-member datasets. Using a simple bag-of-words classifier, we demonstrate that datasets used in recent post-hoc MIAs suffer from significant distribution shifts, in some cases achieving near-perfect distinction between members and non-members. This implies that previously reported high MIA performance may be largely attributable to these shifts rather than model memorization. We confirm that randomized, controlled setups eliminate such shifts and thus enable the development and fair evaluation of new MIAs. However, we note that such randomized setups are rarely available for the latest LLMs, making post-hoc data collection still required to infer membership for real-world LLMs. As a potential solution, we propose a Regression Discontinuity Design (RDD) approach for post-hoc data collection, which substantially mitigates distribution shifts. Evaluating various MIA methods on this RDD setup yields performance barely above random guessing, in stark contrast to previously reported results. Overall, our findings highlight the challenges in accurately measuring LLM memorization and the need for careful experimental design in (post-hoc) membership inference tasks.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、膨大な量の未公開データに基づいてトレーニングされることが多く、そのトレーニングデータ構成に関する洞察を得るために、ポストホックなメンバーシップ推論攻撃(MIA)の開発を動機付けている。 しかし,本論文では,収集したメンバーと非メンバーのデータセット間の潜在的分布変化によるポストホックMIA評価における固有の課題を同定する。 単純なbaba-of-words分類器を用いて、最近のポストホックMIAで使用されるデータセットが大きな分散シフトに悩まされていることを示し、多くの場合、メンバーと非メンバーをほぼ完全に区別する。 これは、以前報告された高いMIA性能は、モデル記憶よりもこれらのシフトに起因する可能性があることを意味している。 ランダム化された制御されたセットアップがこのようなシフトを排除し、新しいMIAの開発と公正な評価を可能にすることを確認します。 しかし、このようなランダム化セットアップは最新のLLMではめったに利用できないため、実世界のLLMのメンバシップを推測するためには、ポストホックデータ収集が依然として必要である。 潜在的な解決策として,ポストホックデータ収集のための回帰不連続設計(RDD)アプローチを提案する。 各種MIA法の評価は, 従来報告した結果と対照的に, ランダムな推定以上の性能が得られる。 総じて, LLM記憶の精度測定の課題と, (ポストホック) メンバーシップ推論タスクにおける注意深い実験設計の必要性を強調した。

関連論文リスト

• Scaling Up Membership Inference: When and How Attacks Succeed on Large Language Models [37.420266437306374]
  メンバーシップ推論アタック(MIA)は、モデルのトレーニングセットで与えられたデータサンプルのメンバシップを検証する。 最近の研究は、現在のMIA法は大規模言語モデル(LLM)では機能しないと結論付けている。
  論文  参考訳（メタデータ） (2024-10-31T18:59:46Z)
• Detecting Training Data of Large Language Models via Expectation Maximization [62.28028046993391]
  メンバーシップ推論攻撃(MIA)は、特定のインスタンスがターゲットモデルのトレーニングデータの一部であるかどうかを判断することを目的としている。 大規模言語モデル(LLM)にMIAを適用することは、事前学習データの大規模化と、会員シップのあいまいさによって、ユニークな課題をもたらす。 EM-MIAは,予測最大化アルゴリズムを用いて,メンバーシップスコアとプレフィックススコアを反復的に洗練するLLMの新しいMIA手法である。
  論文  参考訳（メタデータ） (2024-10-10T03:31:16Z)
• MIA-Tuner: Adapting Large Language Models as Pre-training Text Detector [32.15773300068426]
  既存の手法では、様々な高度なMIAスコア関数を設計し、高い検出性能を実現している。 より正確な事前学習データ検出器としてLLM自体を指示する命令ベースのMIA手法であるMIA-Tunerを提案する。 既存の手法とMIA-Tunerによってもたらされるプライバシーリスクを軽減すべく、2つの命令ベースのセーフガードを設計する。
  論文  参考訳（メタデータ） (2024-08-16T11:09:56Z)
• LLM Dataset Inference: Did you train on my dataset? [42.97830562143777]
  本研究では,大規模言語モデルの学習に使用されるデータセットを正確に識別する新しいデータセット推論手法を提案する。 提案手法は, 統計的に有意なp値0.1を持つパイルの異なる部分集合の列車と試験セットを, 偽陽性を伴わずに識別する。
  論文  参考訳（メタデータ） (2024-06-10T16:34:43Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Decompose and Aggregate: A Step-by-Step Interpretable Evaluation Framework [75.81096662788254]
  大規模言語モデル(LLM)はスケーラブルで経済的な評価指標である。 これらの評価者がどの程度信頼できるかという問題は、重要な研究課題として浮上している。 本稿では,デコンプリートとアグリゲートを提案し,その評価プロセスを教育実践に基づいて異なる段階に分解する。
  論文  参考訳（メタデータ） (2024-05-24T08:12:30Z)
• Improve Temporal Awareness of LLMs for Sequential Recommendation [61.723928508200196]
  大規模言語モデル(LLM)は、幅広い汎用タスクを解く際、印象的なゼロショット能力を示した。 LLMは時間的情報の認識と利用に不足しており、シーケンシャルなデータの理解を必要とするタスクではパフォーマンスが悪い。 LLMに基づくシーケンシャルレコメンデーションのために、歴史的相互作用の中で時間情報を利用する3つのプロンプト戦略を提案する。
  論文  参考訳（メタデータ） (2024-05-05T00:21:26Z)
• Do Membership Inference Attacks Work on Large Language Models? [141.2019867466968]
  メンバーシップ推論攻撃(MIA)は、特定のデータポイントがターゲットモデルのトレーニングデータのメンバーであるかどうかを予測しようとする。 我々は、Pileで訓練された言語モデルに対して、MIAの大規模評価を行い、そのパラメータは160Mから12Bまでである。 様々な LLM サイズや領域にまたがるほとんどの設定において,MIA はランダムな推測よりもほとんど優れていないことがわかった。
  論文  参考訳（メタデータ） (2024-02-12T17:52:05Z)
• Fake Alignment: Are LLMs Really Aligned Well? [91.26543768665778]
  本研究では,複数質問とオープンエンド質問の相違点について検討した。 ジェイルブレイク攻撃パターンの研究にインスパイアされた我々は、これが不一致の一般化によって引き起こされたと論じている。
  論文  参考訳（メタデータ） (2023-11-10T08:01:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。