論文の概要: OLMo-Detect: A Multi-Stage, Confounder-Controlled Benchmark for Membership Inference on Large Language Models

• arxiv url: http://arxiv.org/abs/2610.02986v1
• Date: Fri, 02 Oct 2026 08:22:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.279316
• Title: OLMo-Detect: A Multi-Stage, Confounder-Controlled Benchmark for Membership Inference on Large Language Models
• Title（参考訳）: OLMo-Detect: 大規模言語モデルのメンバシップ推論のためのマルチステージ・コンストラクタ付きベンチマーク
• Abstract要約: 既存のベンチマークでは、トレーニング段階の限られた範囲、メンバと非メンバ間の分散調整の不十分、トレーニングコーパスに対する非メンバの厳格なフィルタリングが欠如している。 完全にオープンなOLMo 2パイプライン上に構築された,マルチステージで共同創設者によるベンチマークであるOLMo-Detectを提案する。 OLMo-Detectは事前トレーニング、中級トレーニング、後級トレーニングにまたがり、メンバーと非メンバーを3つのキー軸に明示的にアライメントし、非メンバーをインフィニグラムで厳格にフィルタリングする。 OLMo2ファミリーにおける15の教師なしおよび3の教師付きメンバシップ推論攻撃(MIA)を評価する。
• 参考スコア（独自算出の注目度）: 31.427648142925943
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Membership inference on large language models (LLMs) aims to determine whether a given text sample was included in an LLM's training data, without access to its training corpus. Despite recent progress, existing benchmarks suffer from three limitations: limited coverage of training stages, insufficient distributional alignment between members and non-members, and lack of rigorous filtering of non-members against the training corpus. To address these limitations, we propose OLMo-Detect, a multi-stage, confounder-controlled benchmark built upon the fully open OLMo 2 pipeline. OLMo-Detect spans pre-training, mid-training, and post-training, explicitly aligns members and non-members on three key axes, and rigorously filters non-members via infini-gram. To assess robustness to distribution shifts, we further introduce OLMo-Detect (Shifted), a variant where members are misaligned with non-members. We evaluate 15 unsupervised and 3 supervised membership inference attacks (MIAs) across the OLMo 2 family, finding that: (i) overall performance is limited: the best unsupervised and supervised MIAs both reach an AUC of only 0.68, and supervised MIAs degrade under cross-domain evaluation; (ii) MIA performance peaks at mid-training and is lower at pre-training and post-training, a pattern driven by data type rather than a stage effect: curated math data is far more detectable than other types; (iii) overall scores improve from 1B to 13B but plateau at 32B; and (iv) no unsupervised MIA is robust to distribution shifts, with AUCs shifting by up to 0.42. Finally, we find that our findings on OLMo 2 generalize to OLMo 3 and non-OLMo models.
• Abstract（参考訳）: 大規模言語モデル(LLM)のメンバシップ推論は、与えられたテキストサンプルがLLMのトレーニングデータに含まれるかどうかを、トレーニングコーパスにアクセスすることなく決定することを目的としている。 最近の進歩にもかかわらず、既存のベンチマークには、トレーニング段階の限られた範囲、メンバーと非メンバー間の分散調整の不十分、トレーニングコーパスに対する非メンバーの厳密なフィルタリングの欠如、の3つの制限がある。 これらの制限に対処するために,完全にオープンなOLMo 2パイプライン上に構築された,マルチステージで共同創設者によるベンチマークであるOLMo-Detectを提案する。 OLMo-Detectは事前トレーニング、中級トレーニング、後級トレーニングにまたがり、3つのキー軸にメンバーと非メンバーを明示的にアライメントし、infini-gramを介して非メンバーを厳格にフィルタリングする。 分布シフトに対するロバスト性を評価するために、メンバーが非メンバーと不一致であるOLMo-Detect (Shifted)を導入する。 OLMo2ファミリー全体で15の教師なしおよび3の教師なしメンバー推論攻撃(MIA)を評価し,以下の結果を得た。 (i)全体的な性能は制限されており、最高の教師なしMIAは0.68のAUCに到達し、監督MIAはクロスドメイン評価で劣化する。 (二)MIA性能は、事前学習及び後学習においてピークに達し、ステージ効果よりもデータ型によって駆動されるパターンである、事前学習及び後学習において低下する。 三 総合得点は1Bから13Bに改善するが、台地は32Bに改善する。 (iv) 教師なしMIAは分布シフトに対して堅牢であり、AUCは最大0.42シフトする。 最後に,OLMo 2の発見はOLMo 3および非OLMoモデルに一般化されることが判明した。

関連論文リスト

• Exploring the limits of strong membership inference attacks on large language models [70.49900359876595]
  最先端メンバーシップ推論攻撃 (MIA) は通常、多くの参照モデルを訓練する必要がある。 事前訓練された言語モデルでは強力なMIAが成功するが,その有効性は限られている。
  論文  参考訳（メタデータ） (2025-05-24T16:23:43Z)
• A Statistical and Multi-Perspective Revisiting of the Membership Inference Attack in Large Language Models [10.276594755936529]
  メンバーシップ推論攻撃(MIA)は、訓練された(メンバーでない)データと訓練されていない(非メンバー)データを区別する。 最近の研究では、異なる環境でのほぼランダムなパフォーマンスが報告され、大きなパフォーマンスの不整合が浮かび上がった。 テキストの特徴, 埋め込み, しきい値決定, 復号化力学の研究とともに, 様々な設定からMIA法を改訂し, 数千の実験を行った。
  論文  参考訳（メタデータ） (2024-12-18T03:39:42Z)
• Detecting Training Data of Large Language Models via Expectation Maximization [62.28028046993391]
  本稿では,予測最大化アルゴリズムを用いて,メンバーシップスコアとプレフィックススコアを反復的に洗練する新しいメンバーシップ推論手法EM-MIAを紹介する。 EM-MIAはWikiMIAで最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-10-10T03:31:16Z)
• SoK: Membership Inference Attacks on LLMs are Rushing Nowhere (and How to Fix It) [16.673210422615348]
  LLMに対するメンバーシップ推論攻撃(MIA)を行うための10以上の新しい手法が提案されている。 固定だがランダム化されたレコードやモデルに依存する従来のMIAとは対照的に、これらの方法は主にトレーニングされ、ポストホックで収集されたデータセットでテストされる。 このランダム化の欠如は、メンバーと非メンバー間の分散シフトの懸念を引き起こす。
  論文  参考訳（メタデータ） (2024-06-25T23:12:07Z)
• Towards Robust Federated Learning via Logits Calibration on Non-IID Data [49.286558007937856]
  Federated Learning(FL)は、エッジネットワークにおける分散デバイスの共同モデルトレーニングに基づく、プライバシ保護のための分散管理フレームワークである。 近年の研究では、FLは敵の例に弱いことが示されており、その性能は著しく低下している。 本研究では,対戦型訓練(AT)フレームワークを用いて,対戦型実例(AE)攻撃に対するFLモデルの堅牢性を向上させる。
  論文  参考訳（メタデータ） (2024-03-05T09:18:29Z)
• Do Membership Inference Attacks Work on Large Language Models? [141.2019867466968]
  メンバーシップ推論攻撃(MIA)は、特定のデータポイントがターゲットモデルのトレーニングデータのメンバーであるかどうかを予測しようとする。 我々は、Pileで訓練された言語モデルに対して、MIAの大規模評価を行い、そのパラメータは160Mから12Bまでである。 様々な LLM サイズや領域にまたがるほとんどの設定において,MIA はランダムな推測よりもほとんど優れていないことがわかった。
  論文  参考訳（メタデータ） (2024-02-12T17:52:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。