論文の概要: From Training Exposure to Membership Evidence: A Controlled Study of OLMo 2
- arxiv url: http://arxiv.org/abs/2610.41732v1
- Date: Fri, 30 Oct 2026 13:41:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 22:05:31.758428
- Title: From Training Exposure to Membership Evidence: A Controlled Study of OLMo 2
- Title（参考訳）: 研修の露見から会員のエビデンスへ:OLMo 2の制御研究
- Abstract要約: 我々はOLMo 2 1Bの公式50ビリオントーケンミッドトレーニングステージを再編成する。
選択したトレーニングチャンクを、ドメインと難易度で一致した7,814対のドキュメントに置き換えました。
それぞれのペアについて、コインフリップはどの文書が挿入され、どの文書が持ち出されたかを決定する。
- 参考スコア（独自算出の注目度）: 0.9302016191511101
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Whether a language model was trained on a document matters for copyright, privacy, and benchmark contamination. Yet most membership-inference (MI) evaluations on language models collect members and non-members after the fact, so success may reflect distribution shift and failure is inconclusive. We re-ran OLMo 2 1B's official 50-billion-token mid-training stage, replacing selected training chunks with documents from 7,814 pairs matched on domain and difficulty. For each pair, a coin flip determined which document was inserted and which was held out. The run released by the Allen Institute for AI (AI2) from the same seed saw identical data everywhere else and serves as the counterfactual. One exposure raises a previously unseen document's likelihood on average but rarely identifies it. Using the counterfactual as reference, the reference ratio has an area under the ROC curve (AUC) of 0.767 but, with one threshold across domains, catches 3.8% of members at a 1% false-positive rate (FPR). In contrast, 13 matched pairs give a paired test 80% power at the 5% level to detect training on a collection, given same-domain non-members and a close reference. A reference trained with another seed recovers 92% of the counterfactual's AUC advantage over chance, whereas reference-free attacks stay within 0.07 of chance when pooled over domains. The full official post-training recipe, re-run on both models, leaves 89% of the average effect. Even with a closely matched reference, substantial document-level variability limits individual membership inference. We will release the checkpoints, per-token log-probabilities, and the evaluation documents; the code is available at https://github.com/ali-bana/OLMo-Twin.
- Abstract（参考訳）: 言語モデルがドキュメント上でトレーニングされたかどうかは、著作権、プライバシー、ベンチマークの汚染に関する問題である。
しかし、言語モデルにおけるほとんどのメンバー推論(MI)評価は、その事実の後にメンバーと非メンバーを収集するので、成功は分散シフトを反映し、失敗は決定的ではない。
OLMo 2 1Bの公式の50億個のトレーニングステージを再編成し、選択したトレーニングチャンクを、ドメインと難易度で一致した7,814対のドキュメントに置き換えました。
それぞれのペアについて、コインフリップはどの文書が挿入され、どの文書が持ち出されたかを決定する。
同じシードからAllen Institute for AI (AI2)がリリースしたランニングでは、他のあらゆる場所で同じデータが見られ、カウンターファクトアルとして機能した。
1つの露出は、それまで目に見えない文書の可能性が平均的に上昇するが、それを特定することは滅多にない。
基準として、基準比はROC曲線(AUC)の0.767以下の領域を持つが、領域をまたいだ1つの閾値で、1%の偽陽性率(FPR)でメンバーの3.8%をキャッチする。
対照的に、13のマッチしたペアは、同じドメインの非メンバーと近接参照を与えられたコレクションのトレーニングを検出するために、5%レベルで80%のパワーをペアでテストする。
別のシードで訓練された参照は、攻撃対象のAUCの利点の92%を機会よりも回復させるが、参照なし攻撃はドメインにプールされた場合、0.07の確率に留まる。
トレーニング後の公式レシピは、両方のモデルで再実行され、平均的な効果の89%を残している。
厳密な一致した参照であっても、ドキュメントレベルの変動は個々のメンバシップの推測を制限する。
そのコードはhttps://github.com/ali-bana/OLMo-Twin.comで公開されている。
関連論文リスト
- Domain adaptation of Russian ModernBERT for long legal documents [0.0]
我々は、ロシアの法律文書の事前訓練が、法的文書のロシア近代バーストエンコーダを改善するかどうかを調査する。
RuModernBERT-ruLawは304,382の立法文書と194,425,905のコーパストークンを含むと報告されたコーパスで訓練された。
裁判所決定セグメント1,031の固定外部集合に対して,元のエンコーダと適応したエンコーダを比較した。
論文 参考訳（メタデータ） (2026-10-05T17:07:02Z) - Leak It: A Probabilistic Approach to Training-Data Extraction from Black-Box Language Models [0.0]
確率レンズによるブラックボックス,サンプリングベーストレーニングデータ漏洩について検討した。
我々はブラインドベースライン批判をサンプリング体制に拡張する。
ブラックボックス抽出監査ツールである leakit をリリースしています。
論文 参考訳（メタデータ） (2026-07-31T15:44:43Z) - What Does 99% Accuracy Measure? A Reproducible Audit of Shortcut Learning in a Widely Used Fake News Corpus [0.0]
ISOT/Kaggle "Fake and Real News"コーパスで訓練されたテキスト分類器は、常に精度を報告し、F1は0.98以上である。
コーパスを3つのリークチャネルと2つの分散シフトプロトコルに沿って監査し、すべてのコードと派生番号を解放する。
3つのモデルはいずれも最寄りのランキング(ROC-AUC 0.54-0.57)に落ち、最下位のベースラインには勝っていない。
論文 参考訳（メタデータ） (2026-07-26T11:00:45Z) - Reducing Maintenance Burden in Behaviour-Driven Development: A Paraphrase-Robust Duplicate-Step Detector with a 1.1M-Step Open Benchmark [1.9537983097153042]
振る舞い駆動開発スイートは、ドキュメント化されたメンテナンスコストとステップ重複の重複を蓄積します。
私たちはこれまでで最大の組織横断的なBDDステップコーパスをリリースします。
論文 参考訳（メタデータ） (2026-04-22T11:44:05Z) - Powerful Training-Free Membership Inference Against Autoregressive Language Models [3.9380576851378657]
EZ-MIAは、重要な観測値を利用するメンバーシップ推論攻撃であり、記憶はエラー位置において最も強く現れる。
本稿では,誤差位置における確率シフトの方向不均衡を計測する誤差ゾーン(EZ)スコアを導入する。
その結果、微調整言語モデルのプライバシーリスクは、これまで理解されていたよりもかなり大きいことが判明した。
論文 参考訳（メタデータ） (2026-01-17T16:59:41Z) - Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。
認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。
この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
論文 参考訳（メタデータ） (2025-10-01T13:56:44Z) - Partial and Asymmetric Contrastive Learning for Out-of-Distribution
Detection in Long-Tailed Recognition [80.07843757970923]
既存のOOD検出手法は,トレーニングセットが長距離分布している場合,大幅な性能劣化に悩まされていることを示す。
本稿では,部分的および非対称的な教師付きコントラスト学習(PASCL)を提案する。
我々の手法は従来の最先端の手法を1.29%$, $1.45%$, $0.69%$異常検出偽陽性率(FPR)と$3.24%$, 4,.06%$, 7,89%$in-distributionで上回ります。
論文 参考訳（メタデータ） (2022-07-04T01:53:07Z) - Towards Semi-Supervised Deep Facial Expression Recognition with An
Adaptive Confidence Margin [92.76372026435858]
Ada-CM(Adaptive Confidence Margin)を学習し、ラベルのないすべてのデータを半教師付き深層表情認識に活用する。
すべてのラベルなしサンプルは、信頼スコアと適応的に学習された信頼マージンを比較して、2つのサブセットに分割される。
提案手法は最先端の性能,特に半教師付きベースラインを超越した性能を実現する。
論文 参考訳（メタデータ） (2022-03-23T11:43:29Z) - Weakly Supervised Person Search with Region Siamese Networks [65.76237418040071]
教師付き学習は人検索において支配的であるが、境界ボックスとアイデンティティの詳細なラベル付けが必要である。
私たちは、バウンディングボックスアノテーションのみが利用できる弱い教師付き設定を提示します。
我々のモデルはCUHK-SYSUベンチマークで87.1%のランク1と86.0%のmAPを達成している。
論文 参考訳（メタデータ） (2021-09-13T16:33:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。