論文の概要: Detectable Only Where It Is Confounded: What Verified Duplication Counts Say About Membership Evidence in Language Models
- arxiv url: http://arxiv.org/abs/2609.10830v1
- Date: Wed, 09 Sep 2026 21:01:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 23:53:35.139567
- Title: Detectable Only Where It Is Confounded: What Verified Duplication Counts Say About Membership Evidence in Language Models
- Title（参考訳）: 確立された複製数が言語モデルにおけるメンバシップエビデンスについて何を言っているか
- Abstract要約: 言語モデルが予測する文章を異常に安価に見つけると、その文章が訓練データに含まれていたと結論付ける傾向があることが示される。
ほぼ全ての公開テストでは、どの文章がトレーニングデータ、メンバー、どれがそうでなかったかを推測する必要があった。
本稿では,OLMo-2とPythiaの2つのモデルファミリーが事前学習コーパスを公開し,各コーパスに現れる文の正確な回数を公開インデックスとして返却する。
答えは2つの側面から閉じてピンサーを形成する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When a language model finds a sentence unusually cheap to predict, it is tempting to conclude that the sentence was in its training data. Almost every published test of that inference has had to guess which sentences were in the training data, the members, and which were not. This paper removes the guessing. Two model families, OLMo-2 and Pythia, publish their pretraining corpora, and a public index over those corpora returns the exact number of times any sentence appeared in each. Those counts make three questions answerable directly. The answers form a pincer, closing from two sides. At the duplication levels ordinary text actually has, five models from 1B to 13B parameters carry at most a faint trace of their own exposure. We measure that trace with a design that reads the same sentence through two models, which cancels fluency and quality by construction, and it comes to a rank correlation near -0.08, where -1 would be a perfect relation and 0 none. Where the trace does become strong, above roughly a thousand copies, the two corpora agree on which sentences those are, because they are the famous ones, so exposure can no longer be told apart from fame. Two further measurements show how apparent membership signal gets manufactured. A common way to build a non-member is to change one word of a member. The model does prefer the original, but the gap is the same whether the original appeared once or a hundred times, so what the model is rewarding is the author's word choice, not memory. Above a thousand copies the gap grows with model size on the twelve sentences we can test there, at the same boundary where the pincer closes. And swapping the controls for sentences that differ from the members in register moves a detector from 0.83 to 0.94 AUC, on a scale where 0.5 is a coin flip and 1.0 is perfect separation. We release the sentence banks, counts, and code.
- Abstract（参考訳）: 言語モデルが予測する文章を異常に安価に見つけると、その文章がその訓練データの中にあると結論付ける傾向にある。
ほぼ全ての公開テストでは、どの文章がトレーニングデータ、メンバー、どれがそうでなかったかを推測する必要があった。
この論文は推測を取り除きます。
2つのモデルファミリー、OLMo-2とPythiaは事前学習コーパスを公開し、それらのコーパス上の公開インデックスは、それぞれに現れる文の正確な回数を返す。
これらの質問は3つの質問に直接答えられる。
答えは2つの側面から閉じてピンサーを形成する。
通常のテキストの重複レベルでは、1Bから13Bのパラメータの5つのモデルが、少なくともその露出のかすかな痕跡を持っている。
2つのモデルを通して同じ文を読み取る設計でそのトレースを計測し、構築によって流布と品質をキャンセルし、-1 が完全関係で 0 が存在しない 0.08 付近でランク相関を行う。
痕跡が強くなり、約1000部以上になるが、有名人であることから、どちらの文かが一致しているため、露出はもはや名声と区別できない。
さらに2つの測定結果は、メンバーシップ信号がいかに製造されるかを示している。
非メンバを構築する一般的な方法は、メンバの1つの単語を変更することです。
モデルは原語を好むが、原語が1回または100回出現してもギャップは同じであるため、モデルが報いるものは、メモリではなく著者の言葉選択である。
千のコピーの上のギャップは、ピンサーが閉じたのと同じ境界で、テストできる12の文のモデルサイズで大きくなる。
また、レジスタのメンバと異なる文の制御を切り替えることで、0.5がコインフリップ、1.0が完全分離のスケールで検出器を0.83から0.94AUCに移動させる。
センセーションバンク、カウント、コードをリリースします。
関連論文リスト
- Actions Speak Louder than Words: Measuring Cross-Lingual Policy Retention in Tool-Using Agents [22.30468215041597]
ツール使用エージェントは別の言語で同じタスクを与えられるが、それでも同じステップを踏むだろうか?
アクションポリシーを,8つのモデル,6つの並列ベンチマーク,41の言語で測定対象とする。
論文 参考訳（メタデータ） (2026-08-11T16:18:34Z) - What Iterated Self-Feeding Probes of Language Models Measure, and a test that separates the construction from the model [0.0]
メソッドのクラスは、独自の出力を与えて言語モデルを探索する。
我々は、その問題を鋭くするために選ばれた工事において、そのような調査がどう対処するかを尋ねる。
答えは、見た目が似ている読書において、一度に2つの異なるものを測定することだ。
論文 参考訳（メタデータ） (2026-08-11T14:40:35Z) - Language Models Agree With Each Other, Not With Readers [1.8620637029128544]
我々は、その目的のために構築された誰もいない人間の参照に対する収束を測定する。
120のWebドキュメントに2,523のリードマークがある。
読者が読むものよりも確実に読者に同意するモデルはない。
論文 参考訳（メタデータ） (2026-07-31T10:44:10Z) - Prompt Design at Scale: How Format, Instruction Count, and Context Length Shape Instruction Adherence and Hallucination in Large Language Models [0.0]
2つの実験は、保持された汚染のない合成コーパス上の3つの因子全てを横断する。
実験1では,規則数Nが10から160に増加するにつれて,命令追従減衰を測定する。
実験2では, 2k-to-512k-tokenのコンテキストラグ上での精度, 虚偽の前提条件, ファクトファクトファクトファクチャリングの測定を行った。
論文 参考訳（メタデータ） (2026-07-21T16:31:35Z) - Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families [51.56484100374058]
放棄 — モデルの拒絶方向を重みから取り除く — は、一般的な"アンセンソルド"なオープンウェイトモデルの標準的なレシピである。
ディスポジションプローブとして21,600個の決定を不確実性の下で使用し、凍結パイプラインを通じて再生することにより、決定層モデルが唯一の変数となる。
3つのエフェクトは2つのファミリーにまたがって複製される(ゼロを除く週間クラスターCI)
4つ目の効果は符号を逆転する:同じ操作によりGemmaで読み取られた方が自信が弱まり、Qwenで読み取られたものがより多くなる(ファミリーCIは重複しない)。
論文 参考訳（メタデータ） (2026-07-19T22:27:00Z) - The yes-no bias of large language models reflects answer order and wording, not shifts in moral judgment [3.7193230342956056]
増大する文献では、論理的に無関係な文言変化の下でそのような判断がシフトしていると報告されている。
イエス/ノーの質問では、「ノー」という言葉は一度に論理的な評定、語彙トークン、最後の印刷オプションである。
我々はこれらを分離するサイコメトリック・バッテリを導入する: 質問フォームのコーパスを横断する対称性。
論文 参考訳（メタデータ） (2026-07-06T18:37:43Z) - CAVEWOMAN: How Large Language Models Behave Under Linguistic Input and Output Compression [77.41779716950387]
本稿では,2チャンネル評価プロトコルであるCavewomanについて述べる。
我々は5つのデータセットの8つのモデルを5つの還元レベルで評価し、両方のチャネルは同じ項目で測定した。
論文 参考訳（メタデータ） (2026-06-23T02:56:48Z) - Blackbox Model Provenance via Palimpsestic Membership Inference [96.73342141272549]
Aliceはオープンウェイトな言語モデルをトレーニングし、BobはAliceのモデルのブラックボックスデリバティブを使ってテキストを生成します。
Alice氏は、Bob氏のデリバティブモデルをクエリするか、テキストのみからクエリすることで、Bob氏がモデルを使っていることを証明できますか?
我々は、Bobのモデルとテキストの相関と、Aliceのトレーニングランにおけるトレーニング例の順序を捉えるテスト統計を使用する。
論文 参考訳（メタデータ） (2025-10-22T17:30:39Z) - Pretraining Language Models to Ponder in Continuous Space [50.52734567589996]
単一のトークン生成ステップ内で,前処理を繰り返し呼び出すことによって,この思考プロセスを言語モデルに導入する。
人間のアノテーションを使わずに、自己教師付き学習を通じて、この方法でモデルを学習できることが示される。
論文 参考訳（メタデータ） (2025-05-27T03:47:33Z) - Discovering Latent Knowledge in Language Models Without Supervision [72.95136739040676]
既存の言語モデルをトレーニングするテクニックは、真実と正しく一致していない可能性がある。
本稿では,言語モデルの内部アクティベーション内部の潜伏知識を,純粋に教師なしの方法で直接見つけることを提案する。
本手法は, 教師なし, モデル出力がないにもかかわらず, 大規模言語モデルで表される多様な知識を復元できることを示す。
論文 参考訳（メタデータ） (2022-12-07T18:17:56Z) - Quark: Controllable Text Generation with Reinforced Unlearning [68.07749519374089]
大規模言語モデルは、しばしばユーザの期待に合わない振る舞いを学ぶ。
本稿では,(不必要な)特性を定量化する報酬関数を最適化するアルゴリズムQuarkを紹介する。
未学習の毒性、ネガティブな感情、反復について、我々の実験はQuarkが強いベースラインと最先端の強化学習法の両方より優れていることを示している。
論文 参考訳（メタデータ） (2022-05-26T21:11:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。