論文の概要: Personal Information Parroting in Language Models

• arxiv url: http://arxiv.org/abs/2602.20580v1
• Date: Tue, 24 Feb 2026 06:02:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-25 17:34:53.625905
• Title: Personal Information Parroting in Language Models
• Title（参考訳）: 言語モデルにおけるパーソナル・インフォメーション・パロット
• Authors: Nishant Subramani, Kshitish Ghate, Mona Diab,
• Abstract要約: 我々は、メールアドレス、電話番号、IPアドレスを検知する検出スイートを開発した。 PIの483のインスタンスを手作業でキュレートしたセットでは、13.6%がPythia-6.9bモデルによって動詞で表される。 最も小さなモデルであるPythia-160mでさえ、正確に2.7%のインスタンスをオウムする。
• 参考スコア（独自算出の注目度）: 9.267566204569361
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern language models (LM) are trained on large scrapes of the Web, containing millions of personal information (PI) instances, many of which LMs memorize, increasing privacy risks. In this work, we develop the regexes and rules (R&R) detector suite to detect email addresses, phone numbers, and IP addresses, which outperforms the best regex-based PI detectors. On a manually curated set of 483 instances of PI, we measure memorization: finding that 13.6% are parroted verbatim by the Pythia-6.9b model, i.e., when the model is prompted with the tokens that precede the PI in the original document, greedy decoding generates the entire PI span exactly. We expand this analysis to study models of varying sizes (160M-6.9B) and pretraining time steps (70k-143k iterations) in the Pythia model suite and find that both model size and amount of pretraining are positively correlated with memorization. Even the smallest model, Pythia-160m, parrots 2.7% of the instances exactly. Consequently, we strongly recommend that pretraining datasets be aggressively filtered and anonymized to minimize PI parroting.
• Abstract（参考訳）: 現代の言語モデル(LM)は、数百万の個人情報(PI)インスタンスを含む、Webの大規模なスクラップに基づいて訓練されている。 本研究では,電子メールアドレス,電話番号,IPアドレスを検知するRegexes and Rule(R&R)検出器スイートを開発した。 13.6% が Pythia-6.9b モデル(つまり、元の文書で PI に先行するトークンで誘導されると、greedy decoding がPI 全体を正確に生成する。 この分析をPythiaモデルスイートの様々なサイズ (160M-6.9B) と事前学習時間ステップ (70k-143k 反復) のモデルに拡張し, モデルサイズと事前学習量の双方が記憶量と正の相関関係があることを見出した。 最も小さなモデルであるPythia-160mでさえ、正確に2.7%のインスタンスをオウムする。 その結果、PIパロットを最小限に抑えるために、事前学習データセットを積極的にフィルタリングし匿名化することを強く推奨する。

関連論文リスト

• Apertus: Democratizing Open and Compliant LLMs for Global Language Environments [163.70368742538187]
  Apertusは、今日のオープンモデルエコシステムにおける2つのシステム的欠点に対処するために設計された、大きな言語モデル(LLM)の完全なオープンスイートである。 Apertusモデルは、公開データにのみ事前訓練されており、ロボット.txtの除外や、非許容的で有毒で個人が特定可能なコンテンツに対するフィルタリングを尊重している。 Apertusモデルはまた、1800以上の言語から15Tトークンをトレーニングし、非英語コンテンツに割り当てられた事前トレーニングデータの40%をトレーニングしている。
  論文  参考訳（メタデータ） (2025-09-17T17:59:21Z)
• Pretraining Language Models to Ponder in Continuous Space [50.52734567589996]
  単一のトークン生成ステップ内で,前処理を繰り返し呼び出すことによって,この思考プロセスを言語モデルに導入する。 人間のアノテーションを使わずに、自己教師付き学習を通じて、この方法でモデルを学習できることが示される。
  論文  参考訳（メタデータ） (2025-05-27T03:47:33Z)
• DataComp-LM: In search of the next generation of training sets for language models [200.5293181577585]
  DataComp for Language Models (DCLM)は、制御されたデータセット実験のためのテストベッドであり、言語モデルを改善することを目的としている。 我々は、Common Crawlから抽出された240Tトークンの標準化コーパス、OpenLMフレームワークに基づく効果的な事前学習レシピ、53の下流評価スイートを提供する。 DCLMベンチマークの参加者は、412Mから7Bパラメータのモデルスケールでの重複、フィルタリング、データ混合などのデータキュレーション戦略を実験することができる。
  論文  参考訳（メタデータ） (2024-06-17T17:42:57Z)
• Emergent and Predictable Memorization in Large Language Models [23.567027014457775]
  メモリ化、あるいはトレーニングデータから全シーケンスを出力する大規模言語モデルの傾向は、安全に言語モデルをデプロイする上で重要な関心事である。 我々は,大規模モデルのフルトレインタイム前にどのシーケンスを記憶するかを,低速トライアルの実行時の記憶挙動を外挿することによって予測する。 モデルとデータ間のメモリ化スコアの分布に関する新たな発見を提供する。
  論文  参考訳（メタデータ） (2023-04-21T17:58:31Z)
• Pythia: A Suite for Analyzing Large Language Models Across Training and Scaling [19.15117097580111]
  textitPythiaは、まったく同じ順序で、70Mから12Bのパラメータで見られる公開データに基づいてトレーニングされた16の大規模言語モデル(LLM)のスイートである。 16モデルのそれぞれに154のチェックポイントが公開されており、さらに詳細なトレーニングデータローダをダウンロードして再構築するツールも提供しています。
  論文  参考訳（メタデータ） (2023-04-03T20:58:15Z)
• Just Fine-tune Twice: Selective Differential Privacy for Large Language Models [69.66654761324702]
  本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。 実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
  論文  参考訳（メタデータ） (2022-04-15T22:36:55Z)
• Extracting Training Data from Large Language Models [78.3839333127544]
  本論文では,言語モデルに問い合わせることで,学習データ抽出攻撃を実行して個々のトレーニング例を回復できることを実証する。 我々は,公開インターネットのスクレイプ上で訓練された言語モデルgpt-2に対する攻撃を実証し,モデルのトレーニングデータから数百の動詞のテキストシーケンスを抽出することができることを示した。
  論文  参考訳（メタデータ） (2020-12-14T18:39:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。