論文の概要: Locale-Conditioned Few-Shot Prompting Mitigates Demonstration Regurgitation in On-Device PII Substitution with Small Language Models

• arxiv url: http://arxiv.org/abs/2605.13538v1
• Date: Wed, 13 May 2026 13:47:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 23:30:28.082901
• Title: Locale-Conditioned Few-Shot Prompting Mitigates Demonstration Regurgitation in On-Device PII Substitution with Small Language Models
• Title（参考訳）: ローカライズされたFew-Shot Promptingは、小言語モデルを用いたデバイス上でのPII置換における復調を緩和する
• Authors: Anuj Sadani, Deepak Kumar,
• Abstract要約: PIIのリアクションは通常、検出されたエンティティを[PERSON]のようなプレースホルダートークンに置き換える。 我々は、PIIを一貫した型保存型偽値で置き換える完全なオンデバイスパイプラインを提案する。
• 参考スコア（独自算出の注目度）: 2.2228811750157482
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Personally Identifiable Information (PII) redaction usually replaces detected entities with placeholder tokens such as [PERSON], destroying the downstream utility of the redacted text for retrieval and Named Entity Recognition (NER) training. We propose a fully on-device pipeline that substitutes PII with consistent, type-preserving fake values: a 1.5 B mixture-of-experts token classifier (openai/privacy-filter) detects spans, a 1-bit Bonsai-1.7B Small Language Model (SLM) proposes contextual surrogates for names, addresses, and dates, and a rule-based generator (faker) handles patterned fields. We report a prompting finding more important than the quantization choice: with naive fixed three-shot demonstrations, the 1-bit SLM regurgitates demonstration outputs verbatim regardless of input; 1.58-bit Ternary-Bonsai-1.7B reproduces byte-identical failures, ruling out quantization as the cause. We fix this with locale-conditioned rotating few-shot demonstrations: a character-range heuristic picks a locale-pure pool and a per-input MD5 hash samples three demonstrations. With the fix, 482/482 unique Bonsai-1.7B calls succeed (no echoes) and produce locale-correct surrogates, although the SLM still copies from a small same-locale demonstration pool - a residual narrowness we quantify. On a 2000-document multilingual corpus, hybrid perplexity (PPL) beats faker in all six locales under a multilingual evaluator (XGLM-564M); length preservation is best-of-three in 4 of 6 locales. On downstream NER (400 train / 100 test, English), redact yields F1=0.000, faker 0.656, original 0.960; on a matched 160/40 subset including hybrid, faker (0.506) outperforms hybrid (0.346) at p < 0.001. We report this as an honest negative finding: SLM surrogates produce more natural text but a less varied training distribution, and downstream NER benefits more from variety than from naturalness.
• Abstract（参考訳）: 個人識別可能な情報(PII)のリアクションは、通常、検出されたエンティティを[PERSON]のようなプレースホルダートークンに置き換え、検索と名前付きエンティティ認識(NER)トレーニングのために、修正されたテキストの下流ユーティリティを破壊する。 1.5 Bmix-of-expertsトークン分類器(openai/privacy-filter)がスパンを検出し、1ビットのBonsai-1.7B Small Language Model(SLM)が名前、住所、日付のコンテキストサロゲートを提案し、ルールベースのジェネレータ(フェイカー)がパターンフィールドを処理する。 1ビットのSLMは、1ビットのSLMは入力によらず冗長な出力を出力し、1.58ビットのTirnary-Bonsai-1.7Bはバイト単位の失敗を再現し、量子化を原因として除外する。 キャラクタレンジヒューリスティックはローカライズプールを選別し,インプット毎のMD5ハッシュは3つのデモをサンプリングする。 修正により482/482個のボンサイ-1.7Bの呼び出しが成功し(エコーは発生しない)、ローカライズ補正サロゲートが生成されるが、SLMは依然として小さな同じローカライズされたデモプールからコピーされている。 2000年の多言語コーパスでは、ハイブリッドパープレキシティ (PPL) が6つの局所において、XGLM-564M (multilingual evaluator) の下でフェイカーを倒す。 下流のNER(400トレイン/100テスト、英語)ではF1=0.000、フェイカー0.656、オリジナル0.960、ハイブリッドを含む160/40サブセットでは、p < 0.001でハイブリッド(0.346)を上回っている。 SLMサロゲートは、より自然なテキストを生成するが、より多様なトレーニング分布が得られず、下流のNERは自然性よりも多様な恩恵を受ける。

関連論文リスト

• The Surprising Universality of LLM Outputs: A Real-Time Verification Primitive [0.0]
  CPUのみのスコアリングプリミティブはトークン当たり2.6マイクロ秒で動作する。 トークンのランク周波数分布は同じ2パラメータのMandelbrotランキング分布に収束する。 利用可能な場合にモデルログの確率で構成し、クローズドAPIで使用可能なランクオンリーモードに分解するシングルパススコアリングプリミティブを導出する。
  論文  参考訳（メタデータ） (2026-04-28T13:35:31Z)
• LLM-Redactor: An Empirical Evaluation of Eight Techniques for Privacy-Preserving LLM Requests [0.0]
  コーディングエージェントとLLMベースのアプリケーションは、通常、潜在的に敏感なコンテンツをクラウドのLLM APIに送信し、ログ化、保持、トレーニングに使用されるか、召喚される可能性がある。 プライバシ保護型LCM要求に対する8つの手法の系統的実証評価を行った。 MCPやOpenAI互換のAPIと互換性のあるオープンソースシムで、全8つ(あるいはデプロイメントがまだ実現不可能な、牽引可能な研究段階のサブセット)を実装しています。
  論文  参考訳（メタデータ） (2026-04-13T21:05:42Z)
• OpenSanctions Pairs: Large-Scale Entity Matching with LLMs [0.9131359219276399]
  我々は,実世界の国際制裁アグリゲーションとアナリストの重複から派生した,大規模エンティティマッチングベンチマークOpenSanctions Pairsをリリースした。 データセットには、31か国で293の異種源にまたがる755,540のラベル付きペアが含まれている。 オフザシェルフ LLM は生産ルールベースのベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2026-02-24T06:25:49Z)
• Decoder-only Conformer with Modality-aware Sparse Mixtures of Experts for ASR [9.626217175791572]
  本稿では,外部の音声エンコーダや事前訓練された大言語モデル(LLM)を使わずに,音声とテキストを単一のスタックで処理する,自動音声認識(ASR)のためのデコーダのみのコンバータを提案する。 モデルは、モダリティを意識した専門家のスパース混合(MoE: Disjoint expert pools for speech and text with hard routing and top-1 selection, embedded in hybrid-causality Conformer block)を使用する。 5言語に1つの多言語モデルを持つCommon Voice 16.1では、平均WERを12.2%から10.6%に削減する。
  論文  参考訳（メタデータ） (2026-02-13T02:53:54Z)
• An Evaluation Study of Hybrid Methods for Multilingual PII Detection [0.026059379504241156]
  本稿では,決定論的正規表現と文脈認識型大規模言語モデル(LLM)を組み合わせて,スケーラブルなPII検出を行うRECAPを提案する。 重み付きF1スコアでは,NERモデルでは82%,ゼロショットLLMでは17%の精度で性能が向上した。 この作業は、コンプライアンスにフォーカスしたアプリケーションにおいて、効率的なPII検出のためのスケーラブルで適応可能なソリューションを提供する。
  論文  参考訳（メタデータ） (2025-10-08T21:03:59Z)
• Not all tokens are created equal: Perplexity Attention Weighted Networks for AI generated text detection [49.15148871877941]
  大規模言語モデル(LLM)の検出に理論的に魅力的なアプローチを提供する次点分布出力 本稿では,LLMの最後の隠蔽状態を用いて,列長の次トーケン分布のメトリクスに基づく一連の特徴量の重み付けを行うパープレキシティ注意重み付けネットワーク(PAWN)を提案する。 PAWNは、トレーニング可能なパラメータのごく一部を持つ最強のベースラインよりも、競争力があり、より優れた分散性能を示している。
  論文  参考訳（メタデータ） (2025-01-07T17:00:49Z)
• Unlikelihood Tuning on Negative Samples Amazingly Improves Zero-Shot Translation [79.96416609433724]
  Zero-shot Translation (ZST)は、トレーニングデータにおいて、目に見えない言語ペア間の翻訳を目的としている。 推論中にゼロショット言語マッピングをガイドする一般的な方法は、ソースとターゲット言語IDを意図的に挿入することである。 近年の研究では、言語IDが時折ZSTタスクのナビゲートに失敗し、ターゲット外問題に悩まされることが示されている。
  論文  参考訳（メタデータ） (2023-09-28T17:02:36Z)
• HyPoradise: An Open Baseline for Generative Speech Recognition with Large Language Models [81.56455625624041]
  ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。 提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。 合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
  論文  参考訳（メタデータ） (2023-09-27T14:44:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。