論文の概要: Strong Multilingual Privacy Tagging at Encoder Speed
- arxiv url: http://arxiv.org/abs/2609.38630v2
- Date: Tue, 06 Oct 2026 03:45:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:29.23413
- Title: Strong Multilingual Privacy Tagging at Encoder Speed
- Title(参考訳): エンコーダ速度の強い多言語プライバシタグ
- Abstract要約: プライバシのリアクションは、テキストで表現された関係を保ちながら個人情報を削除しなければならない。
我々は,様々なリアクションポリシーをサポートする細粒度区別付き多言語の名前付きタグを開発した。
35言語でフロンティアモデルアノテーションにアフィンスパンタグを付加した多言語エンコーダを微調整する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Privacy redaction must remove personal information while preserving relationships expressed in text. We develop a multilingual named-entity tagger with fine-grained distinctions supporting varied redaction policies and methods for cheaply learning additional distinctions. We fine-tune a multilingual encoder with an affine span-tagging head on frontier-model annotations in 35 languages, replay mapped human gold with coverage-aware masking so unannotated types are not treated as negatives, and repair subword boundaries with a learned +/-1-character adjustment. On 1,283 human-gold test segments in seven languages, best measured redaction F1 is 88.8, against 69.1 for published GLiNER2 with 11 unrepresentable types excluded from its task (68.8 without that exemption), 67.8 for GLiNER2 adapted to the new training data, 57.3 for Microsoft Presidio and 35.8 for the best published OpenAI Privacy Filter fine-tune. Adding about 50,000 annotated training sentences and increasing human-gold replay improves exact typed-span F1 from 74.5 to 76.3 on Ont3, our 31-type frontier-annotated NER evaluation of 1,201 development segments. Mapped-gold replay alone raises human-gold F1 by ten points without loss on frontier-annotated text; boundary adjustment adds 1.7 exact typed-span F1 points on Ont3. Local LLMs fitting on a single 96-GB GPU underperformed as prompted annotators and frozen encoders, with encoding 30-95 times slower than XLM-R inference and prompted annotation roughly 180-1,100 times slower in the evaluated configurations. The encoder architecture delivers 4.9 times GLiNER2's CPU throughput. We release code, prompts and training recipes, with data-acquisition scripts and source links.
- Abstract(参考訳): プライバシのリアクションは、テキストで表現された関係を保ちながら個人情報を削除しなければならない。
我々は,様々なリアクションポリシーをサポートする微粒な区別と,低コストで付加的な区別を学習する手法を備えた多言語名義タグを開発した。
我々は35言語でフロンティアモデルアノテーションにアフィンスパンタグを付けた多言語エンコーダを微調整し、カバー対応マスキングで地図化された人間の金を再生し、アノテーションのない型を負として扱わないようにし、学習+/-1文字調整でサブワード境界を修復する。
7つの言語の1,283個の人型テストセグメントでは、最もよく測定されたF1が88.8であり、タスクから除外された11の非表現型を持つGLiNER2では69.1であり、新しいトレーニングデータに適合したGLiNER2では67.8、Microsoft Presidioでは57.3、OpenAIプライバシーフィルタでは35.8である。
Ont3では, 約5万の注釈付きトレーニング文と人造リプレイの増加により, 正確な型付きF1が74.5から76.3に向上した。
Mapped-goldリプレイ単独では、フロンティアアノテーション付きテキストが失われることなく、人間の金型F1を10ポイント上昇させ、境界調整によりOnt3に1.7の正確な型付きF1ポイントが追加される。
XLM-R推論の30~95倍の速度でエンコードし、評価された構成の約180~1,100倍の速度でアノテートを誘導する。
エンコーダアーキテクチャはGLiNER2のCPUスループットの4.9倍を提供する。
データ取得スクリプトとソースリンクを備えたコード、プロンプト、トレーニングレシピをリリースします。
関連論文リスト
- Vectorizing Classical Tamil: Representation Learning for Verse-Commentary Pairs [0.21485350418225244]
5つの古典的タミル語源部から1,262の韻律合成(urai)対のコーパスを構築する。
我々は、リカレントおよびトランスフォーマーエンコーダ、シームズスタイルのペアマッチングネットワーク、mBARTスタイルのエンコーダ-デコーダ、デコーダのみの言語モデルを訓練する。
論文 参考訳(メタデータ) (2026-09-04T05:38:31Z) - HaloGuard 1.0: An Open Weights Constitutional Classifier for Multilingual AI Safety [0.0]
HaloGuard 1.0は、入力安全性のためのコンスティチューション分類のパラダイムのオープンウェイト実装である。
現在のオープンガードモデルの約10分の1のモデルサイズで、英語と多言語のプロンプトセーフティベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2026-07-02T12:21:16Z) - DocAtlas: Multilingual Document Understanding Across 80+ Languages [58.715440331861295]
本稿では,82言語を対象とした高忠実度OCRデータセットとベンチマークを構築するフレームワークDocAtlasを紹介する。
我々のデュアルパイプライン、ネイティブDOCX文書の微分レンダリング、左右スクリプトの合成ベース生成は正確な構造アノテーションを生成する。
論文 参考訳(メタデータ) (2026-05-12T18:09:38Z) - Omnilingual SONAR: Cross-Lingual and Cross-Modal Sentence Embeddings Bridging Massively Multilingual Text and Speech [61.759910921200834]
言語間の文エンコーダは通常、数百の言語をカバーしている。
我々はOmniSONARを紹介した。OmniSONARは全言語、言語横断、言語横断の文埋め込みモデルである。
論文 参考訳(メタデータ) (2026-03-17T14:47:35Z) - PolyFrame at MWE-2026 AdMIRe 2: When Words Are Not Enough: Multimodal Idiom Disambiguation [0.533024001730262]
PolyFrameは、画像+テキストランキング(Subtask A)とテキストのみのキャプションランキング(Subtask B)の両方のための統合パイプラインである。
全てのモデルでは、凍ったCLIPスタイルの視覚言語エンコーダと、軽量モジュールのみを訓練する多言語BGE M3エンコーダが保持されている。
マルチリンガルブラインドテストでは,Subtask Aは0.35/0.73,Subtask Bは0.32/0.71であった。
論文 参考訳(メタデータ) (2026-02-20T23:07:55Z) - SPOT: An Annotated French Corpus and Benchmark for Detecting Critical Interventions in Online Conversations [10.409447852574907]
SPOTは、停止点という社会学的概念を再現可能なNLPタスクに翻訳する最初の注釈付きコーパスである。
このコーパスには、フランスのFacebookコメントを手動で注釈付けした43,305件が含まれている。
我々は、様々なプロンプト戦略の下で、細調整エンコーダモデル(CamemBERT)と命令調整LLMをベンチマークする。
論文 参考訳(メタデータ) (2025-11-10T18:54:40Z) - Wav2Gloss: Generating Interlinear Glossed Text from Speech [78.64412090339044]
音声から4つの言語アノテーションを自動抽出するタスクであるWav2Glossを提案する。
音声からのインターリニア・グロッシド・テキスト・ジェネレーションの今後の研究の基盤となる基盤となるものについて述べる。
論文 参考訳(メタデータ) (2024-03-19T21:45:29Z) - KFCNet: Knowledge Filtering and Contrastive Learning Network for
Generative Commonsense Reasoning [46.4629010131822]
本稿では,外部知識を参照し,より優れた生成性能を実現する新しい知識フィルタリング・コントラスト学習ネットワーク(KFCNet)を提案する。
具体的には、低品質な候補を除去するBERTベースのフィルタモデルを提案し、エンコーダとデコーダのそれぞれにコントラスト学習を別々に適用する。
CommonGenベンチマークの実験では、我々のモデルは、過去の最先端技術よりも大きなマージンで優れています。
論文 参考訳(メタデータ) (2021-09-14T14:10:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。