論文の概要: Thunder-DeID+: Boundary-Aware Korean De-identification from Court Judgments to Broader Sensitive Documents
- arxiv url: http://arxiv.org/abs/2610.22733v1
- Date: Thu, 15 Oct 2026 23:11:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 00:56:07.695287
- Title: Thunder-DeID+: Boundary-Aware Korean De-identification from Court Judgments to Broader Sensitive Documents
- Title（参考訳）: Thunder-DeID+: 裁判所判決からより広義の機密文書への境界を意識した韓国の識別
- Abstract要約: Thunder-DeID+は3階層のPII分類と境界対応トークン化器を統合している。
フル長の判定では、トークン化子は一貫して W. Strict Typed F1-score を改善する。
1000の文書を微調整することで、判定訓練されたモデルはさらに0.93 W. Strict Typed F1スコアを達成した。
- 参考スコア（独自算出の注目度）: 5.125887205127993
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: This study examines the transferability of a de-identification model developed for Korean court judgments to a broader range of sensitive documents, focusing on boundary precision, label granularity, and recall. The agglutinative structure of Korean causes Byte Pair Encoding (BPE) tokenizers to frequently merge Personally Identifiable Information (PII) with adjacent particles, which complicates accurate span recovery. Furthermore, current PII taxonomies lack sufficient granularity for legal texts. To address these issues, this study introduces Thunder-DeID+, which integrates a refined three-tier PII taxonomy with a boundary-aware tokenizer. The tokenizer enhances a pretrained BPE vocabulary by incorporating N-gram and boundary-scoring components to better align token and PII span boundaries. The proposed approach is evaluated using a tokenizer-independent word-segment-level protocol. On full-length judgments, the tokenizer consistently improves W. Strict Typed F1-score from 0.76-0.77 to 0.87-0.88 across four model sizes (150M, 395M, 750M, and 1B), mainly by increasing precision rather than model scale. With fine-tuning on 1,000 broader sensitive documents, the judgment-trained model further achieves 0.93 W. Strict Typed F1-score, indicating effective transfer beyond court judgments.
- Abstract（参考訳）: 本研究は, 韓国の裁判所判決において, 境界精度, ラベルの粒度, リコールに着目し, 広範囲の機密文書への非識別モデルの適用可能性について検討した。
韓国の凝集構造は、バイトペアエンコーディング(BPE)トークンライザにPII(Personally Identible Information)と隣接する粒子を頻繁に融合させ、正確なスパンリカバリを複雑にする。
さらに、現在のPII分類体系は法的文書に十分な粒度を欠いている。
これらの問題に対処するために、Thunder-DeID+を導入し、3階層のPII分類を境界対応トークン化器と統合した。
トークン化剤は、トークンとPIIスパンの境界をよりよく整列させるために、N-gramおよび境界装飾成分を組み込むことにより、事前訓練されたBPE語彙を強化する。
提案手法は,トークン化非依存のワードセグメンテーションレベルプロトコルを用いて評価する。
W. Strict Typed F1スコアは4つのモデルサイズ(150M, 395M, 750M, 1B)で0.76-0.77から0.87-0.88に改善され、主にモデルスケールよりも精度が向上した。
より広範な1000の機密文書を微調整することで、判決訓練されたモデルはさらに0.93 W. Strict Typed F1スコアを達成し、裁判所の判決を超えて効果的に転送されることを示す。
関連論文リスト
- Custom Named Entity Recognition and Topic Classification for Global Health Publications [0.3823356975862005]
この論文は、セマンティックタグ発見、名前付きエンティティ認識(NER)、マルチラベルトピック分類の実験を通じて課題を調査する。
まず, プログレッシブな特殊コーパスをトレーニングしたスキップグラム word2vec モデルを BioWordVec と比較し, コーパスサイズとドメインコンテキストがタグ発見に与える影響を評価する。
この分析結果はエンティティ抽出に変わり、1000の注釈付き文で畳み込みのspurCyモデルとRoBERTaベースの変換器を比較した。
論文 参考訳（メタデータ） (2026-09-21T14:09:53Z) - PerceptionRubrics: Calibrating Multimodal Evaluation to Human Perception [75.70273182182397]
PerceptionRubricsはルーブリックベースの評価フレームワークである。
飽和ベンチマークスコアと現実世界の脆さのギャップに対処する。
1,038枚のインフォメーションセンス画像と1万個以上のインスタンス固有のルーリックをペアリングする。
論文 参考訳（メタデータ） (2026-06-26T17:59:15Z) - Compute Optimal Tokenization [79.3815358070537]
圧縮速度によって制御されるトークンの情報粒度がスケーリングの傾向にどのように影響するかを検討する。
所望の圧縮速度の設定を可能にする50Mから7Bパラメータまで,988の潜在トークン化モデル(BLT)を訓練する。
実験の結果, モデルパラメータは, 一般に認識されるトークンではなく, バイト単位のデータサイズに比例してスケールすることがわかった。
論文 参考訳（メタデータ） (2026-05-02T01:53:22Z) - Towards Intelligent Legal Document Analysis: CNN-Driven Classification of Case Law Texts [1.3192560874022086]
本研究は,引用処理分類のための軽量かつ高精度なフレームワークを提案する。
単語認識型FastText埋め込みと1次元畳み込みニューラルネットワーク(CNN)との補間に基づく前処理を併用する。
提案システムは97.26%の分類精度と96.82%のマクロF1スコアを達成し,既存のベースラインを超えている。
論文 参考訳（メタデータ） (2026-04-20T00:14:11Z) - From Intuition to Expertise: Rubric-Based Cognitive Calibration for Human Detection of LLM-Generated Korean Text [7.067247930901556]
LREADは韓国の国産書記法から派生した筆記体である。
フェーズ1は直感のみの検出、フェーズ2は基準レベルスコア、フェーズ3はドメイン中心の熟達を評価します。
フェーズ全体では、多数投票の精度は60%から100%に上昇し、アノテーション間の合意が強まる。
論文 参考訳（メタデータ） (2026-01-06T10:51:39Z) - From Flows to Words: Can Zero-/Few-Shot LLMs Detect Network Intrusions? A Grammar-Constrained, Calibrated Evaluation on UNSW-NB15 [0.41998444721319217]
大規模言語モデル(LLM)は自然言語入力を推論できるが、微調整なしでの侵入検出におけるそれらの役割は未だ不明である。
本研究では、各ネットワークフローをコンパクトなテキストレコードに変換し、軽量でドメインにインスパイアされたフラグで拡張することで、プロンプトオンリーなアプローチを評価する。
ゼロショット,命令誘導,スプリットショットを比較して,同一のスプリット下での強い神経ベースライン,精度,精度,リコール,F1,マクロスコアを比較した。
論文 参考訳（メタデータ） (2025-10-18T02:11:50Z) - CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。
ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
論文 参考訳（メタデータ） (2025-10-02T02:14:33Z) - Few-Shot Cross-lingual Transfer for Coarse-grained De-identification of
Code-Mixed Clinical Texts [56.72488923420374]
事前学習型言語モデル (LM) は低リソース環境下での言語間移動に大きな可能性を示している。
脳卒中におけるコードミキシング(スペイン・カタラン)臨床ノートの低リソース・実世界の課題を解決するために,NER (name recognition) のためのLMの多言語間転写特性を示す。
論文 参考訳（メタデータ） (2022-04-10T21:46:52Z) - Discriminative Nearest Neighbor Few-Shot Intent Detection by
Transferring Natural Language Inference [150.07326223077405]
データ不足を緩和するためには、ほとんどショットラーニングが注目を集めている。
深部自己注意を伴う識別的近傍分類を提示する。
自然言語推論モデル(NLI)を変換することで識別能力を高めることを提案する。
論文 参考訳（メタデータ） (2020-10-25T00:39:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。