論文の概要: Benchmarking Classical and Transformer-Based Models for Document Sensitivity Classification

• arxiv url: http://arxiv.org/abs/2608.16928v1
• Date: Wed, 05 Aug 2026 05:00:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-23 14:54:39.978895
• Title: Benchmarking Classical and Transformer-Based Models for Document Sensitivity Classification
• Title（参考訳）: 文書感性分類のための古典・変圧器モデルベンチマーク
• Abstract要約: 本稿では,WikiLeaks Public Library of US Diplomacy (PlusD) から得られた16,000の外交ケーブルの漏洩制御コーパスであるStrategic 16Kを紹介する。 我々は,文書本体に埋め込まれた残差分類マーカーの3つのカテゴリを識別し,除去する,拡張された漏洩除去プロトコルを文書化する。 古典的モデルの中では、ロジスティック回帰を用いたTF-IDFは計算コストを大幅に下げて最強のパフォーマンスを達成している。
• 参考スコア（独自算出の注目度）: 1.096626056612224
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automatic sensitivity classification of organizational documents is a critical yet underserved problem, where the consequences of misclassification range from regulatory violations to security breaches. While AI-based approaches offer a scalable alternative to manual review, their reliability depends fundamentally on the integrity of training data. A pervasive but underreported problem in this domain is label leakage: residual classification markers embedded within document bodies that allow models to exploit surface shortcuts rather than learning genuine content-based sensitivity signals, producing performance estimates that are inflated and unreliable. This paper addresses this problem by introducing Strategic 16K, a carefully constructed, leakage-controlled corpus of 16,000 diplomatic cables sourced from the WikiLeaks Public Library of US Diplomacy (PlusD), and presents a systematic benchmark evaluating six model architectures spanning classical machine learning and transformer-based approaches. We document an extended leakage removal protocol that identifies and eliminates three categories of residual classification markers embedded within document bodies. On the clean benchmark, BERT achieves the strongest performance (Accuracy = 89.14%, F1 = 89.33%), followed by ELECTRA (Accuracy = 88.57%, F1 = 88.90%). Among classical models, TF-IDF with Logistic Regression achieves the strongest performance at significantly lower computational cost. These results constitute the first fully reproducible sensitivity classification benchmark constructed under explicit leakage-controlled conditions from WikiLeaks PlusD.
• Abstract（参考訳）: 組織文書の自動感度分類は、規制違反からセキュリティ侵害まで、誤分類の結果が多岐にわたる重大な問題であるが、保存されていない問題である。 AIベースのアプローチは手作業によるレビューに代わるスケーラブルな代替手段を提供するが、信頼性は基本的にトレーニングデータの完全性に依存している。 この領域で広く報告されていない問題は、ラベルの漏洩である:残差の分類マーカーが文書本体に埋め込まれており、本物のコンテンツベースの感度信号を学ぶのではなく、モデルが表面のショートカットを利用することができる。 本稿では, WikiLeaks Public Library of US Diplomacy (PlusD) から調達された16,000個の外交ケーブルの, 慎重に構築された漏洩制御コーパスであるStrategic 16Kを導入することでこの問題に対処し, 古典的機械学習とトランスフォーマーに基づく6つのモデルアーキテクチャを評価検討した。 我々は,文書本体に埋め込まれた残差分類マーカーの3つのカテゴリを識別し,除去する,拡張された漏洩除去プロトコルを文書化する。 クリーンなベンチマークでは、BERTは最強のパフォーマンス(精度=89.14%、F1=89.33%)を達成し、ELECTRA(精度=88.57%、F1=88.90%)が続く。 古典的モデルの中では、ロジスティック回帰を用いたTF-IDFは計算コストを大幅に下げて最強のパフォーマンスを達成している。 これらの結果はWikiLeaks PlusDの明示的な漏洩制御条件下で構築された最初の完全再現性感度分類ベンチマークである。

関連論文リスト

• Security Document Classification with a Fine-Tuned Local Large Language Model: Benchmark Data and an Open-Source System [0.0]
  本研究では、Qwen 3.5 27Bモデルに基づいて構築されたセキュリティ文書分類のためのオープンソースのローカルシステムであるTorchSightについて述べる。 このモデルは、13の許可を受けたソースから78,358のサンプルと、7つのセキュリティカテゴリと51のサブカテゴリをカバーするGPT-4合成データに基づいて訓練された。 その結果、微調整されたローカルモデルでは、文書処理をローカル制御下に保ちながら、正確なセキュリティ文書分類が可能であることがわかった。
  論文  参考訳（メタデータ） (2026-05-19T18:18:19Z)
• GF-Score: Certified Class-Conditional Robustness Evaluation with Fairness Guarantees [1.6058099298620423]
  我々は、認定されたGREATスコアをクラスごとの堅牢性プロファイルに分解するフレームワークであるemphGF-Score(GREAT-Fairness Score)を紹介する。 分解は正確であり、クラスごとのスコアは一貫性のある脆弱性パターンを示し、より堅牢なモデルではクラスレベルの格差が大きくなる傾向にある。 これらの結果から,信頼性の高いロバスト性保証がすべてのクラスを平等に保護できないような,実用的なアタックフリー監査パイプラインが確立された。
  論文  参考訳（メタデータ） (2026-04-14T14:03:22Z)
• Learning to Prioritize IT Tickets: A Comparative Evaluation of Embedding-based Approaches and Fine-Tuned Transformer Models [0.0]
  ITサービス管理(ITSM)におけるサービスチケットの優先順位付けは、運用効率にとって重要であるが、依然として困難である。 チケット優先化のための2種類のアプローチとして,次元減少,クラスタリング,古典的一般化を組み合わせた埋め込み型パイプラインと,テキストおよび数値的特徴の両処理を行う微調整多言語変換器について評価した。
  論文  参考訳（メタデータ） (2025-11-28T16:02:06Z)
• EReLiFM: Evidential Reliability-Aware Residual Flow Meta-Learning for Open-Set Domain Generalization under Noisy Labels [85.78886153628663]
  Open-Set Domain Generalizationは、ディープラーニングモデルが新しいドメインで目に見えないカテゴリを認識できるようにすることを目的としている。 ラベルノイズは、ソースドメインの知識を損なうことによって、オープンセットドメインの一般化を妨げる。 本稿では,ドメインギャップを埋めるために,Evidential Reliability-Aware Residual Flow Meta-Learning (EReLiFM)を提案する。
  論文  参考訳（メタデータ） (2025-10-14T16:23:11Z)
• LVLMs as inspectors: an agentic framework for category-level structural defect annotation [3.2445985501669434]
  エージェントベースの新しいエージェントアノテーションフレームワークであるDefect Pattern Taggerが導入された。 これはLVLM(Large Vision-Language Models)とセマンティックパターンマッチングモジュールと反復的な自己探索機構を統合している。 生の視覚データを高品質でセマンティックにラベル付けされた欠陥データセットに変換する。
  論文  参考訳（メタデータ） (2025-10-01T07:31:42Z)
• Attribute Fusion-based Classifier on Framework of Belief Structure [46.24928730489845]
  Dempster-Shafer Theory (DST)は、不確実性をモデリングするための強力なフレームワークを提供し、多属性分類タスクに広く適用されてきた。 従来のDSTに基づく属性融合型分類器は、単純化されたメンバーシップ関数モデリングと基本確率割当(BPA)による信念構造の限定的活用に悩まされている。 本稿では,2つの重要なイノベーションを通じて,これらの制限に対処する属性融合型分類器を提案する。
  論文  参考訳（メタデータ） (2025-08-31T09:05:15Z)
• GLiClass: Generalist Lightweight Model for Sequence Classification Tasks [49.2639069781367]
  本稿では,シーケンス分類タスクにGLiNERアーキテクチャを適用する新しい手法であるGLiClassを提案する。 提案手法は,ゼロショットおよび少数ショット学習シナリオに必要な柔軟性を維持しつつ,埋め込み方式に匹敵する高い精度と効率を実現する。
  論文  参考訳（メタデータ） (2025-08-11T06:22:25Z)
• Graph-Structured Data Analysis of Component Failure in Autonomous Cargo Ships Based on Feature Fusion [20.287188044863925]
  本稿では,障害モードのグラフ構造化データセットを構築するためのハイブリッド機能融合フレームワークを提案する。 サブシステム/コンポーネント機能のエンコードにWord2Vecエンコーディング、障害モード/領域の処理にBERT-KPCA、障害影響と緊急意思決定のセマンティックな関連を定量化するSentence-BERTを用いて階層的特徴融合フレームワークを構築する。
  論文  参考訳（メタデータ） (2025-07-18T08:02:49Z)
• Hybrid-Segmentor: A Hybrid Approach to Automated Fine-Grained Crack Segmentation in Civil Infrastructure [52.2025114590481]
  エンコーダ・デコーダをベースとした手法であるHybrid-Segmentorを導入する。 これにより、モデルは、様々な種類の形状、表面、き裂の大きさを区別する一般化能力を向上させることができる。 提案モデルは,5つの測定基準(精度0.971,精度0.804,リコール0.744,F1スコア0.770,IoUスコア0.630)で既存ベンチマークモデルより優れ,最先端の状態を達成している。
  論文  参考訳（メタデータ） (2024-09-04T16:47:16Z)
• Adaptive Hierarchical Certification for Segmentation using Randomized Smoothing [87.48628403354351]
  機械学習の認証は、特定の条件下では、敵対的なサンプルが特定の範囲内でモデルを回避できないことを証明している。 セグメンテーションの一般的な認証方法は、平らな粒度のクラスを使い、モデルの不確実性による高い断続率をもたらす。 本稿では,複数レベルの階層内で画素を認証し,不安定なコンポーネントに対して粗いレベルに適応的に認証を緩和する,新しい,より実用的な設定を提案する。
  論文  参考訳（メタデータ） (2024-02-13T11:59:43Z)
• Weak Supervision Performance Evaluation via Partial Identification [46.73061437177238]
  Programmatic Weak Supervision (PWS) は、地上の真理ラベルに直接アクセスすることなく、教師付きモデルトレーニングを可能にする。 本稿では,モデル評価を部分的同定問題としてフレーミングすることで,この問題に対処する新しい手法を提案する。 提案手法は,従来の弱監督評価手法において,ラベル付きデータを必要とせず,重要な指標に信頼性のあるバウンダリを導出する。
  論文  参考訳（メタデータ） (2023-12-07T07:15:11Z)
• Generalized Focal Loss: Learning Qualified and Distributed Bounding Boxes for Dense Object Detection [85.53263670166304]
  一段検出器は基本的に、物体検出を密度の高い分類と位置化として定式化する。 1段検出器の最近の傾向は、局所化の質を推定するために個別の予測分岐を導入することである。 本稿では, 上記の3つの基本要素, 品質推定, 分類, ローカライゼーションについて述べる。
  論文  参考訳（メタデータ） (2020-06-08T07:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。