論文の概要: Security Document Classification with a Fine-Tuned Local Large Language Model: Benchmark Data and an Open-Source System

• arxiv url: http://arxiv.org/abs/2605.20368v1
• Date: Tue, 19 May 2026 18:18:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 19:19:56.316453
• Title: Security Document Classification with a Fine-Tuned Local Large Language Model: Benchmark Data and an Open-Source System
• Title（参考訳）: 局所的局所言語モデルを用いたセキュリティ文書分類:ベンチマークデータとオープンソースシステム
• Authors: Ivan Dobrovolskyi,
• Abstract要約: 本研究では、Qwen 3.5 27Bモデルに基づいて構築されたセキュリティ文書分類のためのオープンソースのローカルシステムであるTorchSightについて述べる。 このモデルは、13の許可を受けたソースから78,358のサンプルと、7つのセキュリティカテゴリと51のサブカテゴリをカバーするGPT-4合成データに基づいて訓練された。 その結果、微調整されたローカルモデルでは、文書処理をローカル制御下に保ちながら、正確なセキュリティ文書分類が可能であることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Organizations that scan documents for sensitive information face a practical problem. Cloud services require data to be sent to external infrastructure, while rule-based tools often miss threats that depend on context. This study presents TorchSight, an open-source local system for security document classification built around a fine-tuned Qwen 3.5 27B model. The model was trained on 78,358 samples from 13 permissively licensed sources and GPT-4 synthetic data covering seven security categories and 51 subcategories. In the main evaluation on 1,000 documents, the model reached 95.0% category-level accuracy (95% confidence interval: 93.5-96.2). The tested commercial models scored 75.4-79.9% under the same prompting protocol. On a separate external set of 500 held-out samples, the model reached 93.8% accuracy, which suggests that performance extends beyond the main benchmark, although the margin depends on dataset composition and difficult boundary cases. The results show that a fine-tuned local model can support accurate security document classification while keeping document processing under local control.
• Abstract（参考訳）: 機密情報のために文書をスキャンする組織は、現実的な問題に直面します。 クラウドサービスは外部インフラストラクチャにデータを送信する必要があり、ルールベースのツールはコンテキストに依存する脅威を見逃すことが多い。 本研究では、Qwen 3.5 27Bモデルに基づいて構築されたセキュリティ文書分類のためのオープンソースのローカルシステムであるTorchSightについて述べる。 このモデルは、13の許可を受けたソースから78,358のサンプルと、7つのセキュリティカテゴリと51のサブカテゴリをカバーするGPT-4合成データに基づいて訓練された。 1000文書の主評価では、95.0%のカテゴリーレベルの精度(95%信頼区間:93.5-96.2)に達した。 試験された商用モデルは75.4-79.9%を同じプロンプトプロトコルで獲得した。 500個の保持されたサンプルの別個の外部セットでは、93.8%の精度に到達し、パフォーマンスがメインベンチマークを超えていることを示しているが、マージンはデータセットの構成と難しい境界ケースに依存している。 その結果、微調整されたローカルモデルでは、文書処理をローカル制御下で維持しながら、正確なセキュリティ文書分類をサポートできることが示唆された。

関連論文リスト

• How Far Is Document Parsing from Solved? PureDocBench: A Source-TraceableBenchmark across Clean, Degraded, and Real-World Settings [56.70440596502351]
  昨年は20以上のオープンドキュメントパースモデルが見られたが、ベンチマークはほぼOmniDocBenchにのみ依存している。 HTML/CSSのドキュメントイメージをレンダリングするベンチマークであるPureDocBenchは、10のドメイン、66ページ、1,475ページをカバーしています。
  論文  参考訳（メタデータ） (2026-05-08T09:30:31Z)
• Measuring LLM Trust Allocation Across Conflicting Software Artifacts [4.974612243038232]
  本稿では,Javadoc上の構造化アーティファクトレベルの信頼トレース,メソッドシグネチャ,実装,テストプレフィックスを付与するフレームワークであるTRACEを紹介する。 我々は,人工物ごとの品質評価,不整合検出,影響を受ける人工物属性,ソース優先性を評価した。
  論文  参考訳（メタデータ） (2026-04-03T20:38:14Z)
• Structured Context Engineering for File-Native Agentic Systems: Evaluating Schema Accuracy, Format Effectiveness, and Multi-File Navigation at Scale [0.0]
  大規模言語モデルエージェントは、プログラムインターフェイスを介してシステムを操作するようになっている。 しかし、実践者は、これらのエージェントが消費するコンテキストを構造化する方法に関する経験的なガイダンスを欠いている。 11のモデル、4のフォーマット、スキーマ10から10,000のテーブルにわたる9,649の実験を調査した。
  論文  参考訳（メタデータ） (2026-02-05T08:39:05Z)
• NewsScope: Schema-Grounded Cross-Domain News Claim Extraction with Open Models [0.15039745292757667]
  NewsScopeは、スキーマ付きニュースクレーム抽出のためのクロスドメインデータセット、ベンチマーク、微調整モデルである。 データセットには政治、健康、科学/環境、ビジネスに関する455の記事が含まれている。 LLaMA 3.1 8Bは、LoRAを315のトレーニング例で微調整し、保持領域内(80記事)とアウト・オブ・ソース(60記事)のテストセットで評価した。
  論文  参考訳（メタデータ） (2025-12-26T19:17:21Z)
• DocReward: A Document Reward Model for Structuring and Stylizing [107.03974018371058]
  DocRewardはドキュメントの構造とスタイルに基づいてドキュメントを評価するドキュメント報酬モデルである。 ブラッドリー・テリーの損失を利用して文書を採点し、注釈付きランキングに矛盾する予測を罰する訓練を受けている。 GPT-5の37.7%の勝利率に比べて60.8%の勝利率を達成した。
  論文  参考訳（メタデータ） (2025-10-13T13:36:32Z)
• Approximating Language Model Training Data from Weights [70.08614275061689]
  モデル重みからデータ近似の問題を定式化し、いくつかのベースラインとメトリクスを提案する。 そこで我々は,大規模公開テキストコーパスから最高のマッチングデータを選択する勾配に基づく手法を開発した。 真のトレーニングデータがない場合でも、我々の方法では、公開Webドキュメントの小さなサブセットを見つけることができる。
  論文  参考訳（メタデータ） (2025-06-18T15:26:43Z)
• QUEST: Quality-aware Semi-supervised Table Extraction for Business Documents [0.1516287840715525]
  QUESTはビジネス文書のための品質対応の半教師付きテーブル抽出フレームワークである。 QUESTは、信頼度基準に頼るのではなく、F1スコアを予測するために訓練された抽出テーブルの構造的特徴と文脈的特徴を評価する。
  論文  参考訳（メタデータ） (2025-06-17T14:25:44Z)
• SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
  SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。 提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。 我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
  論文  参考訳（メタデータ） (2025-03-11T17:53:02Z)
• CLOVER: A Test Case Generation Benchmark with Coverage, Long-Context, and Verification [71.34070740261072]
  本稿では,テストケースの生成と完成におけるモデルの能力を評価するためのベンチマークCLOVERを提案する。 ベンチマークはタスク間でのコード実行のためにコンテナ化されています。
  論文  参考訳（メタデータ） (2025-02-12T21:42:56Z)
• Generalized Focal Loss: Learning Qualified and Distributed Bounding Boxes for Dense Object Detection [85.53263670166304]
  一段検出器は基本的に、物体検出を密度の高い分類と位置化として定式化する。 1段検出器の最近の傾向は、局所化の質を推定するために個別の予測分岐を導入することである。 本稿では, 上記の3つの基本要素, 品質推定, 分類, ローカライゼーションについて述べる。
  論文  参考訳（メタデータ） (2020-06-08T07:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。