論文の概要: Document Classification using File Names

• arxiv url: http://arxiv.org/abs/2410.01166v2
• Date: Wed, 05 Mar 2025 19:11:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-07 17:59:00.441066
• Title: Document Classification using File Names
• Title（参考訳）: ファイル名を用いた文書分類
• Authors: Zhijian Li, Stefan Larson, Kevin Leach,
• Abstract要約: 迅速な文書分類は、デジタル法医学や大規模メディア分類といった、時間に敏感ないくつかの応用において重要である。 重厚なディープラーニングモデルに依存する従来のアプローチは、膨大な入力データセットとドキュメント全体の分析に関連する計算リソースに対する高い推論時間のために、不足している。 本稿では,TF-IDF特徴抽出に基づくトークン化手法と組み合わせた軽量教師付き学習モデルを用いて,ファイル名のみに基づいて文書を高精度かつ効率的に分類する手法を提案する。
• 参考スコア（独自算出の注目度）: 7.130525292849283
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Rapid document classification is critical in several time-sensitive applications like digital forensics and large-scale media classification. Traditional approaches that rely on heavy-duty deep learning models fall short due to high inference times over vast input datasets and computational resources associated with analyzing whole documents. In this paper, we present a method using lightweight supervised learning models, combined with a TF-IDF feature extraction-based tokenization method, to accurately and efficiently classify documents based solely on file names, that substantially reduces inference time. Our results indicate that file name classifiers can process more than 90% of in-scope documents with 99.63% and 96.57% accuracy when tested on two datasets, while being 442x faster than more complex models such as DiT. Our method offers a crucial solution to efficiently process vast document datasets in critical scenarios, enabling fast and more reliable document classification.
• Abstract（参考訳）: 迅速な文書分類は、デジタル法医学や大規模メディア分類といった、時間に敏感ないくつかの応用において重要である。 重厚なディープラーニングモデルに依存する従来のアプローチは、膨大な入力データセットとドキュメント全体の分析に関連する計算リソースに対する高い推論時間のために、不足している。 本稿では、TF-IDF特徴抽出に基づくトークン化手法と組み合わせた軽量教師付き学習モデルを用いて、ファイル名のみに基づいて文書を精度良く、効率的に分類し、推論時間を大幅に短縮する手法を提案する。 この結果は、ファイル名分類器が2つのデータセットでテストした場合、99.63%と96.57%の精度で、スコープ内文書の90%以上を処理でき、DiTのような複雑なモデルよりも442倍高速であることを示している。 本手法は,膨大な文書データセットを重要なシナリオで効率的に処理し,より高速で信頼性の高い文書分類を可能にする。

関連論文リスト

• TWIX: Automatically Reconstructing Structured Data from Templatized Documents [11.03654616939188]
  私たちのツールであるTWIXは、テンプレート化されたドキュメントを作成するために使用されるテンプレートを予測します。 TWIXは90%以上の精度を達成し、業界における平均的かつ優れたツールをリコールする。 TWIXは大規模なデータセットに容易にスケールでき、817ページの巨大なドキュメントコレクションからデータを抽出するビジョンベースのLCMよりも734倍高速で5836倍安価である。
  論文  参考訳（メタデータ） (2025-01-11T23:07:04Z)
• M-Longdoc: A Benchmark For Multimodal Super-Long Document Understanding And A Retrieval-Aware Tuning Framework [75.95430061891828]
  851サンプルのベンチマークであるM-LongDocと、大規模マルチモーダルモデルの性能を評価するための自動フレームワークを紹介する。 効率的なマルチモーダル文書読解のための検索対応チューニング手法を提案する。
  論文  参考訳（メタデータ） (2024-11-09T13:30:38Z)
• DocumentNet: Bridging the Data Gap in Document Pre-Training [78.01647768018485]
  本稿では,Webから大規模かつ弱いラベル付きデータを収集し,VDERモデルの学習に役立てる手法を提案する。 収集されたデータセットはDocumentNetと呼ばれ、特定のドキュメントタイプやエンティティセットに依存しない。 広く採用されているVDERタスクの実験は、DocumentNetを事前トレーニングに組み込んだ場合、大幅に改善されている。
  論文  参考訳（メタデータ） (2023-06-15T08:21:15Z)
• M-Tuning: Prompt Tuning with Mitigated Label Bias in Open-Set Scenarios [103.6153593636399]
  緩和ラベルバイアス(M-Tuning)を用いた視覚言語プロンプトチューニング手法を提案する。 これはWordNetからのオープンワードを導入し、クローズドセットラベルワードのみからもっと多くのプロンプトテキストを形成する単語の範囲を広げ、シミュレートされたオープンセットシナリオでプロンプトをチューニングする。 提案手法は,様々なスケールのデータセット上で最高の性能を達成し,広範囲にわたるアブレーション研究もその有効性を検証した。
  論文  参考訳（メタデータ） (2023-03-09T09:05:47Z)
• FastClass: A Time-Efficient Approach to Weakly-Supervised Text Classification [14.918600168973564]
  本稿では,効率的な弱教師付き分類手法であるFastClassを提案する。 センシティブテキスト表現を使用して、外部ラベルなしコーパスからクラス関連文書を検索する。 実験により,提案手法は,分類精度の観点からキーワード駆動モデルよりも優れており,訓練速度のオーダー・オブ・マグニチュードが高速であることが確認された。
  論文  参考訳（メタデータ） (2022-12-11T13:43:22Z)
• Lbl2Vec: An Embedding-Based Approach for Unsupervised Document Retrieval on Predefined Topics [0.6767885381740952]
  本稿では,ラベルのない文書データセットから,文書と単語ベクトルを共同で学習する手法を提案する。 提案手法はテキスト前処理をほとんど必要としないが,高い確率で関連文書の検索に有効である。 当社のアプローチの複製を容易にするため,開発済みのLbl2Vecコードを3Clause BSDライセンスの下で利用可能なツールとして公開しています。
  論文  参考訳（メタデータ） (2022-10-12T08:57:01Z)
• GERE: Generative Evidence Retrieval for Fact Verification [57.78768817972026]
  本稿では,ジェネレーション方式で証拠を検索する最初のシステムであるGEREを提案する。 FEVERデータセットの実験結果は、GEREが最先端のベースラインよりも大幅に改善されていることを示している。
  論文  参考訳（メタデータ） (2022-04-12T03:49:35Z)
• Efficient Classification of Long Documents Using Transformers [13.927622630633344]
  様々なベースラインと多様なデータセットに対して測定された相対的有効性を評価する。 結果として、より複雑なモデルは、単純なベースラインを上回り、データセット間で一貫性のないパフォーマンスを得ることができないことがしばしば示される。
  論文  参考訳（メタデータ） (2022-03-21T18:36:18Z)
• Trustable Co-label Learning from Multiple Noisy Annotators [68.59187658490804]
  監督されたディープラーニングは、大量の注釈付き例に依存している。 典型的な方法は、複数のノイズアノテータから学習することである。 本稿では,emphTrustable Co-label Learning (TCL)と呼ばれるデータ効率のよい手法を提案する。
  論文  参考訳（メタデータ） (2022-03-08T16:57:00Z)
• Improving Probabilistic Models in Text Classification via Active Learning [0.0]
  本稿では,ラベル付きデータとラベルなしデータの両方からの情報と,アクティブな学習成分を結合したテキスト分類のための高速な新しいモデルを提案する。 本研究では,未ラベルデータの構造に関する情報を導入し,不確実な文書を反復的にラベル付けすることにより,性能を向上することを示す。
  論文  参考訳（メタデータ） (2022-02-05T20:09:26Z)
• Out-of-Category Document Identification Using Target-Category Names as Weak Supervision [64.671654559798]
  Out-of-category Detection は、文書が不適格(またはターゲット)カテゴリと意味的関連性に応じて区別することを目的としている。 対象のカテゴリの1つに属する文書の信頼性を効果的に測定する,カテゴリ外検出フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-11-24T21:01:25Z)
• LeQua@CLEF2022: Learning to Quantify [76.22817970624875]
  LeQua 2022は、テキストデータセットで'を定量化する方法を評価するための新しい実験室である。 本研究の目的は、バイナリ設定とシングルラベルのマルチクラス設定の両方において、学習方法の比較評価のための設定を提供することである。
  論文  参考訳（メタデータ） (2021-11-22T14:54:20Z)
• Comparative Study of Long Document Classification [0.0]
  我々は、標準的な機械学習アプローチを用いて、長い文書分類を再考する。 単純なNaive Bayesから6つの標準テキスト分類データセット上の複雑なBERTまで、さまざまなアプローチをベンチマークする。
  論文  参考訳（メタデータ） (2021-11-01T04:51:51Z)
• Combining Feature and Instance Attribution to Detect Artifacts [62.63504976810927]
  トレーニングデータアーティファクトの識別を容易にする手法を提案する。 提案手法は,トレーニングデータのアーティファクトの発見に有効であることを示す。 我々は,これらの手法が実際にNLP研究者にとって有用かどうかを評価するために,小規模なユーザスタディを実施している。
  論文  参考訳（メタデータ） (2021-07-01T09:26:13Z)
• Integrating Semantics and Neighborhood Information with Graph-Driven Generative Models for Document Retrieval [51.823187647843945]
  本稿では,周辺情報をグラフ誘導ガウス分布でエンコードし,その2種類の情報をグラフ駆動生成モデルと統合することを提案する。 この近似の下では、トレーニング対象がシングルトンまたはペアワイズ文書のみを含む用語に分解可能であることを証明し、モデルが非関連文書と同じくらい効率的にトレーニングできることを示す。
  論文  参考訳（メタデータ） (2021-05-27T11:29:03Z)
• Adversarial Knowledge Transfer from Unlabeled Data [62.97253639100014]
  本稿では,インターネット規模の未ラベルデータから知識を伝達し,分類器の性能を向上させるための新しいAdversarial Knowledge Transferフレームワークを提案する。 我々の手法の重要な新しい側面は、ラベル付けされていないソースデータは、ラベル付けされたターゲットデータと異なるクラスであることができ、個別のプリテキストタスクを定義する必要がないことである。
  論文  参考訳（メタデータ） (2020-08-13T08:04:27Z)
• Web Document Categorization Using Naive Bayes Classifier and Latent Semantic Analysis [0.7310043452300736]
  Webドキュメントの急速な成長は、ドキュメントをWeb上で効率的に分類する効率的なテクニックを必要とする。 LSAを用いて同一クラスにおける文書の類似性を向上し、分類精度を向上させるためのウェブ文書分類手法を提案する。 実験により, 前処理を用いることで, ネイブベイの精度と速度が向上することが確認された。
  論文  参考訳（メタデータ） (2020-06-02T15:35:05Z)
• Fast(er) Reconstruction of Shredded Text Documents via Self-Supervised Deep Asymmetric Metric Learning [62.34197797857823]
  細断文書の自動復元における中心的な問題は、細断文書の相互互換性評価である。 本研究は,推定回数を線形にスケールするペアワイド互換性を測るスケーラブルな深層学習手法を提案する。 提案手法は,505個のシュレッダーを持つテストインスタンスに対して,22倍の高速化を実現した最先端技術に匹敵する精度を有する。
  論文  参考訳（メタデータ） (2020-03-23T03:22:06Z)
• Pre-training Tasks for Embedding-based Large-scale Retrieval [68.01167604281578]
  本稿では,大規模クエリ文書検索問題について考察する。 クエリ(例えば質問)が与えられたら、関連するドキュメントのセットを大きなドキュメントコーパスから返します。 本稿では, 組込み型トランスフォーマーモデルの学習の鍵となる要素が, 事前学習作業のセットであることを示す。
  論文  参考訳（メタデータ） (2020-02-10T16:44:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。