Fugu-MT 論文翻訳(概要): Content-Based Textual File Type Detection at Scale

論文の概要: Content-Based Textual File Type Detection at Scale

arxiv url: http://arxiv.org/abs/2101.08508v1
Date: Thu, 21 Jan 2021 09:08:42 GMT
ステータス: 処理完了
システム内更新日: 2021-03-21 07:48:56.022933
Title: Content-Based Textual File Type Detection at Scale
Title（参考訳）: 大規模コンテンツに基づくテキストファイル型検出
Authors: Francesca Del Bonifro, Maurizio Gabbrielli, Stefano Zacchiroli
Abstract要約: プログラミング言語の検出は、大規模なソースコードの分析において一般的なニーズです。我々は,テキストファイルの内容のみに基づいて,ソフトウェアコードベースでよく見られるファイルの種類を正確に検出する問題を考える。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Programming language detection is a common need in the analysis of large source code bases. It is supported by a number of existing tools that rely on several features, and most notably file extensions, to determine file types. We consider the problem of accurately detecting the type of files commonly found in software code bases, based solely on textual file content. Doing so is helpful to classify source code that lack file extensions (e.g., code snippets posted on the Web or executable scripts), to avoid misclassifying source code that has been recorded with wrong or uncommon file extensions, and also shed some light on the intrinsic recognizability of source code files. We propose a simple model that (a) use a language-agnostic word tokenizer for textual files, (b) group tokens in 1-/2-grams, (c) build feature vectors based on N-gram frequencies, and (d) use a simple fully connected neural network as classifier. As training set we use textual files extracted from GitHub repositories with at least 1000 stars, using existing file extensions as ground truth. Despite its simplicity the proposed model reaches 85% in our experiments for a relatively high number of recognized classes (more than 130 file types).
Abstract（参考訳）: プログラミング言語検出は、大規模なソースコードの解析において一般的なニーズである。ファイルタイプを決定するために、いくつかの機能、特にファイル拡張に依存する既存のツールによってサポートされている。我々は,テキストファイルの内容のみに基づいて,ソフトウェアコードベースでよく見られるファイルの種類を正確に検出する問題を考える。そのためには、ファイル拡張を欠いたソースコード(例えば、Webに投稿されたコードスニペットや実行可能スクリプト)を分類し、間違ったファイル拡張や珍しいファイル拡張で記録されたソースコードの誤分類を避けるとともに、ソースコードファイルの本質的な認識性にも光を当てる。本稿では, (a) テキストファイルに言語に依存しない単語トークン化器, (b) 1-/2-gram のグループトークン, (c) n-gram周波数に基づく特徴ベクトルの構築, (d) 単純な完全接続型ニューラルネットワークを分類器として使用する簡易モデルを提案する。トレーニングセットとしては、既存のファイル拡張を根拠として、少なくとも1000の星を持つgithubリポジトリから抽出されたテキストファイルを使用する。その単純さにもかかわらず、提案されたモデルは比較的多くの認識されたクラス(130以上のファイルタイプ)に対する実験で85%に達する。