Fugu-MT 論文翻訳(概要): An Experimental Evaluation of Japanese Tokenizers for Sentiment-Based Text Classification

論文の概要: An Experimental Evaluation of Japanese Tokenizers for Sentiment-Based Text Classification

arxiv url: http://arxiv.org/abs/2412.17361v1
Date: Mon, 23 Dec 2024 07:45:51 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-24 15:59:40.714520
Title: An Experimental Evaluation of Japanese Tokenizers for Sentiment-Based Text Classification
Title（参考訳）: 感性に基づくテキスト分類のための日本語トケナイザの実験的評価
Authors: Andre Rusli, Makoto Shishido,
Abstract要約: 日本語テキストの感情に基づくテキスト分類のための前処理ステップとして,MeCab,Sudachi,SentencePieceの3つの一般的なトークン化ツールの性能について検討した。我々は、TF-IDFベクトル化を用いて、従来の機械学習分類器であるマルチノードニーブベイズとロジスティック回帰の2つを評価する。 SentencePiece、TF-IDF、Logistic Regressionの組み合わせは、分類性能の点で他の選択肢よりも優れています。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: This study investigates the performance of three popular tokenization tools: MeCab, Sudachi, and SentencePiece, when applied as a preprocessing step for sentiment-based text classification of Japanese texts. Using Term Frequency-Inverse Document Frequency (TF-IDF) vectorization, we evaluate two traditional machine learning classifiers: Multinomial Naive Bayes and Logistic Regression. The results reveal that Sudachi produces tokens closely aligned with dictionary definitions, while MeCab and SentencePiece demonstrate faster processing speeds. The combination of SentencePiece, TF-IDF, and Logistic Regression outperforms the other alternatives in terms of classification performance.
Abstract（参考訳）: 本研究では,日本語テキストの感情に基づくテキスト分類のための前処理ステップとして,MeCab,Sudachi,SentencePieceの3つの一般的なトークン化ツールの性能について検討した。我々は、TF-IDFベクトル化を用いて、従来の機械学習分類器であるマルチノードニーブベイズとロジスティック回帰の2つを評価する。その結果,Sudachiは辞書定義と密接に一致したトークンを生成し,MeCabとSentencePieceは高速な処理速度を示した。 SentencePiece、TF-IDF、Logistic Regressionの組み合わせは、分類性能の点で他の選択肢よりも優れています。

関連論文リスト

Batching BPE Tokenization Merges [55.2480439325792]
BatchBPEはByte PairアルゴリズムのPython実装である。ベーシックラップトップ上で高品質なトークンをトレーニングするために使用される。
論文参考訳（メタデータ） (2024-08-05T09:37:21Z)
Evaluating Subword Tokenization: Alien Subword Composition and OOV Generalization Challenge [10.721272718226848]
サブワードトークン化のための内在的・外在的評価フレームワークを提案する。 Intrepidの評価は、私たちの新しいUniMorph Labellerツールに基づいており、サブワードのトークン化を形態学または異星人として分類する。実験の結果、UniMorph Labellerの精度は98%であり、異種トークン化はより低い一般化をもたらすことがわかった。
論文参考訳（メタデータ） (2024-04-20T06:49:15Z)
Improving Sampling Methods for Fine-tuning SentenceBERT in Text Streams [49.3179290313959]
本研究では,選択的な微調整言語モデルの設計した7つのテキストサンプリング手法の有効性について検討した。これらの手法がSBERTモデルの微調整に与える影響を, 4つの異なる損失関数を用いて正確に評価する。その結果,テキストストリームの分類にはソフトマックスの損失とバッチ・オール・トリプレットの損失が特に有効であることが示唆された。
論文参考訳（メタデータ） (2024-03-18T23:41:52Z)
T3L: Translate-and-Test Transfer Learning for Cross-Lingual Text Classification [50.675552118811]
言語間テキスト分類は通常、様々な言語で事前訓練された大規模多言語言語モデル(LM)に基づいて構築される。本稿では,古典的な「翻訳とテスト」パイプラインを再考し,翻訳と分類の段階を適切に分離することを提案する。
論文参考訳（メタデータ） (2023-06-08T07:33:22Z)
Enhancing Pashto Text Classification using Language Processing Techniques for Single And Multi-Label Analysis [0.0]
本研究では,Pashtoテキストの自動分類システムの構築を目的とする。平均テスト精度は94%だった。 DistilBERTのような事前訓練された言語表現モデルの使用は、有望な結果を示した。
論文参考訳（メタデータ） (2023-05-04T23:11:31Z)
Tuning Traditional Language Processing Approaches for Pashto Text Classification [0.0]
本研究の目的は,Pashto自動テキスト分類システムの構築である。本研究は、統計的およびニューラルネットワーク機械学習技術の両方を含む複数のモデルを比較する。本研究では,分類アルゴリズムとTFIDF特徴抽出法を用いて,平均試験精度94%を得た。
論文参考訳（メタデータ） (2023-05-04T22:57:45Z)
Language Model Classifier Aligns Better with Physician Word Sensitivity than XGBoost on Readmission Prediction [86.15787587540132]
語彙レベルでモデルの振る舞いを精査する尺度である感度スコアを導入する。本実験は,感度スコアのランク相関に基づいて,臨床医と分類医の意思決定論理を比較した。
論文参考訳（メタデータ） (2022-11-13T23:59:11Z)
Just Rank: Rethinking Evaluation with Word and Sentence Similarities [105.5541653811528]
埋め込みの本質的な評価はかなり遅れていますそして過去10年間重要な更新は行われていません本稿ではまず,単語と文の埋め込み評価におけるゴールドスタンダードとして意味的類似性を用いた問題点を指摘する。本稿では,下流タスクとより強い相関関係を示すEvalRankという本質的な評価手法を提案する。
論文参考訳（メタデータ） (2022-03-05T08:40:05Z)
Hierarchical Bi-Directional Self-Attention Networks for Paper Review Rating Recommendation [81.55533657694016]
本稿では,階層型双方向自己注意ネットワークフレームワーク(HabNet)を提案する。具体的には、文エンコーダ(レベル1)、レビュー内エンコーダ(レベル2)、レビュー間エンコーダ(レベル3)の3つのレベルで、論文レビューの階層構造を利用する。我々は、最終的な受理決定を行う上で有用な予測者を特定することができ、また、数値的なレビュー評価とレビュアーが伝えるテキストの感情の不整合を発見するのに役立てることができる。
論文参考訳（メタデータ） (2020-11-02T08:07:50Z)
Rank over Class: The Untapped Potential of Ranking in Natural Language Processing [8.637110868126546]
我々は、現在分類を用いて対処されている多くのタスクが、実際には分類モールドに切り替わっていると論じる。本稿では,一対のテキストシーケンスの表現を生成するトランスフォーマーネットワークからなる新しいエンドツーエンドランキング手法を提案する。重く歪んだ感情分析データセットの実験では、ランキング結果を分類ラベルに変換すると、最先端のテキスト分類よりも約22%改善する。
論文参考訳（メタデータ） (2020-09-10T22:18:57Z)
Exploiting Class Labels to Boost Performance on Embedding-based Text Classification [16.39344929765961]
異なる種類の埋め込みは、テキスト分類に使用される機能として、最近デファクトスタンダードになっている。本稿では,単語の埋め込みを計算する際に,高頻度のカテゴリー排他語を重み付け可能な重み付け方式TF-CRを提案する。
論文参考訳（メタデータ） (2020-06-03T08:53:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。