論文の概要: Curating Stopwords in Marathi: A TF-IDF Approach for Improved Text Analysis and Information Retrieval

• arxiv url: http://arxiv.org/abs/2406.11029v1
• Date: Sun, 16 Jun 2024 17:59:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-18 19:23:12.309383
• Title: Curating Stopwords in Marathi: A TF-IDF Approach for Improved Text Analysis and Information Retrieval
• Title（参考訳）: Marathiにおける単語の計算:テキスト分析と情報検索の改善のためのTF-IDFアプローチ
• Authors: Rohan Chavan, Gaurav Patil, Vishal Madle, Raviraj Joshi,
• Abstract要約: ストップワードは、文書の意味や重要性を決定するのにはほとんど価値がないと考えられる言語で一般的に使われる単語である。 我々の研究は、マハコルプス(MahaCorpus)を用いてマラティア語で2480万の文で停止語をキュレーションすることを目的としている。
• 参考スコア（独自算出の注目度）: 0.4499833362998489
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stopwords are commonly used words in a language that are often considered to be of little value in determining the meaning or significance of a document. These words occur frequently in most texts and don't provide much useful information for tasks like sentiment analysis and text classification. English, which is a high-resource language, takes advantage of the availability of stopwords, whereas low-resource Indian languages like Marathi are very limited, standardized, and can be used in available packages, but the number of available words in those packages is low. Our work targets the curation of stopwords in the Marathi language using the MahaCorpus, with 24.8 million sentences. We make use of the TF-IDF approach coupled with human evaluation to curate a strong stopword list of 400 words. We apply the stop word removal to the text classification task and show its efficacy. The work also presents a simple recipe for stopword curation in a low-resource language. The stopwords are integrated into the mahaNLP library and publicly available on https://github.com/l3cube-pune/MarathiNLP .
• Abstract（参考訳）: ストップワードは、文書の意味や重要性を決定するのにはほとんど価値がないと考えられる言語で一般的に使われる単語である。 これらの単語は、ほとんどのテキストで頻繁に発生し、感情分析やテキスト分類といったタスクにはあまり有用な情報を提供していない。 一方、Marathiのような低リソースのインドの言語は非常に制限され、標準化されており、利用可能なパッケージで使用できるが、それらのパッケージで利用可能な単語の数は少ない。 我々の研究は、マハコルプス(MahaCorpus)を用いてマラティア語で2480万の文で停止語をキュレーションすることを目的としている。 TF-IDFアプローチと人間の評価を組み合わせることで,400単語の強い停止語リストをキュレートする。 テキスト分類タスクに停止語除去を適用し,その有効性を示す。 この作業は、低リソース言語でのストップワードキュレーションの簡単なレシピも提示している。 ストップワードはmahaNLPライブラリに統合され、https://github.com/l3cube-pune/MarathiNLPで公開されている。

関連論文リスト

• KSW: Khmer Stop Word based Dictionary for Keyword Extraction [0.0]
  本稿では,Khmer固有のキーワード抽出手法であるKSWについて紹介する。 KSWはこの問題に対処するため、調整済みの停止語辞書を開発し、停止語を削除するための前処理手法を実装した。 実験により、KSWは従来の手法に比べて精度と妥当性が大幅に向上したことが示された。
  論文  参考訳（メタデータ） (2024-05-27T17:42:54Z)
• Text Categorization Can Enhance Domain-Agnostic Stopword Extraction [3.6048839315645442]
  本稿では,自然言語処理(NLP)における停止語抽出におけるテキスト分類の役割について検討する。 MasakhaNEWS, African Stopwords Project, MasakhaPOS のデータセットを利用することで, テキスト分類がドメインに依存しない停止語を, 80%以上の検出成功率で効果的に識別できることが示唆された。
  論文  参考訳（メタデータ） (2024-01-24T11:52:05Z)
• Chain-of-Dictionary Prompting Elicits Translation in Large Language Models [100.47154959254937]
  大規模言語モデル(LLM)は多言語ニューラルマシン翻訳(MNMT)において驚くほど優れた性能を示した 入力単語のサブセットに対する多言語辞書の連鎖による事前知識でLLMを拡張して翻訳能力を引き出す新しい方法であるCoDを提案する。
  論文  参考訳（メタデータ） (2023-05-11T05:19:47Z)
• Romanization-based Large-scale Adaptation of Multilingual Language Models [124.57923286144515]
  大規模多言語事前学習言語モデル (mPLMs) は,NLPにおける多言語間移動のデファクトステートとなっている。 我々は、mPLMをローマン化および非ロマン化した14の低リソース言語コーパスに適用するためのデータとパラメータ効率の戦略を多数検討し、比較した。 以上の結果から, UROMAN をベースとしたトランスリテラルは,多くの言語で高い性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2023-04-18T09:58:34Z)
• Accuracy of the Uzbek stop words detection: a case study on "School corpus" [0.0]
  本稿では,自動生成を目的とした停止語リストの品質評価手法を提案する。 この手法はウズベク語の停止語のリストを自動生成してテストした。
  論文  参考訳（メタデータ） (2022-09-15T05:14:31Z)
• Multilingual Autoregressive Entity Linking [49.35994386221958]
  mGENREはMultilingual Entity Linking問題のためのシーケンス対シーケンスシステムである。 与えられた言語で言及すると、mGENREはターゲットエンティティの名前を左から右へ、トークンごとに予測します。 提案手法の有効性を3つのMELベンチマーク実験を含む広範囲な評価により示す。
  論文  参考訳（メタデータ） (2021-03-23T13:25:55Z)
• Learning Contextualised Cross-lingual Word Embeddings and Alignments for Extremely Low-Resource Languages Using Parallel Corpora [63.5286019659504]
  そこで本稿では,小さな並列コーパスに基づく文脈型言語間単語埋め込み学習手法を提案する。 本手法は,入力文の翻訳と再構成を同時に行うLSTMエンコーダデコーダモデルを用いて単語埋め込みを実現する。
  論文  参考訳（メタデータ） (2020-10-27T22:24:01Z)
• Taking Notes on the Fly Helps BERT Pre-training [94.43953312613577]
  Takeing Notes on the Fly (TNF) は、事前トレーニング中にフライで稀な単語のメモを取り、次回発生するときにモデルがそれらを理解するのに役立つ。 TNFは、文中のまれな単語によって引き起こされる不適切な意味をカバーするために、クロス文情報を用いるので、より良いデータ利用を提供する。
  論文  参考訳（メタデータ） (2020-08-04T11:25:09Z)
• Soft Gazetteers for Low-Resource Named Entity Recognition [78.00856159473393]
  本稿では、英語知識ベースからユビキタスに利用可能な情報をニューラル名付きエンティティ認識モデルに組み込む「ソフトガゼッタ」を提案する。 4つの低リソース言語に対する実験により,F1得点の4点の平均的改善が示された。
  論文  参考訳（メタデータ） (2020-05-04T21:58:02Z)
• Language-Independent Tokenisation Rivals Language-Specific Tokenisation for Word Similarity Prediction [12.376752724719005]
  言語に依存しないトークン化(LIT)メソッドはラベル付き言語リソースや語彙を必要としない。 言語固有のトークン化(LST)手法は、長い歴史と確立された歴史を持ち、慎重に作成された語彙とトレーニングリソースを用いて開発されている。 意味的類似度測定を多種多様な言語を対象とした評価課題として用いた2つの手法を実証的に比較した。
  論文  参考訳（メタデータ） (2020-02-25T16:24:42Z)
• Unsupervised Separation of Native and Loanwords for Malayalam and Telugu [3.4925763160992402]
  ある言語からの単語は翻訳なしで別の言語で採用され、後者の言語で書かれたテキストで文字化された形で現れる。 この現象は、多くの単語が英語から借用されているインドの言語で特に広まっている。 本稿では,アグリニティブ・ドラヴィダ語からの単語の大規模なデータセットから,借用語を自動的かつ教師なしの方法で識別するタスクに対処する。
  論文  参考訳（メタデータ） (2020-02-12T04:01:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。