論文の概要: Topic Modeling in Marathi
- arxiv url: http://arxiv.org/abs/2502.02100v1
- Date: Tue, 04 Feb 2025 08:32:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-05 15:03:38.347838
- Title: Topic Modeling in Marathi
- Title(参考訳): Marathiにおけるトピックモデリング
- Authors: Sanket Shinde, Raviraj Joshi,
- Abstract要約: リソースの限られた可用性、多様な言語構造、そしてIndic言語によって引き起こされる固有の課題は、この領域における研究や応用の不足に寄与する。
マルチリンガルおよびモノリンガルのBERTモデルを含むBERTと非BERTの様々なアプローチを比較し、トピックコヒーレンスとトピックの多様性を評価指標として用いた。
この論文の重要な発見は、BERTopicがIndic言語で訓練されたBERTモデルと組み合わせることで、トピックモデリングのパフォーマンスにおいてLDAを上回っていることである。
- 参考スコア(独自算出の注目度): 0.552480439325792
- License:
- Abstract: While topic modeling in English has become a prevalent and well-explored area, venturing into topic modeling for Indic languages remains relatively rare. The limited availability of resources, diverse linguistic structures, and unique challenges posed by Indic languages contribute to the scarcity of research and applications in this domain. Despite the growing interest in natural language processing and machine learning, there exists a noticeable gap in the comprehensive exploration of topic modeling methodologies tailored specifically for languages such as Hindi, Marathi, Tamil, and others. In this paper, we examine several topic modeling approaches applied to the Marathi language. Specifically, we compare various BERT and non-BERT approaches, including multilingual and monolingual BERT models, using topic coherence and topic diversity as evaluation metrics. Our analysis provides insights into the performance of these approaches for Marathi language topic modeling. The key finding of the paper is that BERTopic, when combined with BERT models trained on Indic languages, outperforms LDA in terms of topic modeling performance.
- Abstract(参考訳): 英語のトピック・モデリングは広く普及し、よく研究されている分野となっているが、インド語のトピック・モデリングへの取り組みは比較的稀である。
リソースの限られた可用性、多様な言語構造、そしてIndic言語によって引き起こされる固有の課題は、この領域における研究や応用の不足に寄与する。
自然言語処理や機械学習への関心が高まっているにもかかわらず、ヒンディー語、マラティー語、タミル語などの言語に特化したトピックモデリング方法論の包括的な探索には、顕著なギャップがある。
本稿では,マラタイ語に適用されるトピックモデリング手法について検討する。
具体的には、多言語および単言語BERTモデルを含む様々なBERTと非BERTのアプローチを比較し、トピックコヒーレンスとトピックの多様性を評価指標として用いた。
我々の分析は、マラタイ語トピックモデリングにおけるこれらの手法の性能に関する洞察を提供する。
この論文の重要な発見は、BERTopicがIndic言語で訓練されたBERTモデルと組み合わせることで、トピックモデリングのパフォーマンスにおいてLDAを上回っていることである。
関連論文リスト
- Navigating Text-to-Image Generative Bias across Indic Languages [53.92640848303192]
本研究ではインドで広く話されているIndic言語に対するテキスト・ツー・イメージ(TTI)モデルのバイアスについて検討する。
これらの言語における主要なTTIモデルの生成的パフォーマンスと文化的関連性を評価し,比較する。
論文 参考訳(メタデータ) (2024-08-01T04:56:13Z) - Breaking Boundaries: Investigating the Effects of Model Editing on Cross-linguistic Performance [6.907734681124986]
本稿では,多言語文脈における知識編集技術を検討することにより,言語的平等の必要性を戦略的に識別する。
Mistral, TowerInstruct, OpenHathi, Tamil-Llama, Kan-Llamaなどのモデルの性能を,英語,ドイツ語,フランス語,イタリア語,スペイン語,ヒンディー語,タミル語,カンナダ語を含む言語で評価した。
論文 参考訳(メタデータ) (2024-06-17T01:54:27Z) - Understanding Cross-Lingual Alignment -- A Survey [52.572071017877704]
言語間アライメントは多言語言語モデルにおける言語間の表現の有意義な類似性である。
本研究は,言語間アライメントの向上,手法の分類,分野全体からの洞察の要約といった手法の文献を調査する。
論文 参考訳(メタデータ) (2024-04-09T11:39:53Z) - Formal Aspects of Language Modeling [74.16212987886013]
大規模言語モデルは最も一般的なNLP発明の1つとなっている。
これらのノートは、ETH Z "urich course on large language model" の理論的部分の伴奏である。
論文 参考訳(メタデータ) (2023-11-07T20:21:42Z) - Neural Machine Translation for the Indigenous Languages of the Americas:
An Introduction [102.13536517783837]
アメリカ大陸のほとんどの言語は、もしあるならば、並列データと単言語データしか持たない。
これらの言語におけるNLPコミュニティの関心が高まった結果、最近の進歩、発見、オープンな質問について論じる。
論文 参考訳(メタデータ) (2023-06-11T23:27:47Z) - H-AES: Towards Automated Essay Scoring for Hindi [33.755800922763946]
ヒンディー語領域におけるAES(Automated Essay Scoring)の最先端手法を再現・比較する。
LSTM Networks や Fine-Tuned Transformer Architecture など,古典的な機能ベースの機械学習(ML)と高度なエンドツーエンドモデルを採用しています。
我々は、英訳エッセイを用いて、我々のモデルを訓練し、評価し、自分たちの小規模で実世界のヒンディー語コーパスでそのパフォーマンスを実証的に測定する。
論文 参考訳(メタデータ) (2023-02-28T15:14:15Z) - SMTCE: A Social Media Text Classification Evaluation Benchmark and
BERTology Models for Vietnamese [3.0938904602244355]
本稿では,様々なSMTCタスクを対象としたデータセットとモデルの収集として,ソーシャルメディアテキスト分類評価(SMTCE)ベンチマークを紹介する。
我々は,多言語BERTベースモデルと単言語BERTベースモデルの有効性をベンチマークで実装し,解析する。
このベンチマークは、多言語および単言語BERTベースのモデルを客観的に評価し、ベトナム語のBERTologyに関する将来の研究に役立つだろう。
論文 参考訳(メタデータ) (2022-09-21T16:33:46Z) - Multilingual Text Classification for Dravidian Languages [4.264592074410622]
そこで我々はDravidian言語のための多言語テキスト分類フレームワークを提案する。
一方、フレームワークはLaBSE事前訓練モデルをベースモデルとして使用した。
一方,モデルが言語間の相関を十分に認識・活用できないという問題を考慮し,さらに言語固有の表現モジュールを提案する。
論文 参考訳(メタデータ) (2021-12-03T04:26:49Z) - Specializing Multilingual Language Models: An Empirical Study [50.7526245872855]
事前訓練された多言語モデルからの文脈化語表現は、自然言語タスクに対処するデファクトスタンダードとなっている。
これらのモデルではまれに、あるいは一度も見られない言語では、そのようなモデルを直接使用すると、最適な表現やデータの使用につながることが多い。
論文 参考訳(メタデータ) (2021-06-16T18:13:55Z) - XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating
Cross-lingual Generalization [128.37244072182506]
言語間TRansfer Evaluation of Multilinguals XTREMEは、40言語および9タスクにわたる多言語表現の言語間一般化能力を評価するためのベンチマークである。
我々は、英語でテストされたモデルは、多くのタスクにおいて人間のパフォーマンスに達するが、言語間変換されたモデルの性能にはまだ大きなギャップがあることを示した。
論文 参考訳(メタデータ) (2020-03-24T19:09:37Z) - A Continuous Space Neural Language Model for Bengali Language [0.4799822253865053]
本稿では, 連続空間ニューラル言語モデル, より具体的にはASGD重量減少型LSTM言語モデル, およびベンガル語で効率的に学習する手法を提案する。
提案したアーキテクチャは、ベンガルの保持されたデータセットにおいて、推論の難易度を51.2まで低くすることで、それよりも優れている。
論文 参考訳(メタデータ) (2020-01-11T14:50:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。