論文の概要: Zero-Shot Multi-Label Classification of Bangla Documents: Large Decoders Vs. Classic Encoders

• arxiv url: http://arxiv.org/abs/2503.02993v1
• Date: Tue, 04 Mar 2025 20:39:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-06 15:53:03.669128
• Title: Zero-Shot Multi-Label Classification of Bangla Documents: Large Decoders Vs. Classic Encoders
• Title（参考訳）: バングラ文書のゼロショットマルチラベル分類:大デコーダVs.古典エンコーダ
• Authors: Souvika Sarkar, Md. Najib Hasan, Santu Karmaker,
• Abstract要約: バングラ語は3億人以上の母語話者によって話され、世界でも6番目に話されている言語である。 32種類の最先端モデルの評価結果から,既存の強力なエンコーダやデコーダは,Bangla Zero-Shot-MLCタスクの高精度化に苦慮していることが明らかとなった。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Bangla, a language spoken by over 300 million native speakers and ranked as the sixth most spoken language worldwide, presents unique challenges in natural language processing (NLP) due to its complex morphological characteristics and limited resources. While recent Large Decoder Based models (LLMs), such as GPT, LLaMA, and DeepSeek, have demonstrated excellent performance across many NLP tasks, their effectiveness in Bangla remains largely unexplored. In this paper, we establish the first benchmark comparing decoder-based LLMs with classic encoder-based models for Zero-Shot Multi-Label Classification (Zero-Shot-MLC) task in Bangla. Our evaluation of 32 state-of-the-art models reveals that, existing so-called powerful encoders and decoders still struggle to achieve high accuracy on the Bangla Zero-Shot-MLC task, suggesting a need for more research and resources for Bangla NLP.
• Abstract（参考訳）: バングラ語は3億人以上の母語話者によって話され、世界で6番目に話されている言語であり、その複雑な形態的特徴と限られた資源のために自然言語処理(NLP)において固有の課題を提示している。 GPT、LLaMA、DeepSeekなどの最近のLarge Decoder Based Model (LLMs) は、多くのNLPタスクで優れた性能を示しているが、Banglaの有効性は明らかにされていない。 本稿では,Zero-Shot Multi-Label Classification (Zero-Shot-MLC) タスクにおいて,デコーダベース LLM と従来のエンコーダベースモデルとの比較を行う。 既存の強力なエンコーダとデコーダは,Bangla Zero-Shot-MLCタスクの高精度化に苦慮しており,さらに研究や資源の必要性が示唆されている。

関連論文リスト

• BongLLaMA: LLaMA for Bangla Language [0.0]
  BongLLaMAは、大規模なBanglaコーパスと命令チューニングデータセットにのみ焦点を絞った、オープンソースの大規模言語モデルである。 BLPタスクにおけるBongLLaMAの有用性を示すため,本手法,データ拡張手法,微調整の詳細,総合的なベンチマーク結果を提案する。
  論文  参考訳（メタデータ） (2024-10-28T16:44:02Z)
• An empirical study of LLaMA3 quantization: from LLMs to MLLMs [54.91212829143966]
  LLaMAファミリーは、最も強力なオープンソースの大規模言語モデル(LLM)の1つである。 LLaMA3モデルは、15T以上のデータに対する超大規模事前トレーニングによって、様々な領域で優れたパフォーマンスを実現している。 我々は,LLaMA3の1-8ビットおよび様々なデータセット上で,LLaMA3の学習後量子化とLoRA微調整(LoRA-FT)の10種類の既存手法を評価し,LLaMA3の低ビット量子化性能を明らかにする。
  論文  参考訳（メタデータ） (2024-04-22T10:03:03Z)
• Joint Prediction and Denoising for Large-scale Multilingual Self-supervised Learning [69.77973092264338]
  我々は、より強力な技術がより効率的な事前トレーニングをもたらし、SSLをより多くの研究グループに開放することを示します。 我々は,WavLMのジョイント予測を拡張し,136言語にまたがる40k時間のデータをデノベーションするWavLabLMを提案する。 このモデルではXLS-Rの性能を94%維持でき、データの3%しか保持できない。
  論文  参考訳（メタデータ） (2023-09-26T23:55:57Z)
• BenLLMEval: A Comprehensive Evaluation into the Potentials and Pitfalls of Large Language Models on Bengali NLP [17.362068473064717]
  大規模言語モデル(LLM)は、NLPにおいて最も重要なブレークスルーの1つである。 本稿では,ベンガル語での性能をベンチマークするために,LLMを総合的に評価するBenLLM-Evalを紹介する。 実験の結果、ベンガルのNLPタスクではゼロショットLLMは、現在のSOTA微調整モデルよりも性能が向上することが示された。
  論文  参考訳（メタデータ） (2023-09-22T20:29:34Z)
• ML-SUPERB: Multilingual Speech Universal PERformance Benchmark [94.64616634862995]
  音声処理Universal PERformance Benchmark (SUPERB) は、音声処理タスクにおける自己監督学習(SSL)モデルの性能をベンチマークするためのリーダーボードである。 本稿では,言語認識と言語識別の両方を考慮した多言語SUPERBを提案する。 SUPERBベンチマークと同様、音声SSLモデルはFBANKよりも性能が大幅に向上する。
  論文  参考訳（メタデータ） (2023-05-18T00:01:27Z)
• Chain-of-Dictionary Prompting Elicits Translation in Large Language Models [100.47154959254937]
  大規模言語モデル(LLM)は多言語ニューラルマシン翻訳(MNMT)において驚くほど優れた性能を示した 入力単語のサブセットに対する多言語辞書の連鎖による事前知識でLLMを拡張して翻訳能力を引き出す新しい方法であるCoDを提案する。
  論文  参考訳（メタデータ） (2023-05-11T05:19:47Z)
• On Evaluation of Bangla Word Analogies [0.8658596218544772]
  本稿では,Bangla単語の埋め込み品質を評価するための高品質なデータセットを提案する。 世界で7番目に普及した言語であるにもかかわらず、Banglaは低リソース言語であり、人気のあるNLPモデルはうまく機能しない。
  論文  参考訳（メタデータ） (2023-04-10T14:27:35Z)
• BLOOM: A 176B-Parameter Open-Access Multilingual Language Model [264.96498474333697]
  大規模言語モデル(LLM)は、いくつかのデモや自然言語命令に基づいて新しいタスクを実行できることが示されている。 BLOOMは、176Bパラメータのオープンアクセス言語モデルであり、数百人の研究者の協力により設計・構築されている。 BLOOMは、RATSコーパスでトレーニングされたデコーダのみのトランスフォーマー言語モデルである。
  論文  参考訳（メタデータ） (2022-11-09T18:48:09Z)
• Number Entity Recognition [65.80137628972312]
  番号は他のワードトークンと同様に、自然言語処理(NLP)モデルを構築し、デプロイするテキストの必須コンポーネントである。 本研究では、最先端のNLPモデルの可能性を活用し、関連するタスクにおける性能向上能力の伝達を試みる。 提案した数値をエンティティに分類することで,手作りのFill-In-The-Blank (FITB)タスクや,関節埋め込みを用いた質問応答など,NLPモデルの性能が向上する。
  論文  参考訳（メタデータ） (2022-05-07T05:22:43Z)
• English to Bangla Machine Translation Using Recurrent Neural Network [0.0]
  本稿では,バングラ語機械翻訳システムに対する英語のアーキテクチャについて述べる。 このモデルは、英語とバングラ語のマッピングに知識ベースのコンテキストベクトルを使用する。 モデルによるアプローチは、クロスエントロピー損失指標の観点から、従来の最先端システムよりも優れている。
  論文  参考訳（メタデータ） (2021-06-14T08:26:50Z)
• BanglaBERT: Combating Embedding Barrier for Low-Resource Language Understanding [1.7000879291900044]
  私たちはバングラ自然言語理解モデルを構築し、インターネット上のトップバングラのサイトから収集した18.6gbのデータに基づいてトレーニングした。 本モデルは,多言語ベースラインを上回り,前回の結果を1～6%上回った。 我々は、記述スクリプトを高リソースと共有しない低リソース言語のパフォーマンスを損なう多言語モデルの主な欠点を特定します。
  論文  参考訳（メタデータ） (2021-01-01T09:28:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。