論文の概要: Bangla Sentence Function Classification: Corpus Development, Model Benchmarking, and Interpretability
- arxiv url: http://arxiv.org/abs/2609.13869v1
- Date: Sat, 12 Sep 2026 10:45:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:05.593051
- Title: Bangla Sentence Function Classification: Corpus Development, Model Benchmarking, and Interpretability
- Title（参考訳）: Bangla文機能分類:コーパス開発、モデルベンチマーク、解釈可能性
- Abstract要約: 本稿では,手動で4つの機能カテゴリにアノテートした1万のBangla文のコーパスを紹介する。
我々はBag-of-Words (BoW)、TF-IDF、Word2Vecなどの複数の特徴表現を評価した。
実験の結果,TF-IDFはWord2Vecより一貫して優れていた。
- 参考スコア（独自算出の注目度）: 0.15635627702544694
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Automatic sentence function identification is important for many downstream natural language processing (NLP) applications such as dialogue systems, text-to-speech synthesis, and machine translation. However, benchmark resources for Bangla sentence function classification remain limited. To mitigate this gap, this paper introduces a corpus of 10,000 Bangla sentences, manually annotated into four functional categories, namely declarative, interrogative, imperative, and exclamatory. The corpus is nearly balanced across the four classes, with high annotation reliability reflected by a Fleiss\' Kappa of 0.82. Furthermore, we evaluate multiple feature representations, including Bag-of-Words (BoW), TF-IDF, and Word2Vec, with several classical machine learning classifiers. In addition, two heterogeneous ensemble models, namely Single-Level Ensemble (SLE) and Double-Level Ensemble (DLE), are utilized to improve classification performance. Experimental results show that TF-IDF consistently outperforms Word2Vec, likely due to its ability to emphasize discriminative lexical cues associated with sentence functions, particularly given the relatively small corpus used to train Word2Vec. The DLE model with TF-IDF features achieves the best performance with accuracy and macro-F1 of 0.95, demonstrating the effectiveness of sparse lexical representations and heterogeneous ensemble learning for this task. Further cross-validation confirms the robustness of the approach, while LIME-based interpretability provides insights into model predictions. The developed corpus and model benchmarking establish strong baselines for Bangla sentence function classification.
- Abstract（参考訳）: 自動文関数識別は、対話システム、音声合成、機械翻訳など、多くの下流自然言語処理(NLP)アプリケーションにとって重要である。
しかし、Bangla文関数分類のベンチマークリソースは依然として限られている。
このギャップを緩和するために,本論文では, 宣言的, 疑問的, 命令的, 排他的という4つの機能カテゴリに手動でアノテートした1万のバングラ文のコーパスを紹介する。
コーパスは4つのクラスでほぼバランスが取れており、Fleiss\' Kappa の 0.82 で高感度の信頼性が反映されている。
さらに,Bag-of-Words (BoW), TF-IDF, Word2Vecなどの複数の特徴表現を,古典的な機械学習分類器を用いて評価した。
さらに、SLE(Single-Level Ensemble)とDLE(Double-Level Ensemble)という異種アンサンブルモデルを用いて分類性能を向上させる。
実験の結果,TF-IDFはWord2Vecよりも優れており,特にWord2Vecの訓練に使用される比較的小さなコーパスを考えると,文機能に関連する識別的語彙を強調できるためと考えられる。
TF-IDF特徴量を持つDLEモデルは精度とマクロF1の0.95で最高の性能を達成し、この課題に対する疎語彙表現と異種アンサンブル学習の有効性を示す。
さらなるクロスバリデーションは、アプローチの堅牢性を確認する一方で、LIMEベースの解釈可能性は、モデル予測に関する洞察を提供する。
開発したコーパスとモデルベンチマークは,Bangla文関数分類のための強力なベースラインを確立する。
関連論文リスト
- Comparing BERT Sentence-Pair Classification and Few-Shot LLM Prompting for Detecting Threat and Solution Framing in German Climate News [1.4465033892011254]
我々は,ドイツ語の気候ニュース記事から文を脅威指向,解決指向,両方,あるいは両方に分類する2つのアプローチを提案する。
第一のアプローチは、オープンウェイトな大規模言語モデル(Llama 4 Maverick)で、連鎖推論と信頼度スコアによる構造化アウトプットを採用した、数発のプロンプトを使用する。
第二のアプローチは、文ペア分類のためのドイツのBERTモデル(deepset/gbert-large)を微調整する。
論文 参考訳（メタデータ） (2026-06-25T00:48:40Z) - Benchmarking POS Tagging for the Tajik Language: A Comparative Study of Neural Architectures on the TajPersParallel Corpus [0.0]
本稿では,タジク語のPOSタグ付け作業における最初のベンチマークについて述べる。
TajPersParallel corpusは、約44,000の辞書エントリからなる並列語彙資源である。
論文 参考訳（メタデータ） (2026-05-06T07:26:56Z) - Unified Lexical Representation for Interpretable Visual-Language Alignment [52.059812317944434]
複雑な設計をせずに両方のモダリティを統一した語彙表現を学習するためのフレームワークであるLexVLAを紹介する。
我々はDINOv2をローカル言語の特徴の視覚モデルとして使用し、生成言語モデルであるLlamaをテキスト内語彙予測能力の活用に利用した。
これら2つの事前学習されたユニモーダルモデルが、控えめなマルチモーダルデータセットを微調整することで、適切に整列できることを実証する。
論文 参考訳（メタデータ） (2024-07-25T07:35:27Z) - Combining EEG and NLP Features for Predicting Students' Lecture
Comprehension using Ensemble Classification [0.7964328411060118]
提案フレームワークは,脳波とNLPの特徴抽出,処理,分類を含む。
脳波とNLPの特徴を抽出し、記録された脳波信号と文レベルの構文解析から得られる統合的な特徴を構築する。
実験の結果,本フレームワークはベースラインよりも優れた性能を示した。
論文 参考訳（メタデータ） (2023-11-18T14:35:26Z) - Large Language Models can Contrastively Refine their Generation for Better Sentence Representation Learning [57.74233319453229]
大規模言語モデル(LLM)は画期的な技術として登場し、それらの非並列テキスト生成能力は、基本的な文表現学習タスクへの関心を喚起している。
コーパスを生成するためにLLMの処理を分解するマルチレベルコントラスト文表現学習フレームワークであるMultiCSRを提案する。
実験の結果,MultiCSRはより高度なLCMをChatGPTの性能を超えつつ,ChatGPTに適用することで最先端の成果を得られることがわかった。
論文 参考訳（メタデータ） (2023-10-17T03:21:43Z) - Scalable Learning of Latent Language Structure With Logical Offline
Cycle Consistency [71.42261918225773]
概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。
追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
論文 参考訳（メタデータ） (2023-05-31T16:47:20Z) - A Multi-level Supervised Contrastive Learning Framework for Low-Resource
Natural Language Inference [54.678516076366506]
自然言語推論(NLI)は、自然言語理解において、ますます重要な課題である。
本稿では,低リソースな自然言語推論のためのマルチSCLという,マルチレベルの教師付きコントラスト学習フレームワークを提案する。
論文 参考訳（メタデータ） (2022-05-31T05:54:18Z) - Function-words Enhanced Attention Networks for Few-Shot Inverse Relation
Classification [17.078034236043738]
数ショットの逆関係分類のための機能単語適応型注意フレームワーク(FAEA)を提案する。
機能単語の関与はクラス内冗長性に大きな影響を及ぼすため、クラス間の差異を捕捉し伝達するために適応的なメッセージパッシング機構が導入された。
実験の結果,FAEAは強いベースラインよりも優れており,特にFewRel1.0では1ショット設定で逆相関精度が14.33%向上した。
論文 参考訳（メタデータ） (2022-04-26T07:17:28Z) - Generalized Funnelling: Ensemble Learning and Heterogeneous Document
Embeddings for Cross-Lingual Text Classification [78.83284164605473]
emphFunnelling (Fun)は、最近提案された言語間テキスト分類手法である。
Emph Generalized Funnelling (gFun) はFunの一般化である。
gFunは、Funや最先端のベースラインよりも大幅に改善されていることを示す。
論文 参考訳（メタデータ） (2021-09-17T23:33:04Z) - SLM: Learning a Discourse Language Representation with Sentence
Unshuffling [53.42814722621715]
談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。
本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
論文 参考訳（メタデータ） (2020-10-30T13:33:41Z) - BURT: BERT-inspired Universal Representation from Twin Structure [89.82415322763475]
BURT (BERT inspired Universal Representation from Twin Structure) は任意の粒度の入力シーケンスに対して普遍的で固定サイズの表現を生成することができる。
提案するBURTは,Siameseネットワークを採用し,自然言語推論データセットから文レベル表現を学習し,パラフレーズ化データセットから単語/フレーズレベル表現を学習する。
我々は,STSタスク,SemEval2013 Task 5(a) など,テキスト類似性タスクの粒度によってBURTを評価する。
論文 参考訳（メタデータ） (2020-04-29T04:01:52Z) - Text Complexity Classification Based on Linguistic Information:
Application to Intelligent Tutoring of ESL [0.0]
本研究の目的は、英語を第二言語(ESL)学習者として教える文脈の中で、テキストの複雑さを識別できる分類器を構築することである。
ESLの専門家によって既に3つの難易度に分類されていた6171テキストのコーパスを用いて、5つの機械学習アルゴリズムを用いて異なる実験を行った。
その結果, 言語学的特徴は, 総合的な分類性能に優れていた。
論文 参考訳（メタデータ） (2020-01-07T02:42:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。