論文の概要: Zero- and Few-Shot Prompting with LLMs: A Comparative Study with Fine-tuned Models for Bangla Sentiment Analysis

• arxiv url: http://arxiv.org/abs/2308.10783v1
• Date: Mon, 21 Aug 2023 15:19:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-22 13:00:31.669820
• Title: Zero- and Few-Shot Prompting with LLMs: A Comparative Study with Fine-tuned Models for Bangla Sentiment Analysis
• Title（参考訳）: LLMを用いたゼロショットとFewショットのプロンプト:バングラ感度解析のための微調整モデルとの比較
• Authors: Md. Arid Hasan, Shudipta Das, Afiyat Anjum, Firoj Alam, Anika Anjum, Avijit Sarker, Sheak Rashed Haider Noori
• Abstract要約: 本研究では,33,605件のBanglaニュースツイートとFacebookコメントを含む手動注釈付きデータセットを提案する。 また,Flan-T5,GPT-4,Bloomzなどの言語モデルを用いて,ゼロショットと少数ショットのインコンテキスト学習についても検討した。 以上の結果から,モノリンガルトランスフォーマーに基づくモデルは,ゼロおよび少数ショットシナリオにおいても,他のモデルよりも一貫して優れていたことが示唆された。
• 参考スコア（独自算出の注目度）: 6.795974134068275
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The rapid expansion of the digital world has propelled sentiment analysis into a critical tool across diverse sectors such as marketing, politics, customer service, and healthcare. While there have been significant advancements in sentiment analysis for widely spoken languages, low-resource languages, such as Bangla, remain largely under-researched due to resource constraints. Furthermore, the recent unprecedented performance of Large Language Models (LLMs) in various applications highlights the need to evaluate them in the context of low-resource languages. In this study, we present a sizeable manually annotated dataset encompassing 33,605 Bangla news tweets and Facebook comments. We also investigate zero- and few-shot in-context learning with several language models, including Flan-T5, GPT-4, and Bloomz, offering a comparative analysis against fine-tuned models. Our findings suggest that monolingual transformer-based models consistently outperform other models, even in zero and few-shot scenarios. To foster continued exploration, we intend to make this dataset and our research tools publicly available to the broader research community. In the spirit of further research, we plan to make this dataset and our experimental resources publicly accessible to the wider research community.
• Abstract（参考訳）: デジタル世界の急速な拡大は、感情分析をマーケティング、政治、カスタマーサービス、ヘルスケアなど、さまざまな分野における重要なツールへと押し上げている。 広く話されている言語では感情分析が大幅に進歩してきたが、バングラのような低資源言語は資源の制約のためにほとんど調査されていない。 さらに、最近の様々なアプリケーションにおけるLLM(Large Language Models)の性能は、低リソース言語の文脈でそれらを評価する必要性を強調している。 本研究では,33,605件のBanglaニュースツイートとFacebookコメントを含む手動注釈付きデータセットを提案する。 また,Flan-T5,GPT-4,Bloomzなど,複数の言語モデルを用いたゼロショットと少数ショットのインコンテキスト学習についても検討し,微調整モデルとの比較分析を行った。 以上の結果から,モノリンガルトランスフォーマーに基づくモデルは,ゼロおよび少数ショットシナリオにおいても,他のモデルよりも一貫して優れていることが示唆された。 引き続きの調査を進めるため、このデータセットと研究ツールをより広い研究コミュニティに公開するつもりです。 さらなる研究の精神として、このデータセットと実験資源を広く研究コミュニティに公開することを計画している。

関連論文リスト

• InkubaLM: A small language model for low-resource African languages [9.426968756845389]
  InkubaLMは0.4億のパラメータを持つ小さな言語モデルである。 パラメータ数が大幅に大きいモデルに匹敵するパフォーマンスを実現する。 複数の言語にまたがる顕著な一貫性を示す。
  論文  参考訳（メタデータ） (2024-08-30T05:42:31Z)
• The Power of Question Translation Training in Multilingual Reasoning: Broadened Scope and Deepened Insights [108.40766216456413]
  大規模言語モデルの英語と非英語のパフォーマンスのギャップを埋めるための質問アライメントフレームワークを提案する。 実験結果から、さまざまな推論シナリオ、モデルファミリー、サイズにわたって、多言語のパフォーマンスを向上できることが示された。 我々は、表現空間、生成された応答とデータスケールを分析し、質問翻訳訓練がLLM内の言語アライメントをどのように強化するかを明らかにする。
  論文  参考訳（メタデータ） (2024-05-02T14:49:50Z)
• A Study on Scaling Up Multilingual News Framing Analysis [23.80807884935475]
  本研究では,クラウドソーシングによるデータセット生成の可能性を検討する。 まず、英語ニュース以外のフレーミング分析を多言語文脈に拡張する。 また、ベンガルとポルトガルの移民と同性結婚に関する新しい基準も提示する。
  論文  参考訳（メタデータ） (2024-04-01T21:02:18Z)
• Zero-shot Sentiment Analysis in Low-Resource Languages Using a Multilingual Sentiment Lexicon [78.12363425794214]
  私たちは、34の言語にまたがるゼロショットの感情分析タスクに重点を置いています。 文レベルの感情データを使用しない多言語語彙を用いた事前学習は、英語の感情データセットに微調整されたモデルと比較して、ゼロショット性能が優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-03T10:41:05Z)
• Low-Rank Adaptation for Multilingual Summarization: An Empirical Study [60.541168233698194]
  私たちはその可能性を調査する。 多言語要約領域におけるローランド適応(LoRA)に着目した効率的なファインチューニング ハイデータやローデータの設定、言語間転送など、さまざまなデータ可用性シナリオに関する広範な調査を行います。 以上の結果から,LoRAは大量のデータでトレーニングされた場合の完全な微調整と競合し,低データシナリオや言語間転送に優れることがわかった。
  論文  参考訳（メタデータ） (2023-11-14T22:32:39Z)
• Cross-Lingual NER for Financial Transaction Data in Low-Resource Languages [70.25418443146435]
  半構造化テキストデータにおける言語間名前認識のための効率的なモデリングフレームワークを提案する。 我々は2つの独立したSMSデータセットを英語とアラビア語で使用し、それぞれが半構造化された銀行取引情報を持っている。 わずか30のラベル付きサンプルにアクセスすることで、我々のモデルは、英語からアラビア語までの商人、金額、その他の分野の認識を一般化することができる。
  論文  参考訳（メタデータ） (2023-07-16T00:45:42Z)
• BUFFET: Benchmarking Large Language Models for Few-shot Cross-lingual Transfer [81.5984433881309]
  本稿では,54言語にまたがる15のタスクをシーケンス・ツー・シーケンス・フォーマットで統一するBUFFETを紹介する。 BUFFETは、数発の言語間移動のための厳密で公平な評価フレームワークを確立するように設計されている。 コンテクスト内言語間移動における改善の余地は極めて大きいことが判明した。
  論文  参考訳（メタデータ） (2023-05-24T08:06:33Z)
• BanglaBook: A Large-scale Bangla Dataset for Sentiment Analysis from Book Reviews [1.869097450593631]
  本稿では,バングラ書評の大規模データセットについて,肯定,否定,中立の3つのカテゴリに分類される158,065のサンプルからなる。 我々は、SVM、LSTM、Bangla-BERTなどのベースラインを確立するために、さまざまな機械学習モデルを使用します。 この結果から,手作業で作成する機能に依存したモデルよりも,事前訓練したモデルに対して,かなりの性能上の利点が示された。
  論文  参考訳（メタデータ） (2023-05-11T06:27:38Z)
• DN at SemEval-2023 Task 12: Low-Resource Language Text Classification via Multilingual Pretrained Language Model Fine-tuning [0.0]
  感情分析のための既存のモデルやデータセットは、英語や中国語などの高リソース言語向けに開発されている。 AfriSenti-SemEval 2023 Shared Task 12は、低リソースのアフリカの言語に対する感情分析モデルを評価することで、このギャップを埋めることを目的としている。 そこで我々は,多言語XLM-Rモデルを多言語モデルに適用し,様々なデータに基づいて分類ヘッドを訓練した。
  論文  参考訳（メタデータ） (2023-05-04T07:28:45Z)
• Towards Better Instruction Following Language Models for Chinese: Investigating the Impact of Training Data and Evaluation [12.86275938443485]
  本研究では,データ量,品質,言語分布などの学習データ要素がモデル性能に及ぼす影響について検討する。 我々は,実世界の9つのシナリオを含む1,000のサンプルを用いて,様々なモデルを評価する。 GPT-3のようなプロプライエタリな言語モデルに最も近いオープンソースパフォーマンスを持つモデルであるLLaMAの語彙を拡張します。
  論文  参考訳（メタデータ） (2023-04-16T18:37:39Z)
• IGLUE: A Benchmark for Transfer Learning across Modalities, Tasks, and Languages [87.5457337866383]
  画像認識言語理解評価ベンチマークについて紹介する。 IGLUEは、視覚的質問応答、クロスモーダル検索、グラウンドド推論、20言語にわたるグラウンドドエンターテイメントタスクをまとめて提供する。 翻訳-テストの転送はゼロショットの転送よりも優れており、少数ショットの学習は多くのタスクに役立てることが難しい。
  論文  参考訳（メタデータ） (2022-01-27T18:53:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。