論文の概要: KazSAnDRA: Kazakh Sentiment Analysis Dataset of Reviews and Attitudes
- arxiv url: http://arxiv.org/abs/2403.19335v1
- Date: Thu, 28 Mar 2024 11:51:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-29 16:33:46.141186
- Title: KazSAnDRA: Kazakh Sentiment Analysis Dataset of Reviews and Attitudes
- Title（参考訳）: KazSAnDRA: Kazakh Sentiment Analysis Dataset of Reviews and Attitudes
- Authors: Rustem Yeshpanov, Huseyin Atakan Varol,
- Abstract要約: KazSAnDRAは、様々な情報源から得られた180,064のレビューを幅広く収集し、1から5までの数値評価を含んでいる。
この研究は、4つの機械学習モデルの開発と評価を通じて、カザフ語感情分類の自動化も追求した。
- 参考スコア（独自算出の注目度）: 3.4975081145096665
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents KazSAnDRA, a dataset developed for Kazakh sentiment analysis that is the first and largest publicly available dataset of its kind. KazSAnDRA comprises an extensive collection of 180,064 reviews obtained from various sources and includes numerical ratings ranging from 1 to 5, providing a quantitative representation of customer attitudes. The study also pursued the automation of Kazakh sentiment classification through the development and evaluation of four machine learning models trained for both polarity classification and score classification. Experimental analysis included evaluation of the results considering both balanced and imbalanced scenarios. The most successful model attained an F1-score of 0.81 for polarity classification and 0.39 for score classification on the test sets. The dataset and fine-tuned models are open access and available for download under the Creative Commons Attribution 4.0 International License (CC BY 4.0) through our GitHub repository.
- Abstract（参考訳）: 本稿では,カザフスタンの感情分析のためのデータセットであるKazSAnDRAについて述べる。
KazSAnDRAは、様々な情報源から得られた180,064のレビューを幅広く収集し、顧客態度の定量的表現を提供する1から5までの数値評価を含む。
この研究は、極性分類とスコア分類の両方のために訓練された4つの機械学習モデルの開発と評価を通じて、カザフ語感情分類の自動化も追求した。
実験分析では,バランスの取れたシナリオと不均衡なシナリオの両方を考慮した結果の評価を行った。
最も成功したモデルは極性分類のF1スコア0.81、試験セットのスコア0.39である。
データセットと微調整されたモデルはオープンアクセス可能で、GitHubリポジトリを通じてCreative Commons Attribution 4.0 International License (CC BY 4.0)の下でダウンロードできます。
関連論文リスト
- Area under the ROC Curve has the Most Consistent Evaluation for Binary Classification [3.1850615666574806]
本研究は, 有病率の異なるデータ間でのモデル評価において, 測定値の整合性について検討する。
有病率の影響を受けない評価指標は、個々のモデルの一貫性のある評価と、モデルの集合の一貫性のあるランキングを提供する。
論文 参考訳（メタデータ） (2024-08-19T17:52:38Z) - Self-Training with Pseudo-Label Scorer for Aspect Sentiment Quad Prediction [54.23208041792073]
Aspect Sentiment Quad Prediction (ASQP) は、与えられたレビューに対して全てのクワッド(アスペクト項、アスペクトカテゴリー、意見項、感情極性)を予測することを目的としている。
ASQPタスクにおける重要な課題はラベル付きデータの不足であり、既存のメソッドのパフォーマンスを制限している。
そこで我々は,擬似ラベルスコアラーを用いた自己学習フレームワークを提案し,レビューと擬似ラベルの一致をスコアラーが評価する。
論文 参考訳（メタデータ） (2024-06-26T05:30:21Z) - Evaluating the Generation Capabilities of Large Chinese Language Models [27.598864484231477]
本稿では,CG-Evalについて紹介する。
学術分野にまたがる大規模な中国語モデルの生成能力を評価する。
Gscoreは、参照標準に対するモデルのテキスト生成の品質測定を自動化する。
論文 参考訳（メタデータ） (2023-08-09T09:22:56Z) - ZeroSCROLLS: A Zero-Shot Benchmark for Long Text Understanding [86.08738156304224]
我々は、長いテキスト上での自然言語理解のためのゼロショットベンチマークであるZeroSCROLLSを紹介する。
SCROLLSベンチマークから6つのタスクを適応させ、新しい2つの情報拡散タスクを含む4つのデータセットを追加します。
クロードはChatGPTより優れており、GPT-4は最高スコアを得る。
論文 参考訳（メタデータ） (2023-05-23T16:15:31Z) - Preserving Knowledge Invariance: Rethinking Robustness Evaluation of
Open Information Extraction [50.62245481416744]
実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。
我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。
さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
論文 参考訳（メタデータ） (2023-05-23T12:05:09Z) - Evaluation of Embedding Models for Automatic Extraction and
Classification of Acknowledged Entities in Scientific Documents [5.330844352905488]
本研究の目的は,認識エンティティの自動抽出と分類を行うタスクにおいて,異なる埋め込みモデルの性能を評価することである。
訓練は3つのデフォルトのFrair NERモデルと2つの異なる大きさのコーパスを使用して実施された。
我々のモデルは、資金提供機関、助成金番号、個人、大学、法人、雑務の6つのエンティティタイプを認識できる。
論文 参考訳（メタデータ） (2022-06-22T09:32:28Z) - KazNERD: Kazakh Named Entity Recognition Dataset [5.094176584161206]
本稿では,カザフスタンのエンティティ認識のためのデータセットの開発について述べる。
データセットは、カザフ語で公開されている注釈付きコーパスの必要性が明白であるとして構築された。
得られたデータセットには、112,702の文と、25のエンティティクラスのための136,333のアノテーションが含まれている。
論文 参考訳（メタデータ） (2021-11-26T10:56:19Z) - Investigating Crowdsourcing Protocols for Evaluating the Factual
Consistency of Summaries [59.27273928454995]
要約に適用される現在の事前学習モデルは、ソーステキストを誤って表現したり、外部情報を導入したりする事実上の矛盾がちである。
評価ベースのLikertスケールとランキングベースのBest-Worst Scalingプロトコルを用いた,事実整合性のためのクラウドソーシング評価フレームワークを構築した。
ランキングベースのプロトコルは、データセット間の要約品質をより信頼性の高い尺度を提供するのに対して、Likertレーティングの信頼性はターゲットデータセットと評価設計に依存する。
論文 参考訳（メタデータ） (2021-09-19T19:05:00Z) - KazakhTTS: An Open-Source Kazakh Text-to-Speech Synthesis Dataset [4.542831770689362]
本稿では,世界中の1300万人以上が話す低リソース言語であるKazakhの高品質なオープンソース音声合成データセットについて紹介する。
このデータセットは、2人のプロの話者が話した約91時間の録音音声から成り立っている。
これは、アカデミックと産業の両方で、カザフスタンのテキスト音声アプリケーションを促進するために開発された、初めて公開された大規模なデータセットである。
論文 参考訳（メタデータ） (2021-04-17T05:49:57Z) - What Can We Learn from Collective Human Opinions on Natural Language
Inference Data? [88.90490998032429]
ChaosNLIは、集合HumAnオピニオンSを研究するための合計464,500のアノテーションを持つデータセットである。
このデータセットは、SNLIとMNLIの3,113例とAbductive-NLIの1,532例に対して、100のアノテーションを例に集めて作成されている。
論文 参考訳（メタデータ） (2020-10-07T17:26:06Z) - SummEval: Re-evaluating Summarization Evaluation [169.622515287256]
総合的かつ一貫した方法で14の自動評価指標を再評価する。
上記の自動評価指標を用いて,最近の要約モデル23をベンチマークした。
我々は、CNN/DailyMailニュースデータセットでトレーニングされたモデルによって生成された最大の要約コレクションを組み立てる。
論文 参考訳（メタデータ） (2020-07-24T16:25:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。