論文の概要: RuSentNE-2023: Evaluating Entity-Oriented Sentiment Analysis on Russian News Texts

• arxiv url: http://arxiv.org/abs/2305.17679v1
• Date: Sun, 28 May 2023 10:04:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-30 17:27:25.006665
• Title: RuSentNE-2023: Evaluating Entity-Oriented Sentiment Analysis on Russian News Texts
• Title（参考訳）: RuSentNE-2023:ロシア語ニューステキストにおけるエンティティ指向感分析の評価
• Authors: Anton Golubev, Nicolay Rusnachenko, Natalia Loukachevitch
• Abstract要約: 本稿では,ロシアのニューステキストにおける感情分析を目的としたRuSentNE-2023の評価について述べる。 RuSentNE-2023の評価データセットは、リッチな感情関連アノテーションを持つロシアのニュースコーパスRuSentNEに基づいている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The paper describes the RuSentNE-2023 evaluation devoted to targeted sentiment analysis in Russian news texts. The task is to predict sentiment towards a named entity in a single sentence. The dataset for RuSentNE-2023 evaluation is based on the Russian news corpus RuSentNE having rich sentiment-related annotation. The corpus is annotated with named entities and sentiments towards these entities, along with related effects and emotional states. The evaluation was organized using the CodaLab competition framework. The main evaluation measure was macro-averaged measure of positive and negative classes. The best results achieved were of 66% Macro F-measure (Positive+Negative classes). We also tested ChatGPT on the test set from our evaluation and found that the zero-shot answers provided by ChatGPT reached 60% of the F-measure, which corresponds to 4th place in the evaluation. ChatGPT also provided detailed explanations of its conclusion. This can be considered as quite high for zero-shot application.
• Abstract（参考訳）: 本稿では,ロシアのニューステキストにおける感情分析を目的としたRuSentNE-2023の評価について述べる。 タスクは、一文で名前付きエンティティに対する感情を予測することです。 RuSentNE-2023の評価データセットは、リッチな感情関連アノテーションを持つロシアのニュースコーパスRuSentNEに基づいている。 コーパスには、これらのエンティティに対する名前付きエンティティと感情、関連する効果と感情状態が注釈されている。 評価はcodalab competition frameworkを用いて行われた。 主な評価尺度は, 正および負のクラスのマクロ平均値であった。 その結果,Macro F-measure (Positive+Negative Class) は66%であった。 また,テストセットでChatGPTを試験したところ,ChatGPTが提示したゼロショットの回答がF尺度の60%に達し,評価の4位に相当することがわかった。 ChatGPTは結論の詳細な説明も提供している。 これはゼロショットアプリケーションにとって非常に高いものと考えられる。

関連論文リスト

• Implicit Sentiment Analysis Based on Chain of Thought Prompting [1.4582633500696451]
  本稿では,思考の感覚分析(SAoT)フレームワークを紹介する。 このフレームワークはまず、常識と思考連鎖能力を用いてテキストの暗黙的な側面と意見を分析する。 このモデルは、レストランレビュー1120とラップトップレビュー638からなるSemEval 2014データセットで評価されている。
  論文  参考訳（メタデータ） (2024-08-22T06:55:29Z)
• Evaluating D-MERIT of Partial-annotation on Information Retrieval [77.44452769932676]
  検索モデルは、部分的に注釈付けされたデータセットでしばしば評価される。 部分的に注釈付けされたデータセットを評価に用いると歪んだ絵が描けることを示す。
  論文  参考訳（メタデータ） (2024-06-23T08:24:08Z)
• Can ChatGPT evaluate research quality? [3.9627148816681284]
  ChatGPT-4 は、REF の基準に適合する文書要約と品質評価の根拠を生成することができる。 全体として、ChatGPTは正式な研究品質評価タスクや非公式な研究品質評価タスクを信頼できるほど正確ではないようである。
  論文  参考訳（メタデータ） (2024-02-08T10:00:40Z)
• Beyond Sentiment: Leveraging Topic Metrics for Political Stance Classification [1.0878040851638]
  本研究では,抽出されたトピックから変換されたダミー変数であるトピックメトリクスを,スタンス分類における感情指標の代替と補完の両方として紹介する。 実験の結果、BERTopicは従来のアプローチと比較してコヒーレンススコアを17.07%から54.20%改善していることがわかった。 本研究は, 文脈に富むテキストやコーパスにおいて, 姿勢と感情の相関が弱いトピックメトリクスが特に有効であることが示唆された。
  論文  参考訳（メタデータ） (2023-10-24T00:50:33Z)
• Prometheus: Inducing Fine-grained Evaluation Capability in Language Models [66.12432440863816]
  我々は,GPT-4の評価能力に匹敵する,完全にオープンソースなLarge Language Model (LLM) であるPrometheusを提案する。 プロメテウスは45種類の楽譜を用いた評価において、Pearsonの0.897の相関を人間の評価値と比較した。 Prometheusは2つの人間の選好ベンチマークで最も精度が高い。
  論文  参考訳（メタデータ） (2023-10-12T16:50:08Z)
• INSTRUCTSCORE: Explainable Text Generation Evaluation with Finegrained Feedback [80.57617091714448]
  テキスト生成のための説明可能な評価指標であるInstructScoreを提案する。 LLaMAに基づいてテキスト評価基準を微調整し、生成されたテキストのスコアと人間の可読性診断レポートを生成する。
  論文  参考訳（メタデータ） (2023-05-23T17:27:22Z)
• Is ChatGPT a Good Sentiment Analyzer? A Preliminary Study [31.719155787410685]
  ChatGPTは研究コミュニティと一般の双方から大きな注目を集めている。 本稿では, テキストに含まれる感情, 感情, 感情の理解に関するChatGPTの予備評価を行う。
  論文  参考訳（メタデータ） (2023-04-10T00:55:59Z)
• Is ChatGPT a Good NLG Evaluator? A Preliminary Study [121.77986688862302]
  NLG測定値として信頼性を示すため,ChatGPTのメタ評価を行った。 実験の結果,ChatGPTは従来の自動測定値と比較して,人間の判断と最先端あるいは競合的な相関を達成できた。 我々の予備研究は、汎用的な信頼性のあるNLGメトリックの出現を促すことを願っている。
  論文  参考訳（メタデータ） (2023-03-07T16:57:20Z)
• Just Rank: Rethinking Evaluation with Word and Sentence Similarities [105.5541653811528]
  埋め込みの本質的な評価は かなり遅れています そして過去10年間 重要な更新は行われていません 本稿ではまず,単語と文の埋め込み評価におけるゴールドスタンダードとして意味的類似性を用いた問題点を指摘する。 本稿では,下流タスクとより強い相関関係を示すEvalRankという本質的な評価手法を提案する。
  論文  参考訳（メタデータ） (2022-03-05T08:40:05Z)
• An analysis of full-size Russian complexly NER labelled corpus of Internet user reviews on the drugs based on deep learning and language neural nets [94.37521840642141]
  我々は、インターネットユーザーレビューのフルサイズのロシアの複雑なNERラベルコーパスを提示します。 高度なディープラーニングニューラルネットワークセットは、ロシアのテキストから薬理学的に有意義な実体を抽出するために使用される。
  論文  参考訳（メタデータ） (2021-04-30T19:46:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。