論文の概要: An Empirical Study of Benchmarking Chinese Aspect Sentiment Quad Prediction

• arxiv url: http://arxiv.org/abs/2311.01713v1
• Date: Fri, 3 Nov 2023 05:00:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-06 15:11:09.287137
• Title: An Empirical Study of Benchmarking Chinese Aspect Sentiment Quad Prediction
• Title（参考訳）: 中国語アスペクト感情クワッド予測のベンチマークに関する実証的研究
• Authors: Junxian Zhou, Haiqin Yang, Ye Junpeng, Yuxuan He and Hao Mou
• Abstract要約: 複数のオンラインプラットフォームからクロールされた2つの大きな中国ASQPデータセットを構築した。 データセットには、大きなサイズ(それぞれ10,000以上のサンプルを含む)、豊富なアスペクトカテゴリ、文あたりの単語数、既存のASQPデータセットよりも高い密度など、いくつかの重要な特徴がある。 我々は、ASQP上でのGPT(Generative Pre-trained Transformer)シリーズモデルの性能を初めて評価し、潜在的な問題を示す。
• 参考スコア（独自算出の注目度）: 6.189770781546809
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Aspect sentiment quad prediction (ASQP) is a critical subtask of aspect-level sentiment analysis. Current ASQP datasets are characterized by their small size and low quadruple density, which hinders technical development. To expand capacity, we construct two large Chinese ASQP datasets crawled from multiple online platforms. The datasets hold several significant characteristics: larger size (each with 10,000+ samples) and rich aspect categories, more words per sentence, and higher density than existing ASQP datasets. Moreover, we are the first to evaluate the performance of Generative Pre-trained Transformer (GPT) series models on ASQP and exhibit potential issues. The experiments with state-of-the-art ASQP baselines underscore the need to explore additional techniques to address ASQP, as well as the importance of further investigation into methods to improve the performance of GPTs.
• Abstract（参考訳）: アスペクト感情クワッド予測(ASQP)はアスペクトレベルの感情分析の重要なサブタスクである。 現在のASQPデータセットは、その小さなサイズと低い4倍密度が特徴であり、技術的発展を妨げる。 容量を拡大するために、複数のオンラインプラットフォームからクロールされた2つの大きな中国のasqpデータセットを構築します。 データセットには、大きなサイズ(それぞれ10,000以上のサンプルを含む)と豊富なアスペクトカテゴリ、文あたりの単語数、既存のASQPデータセットよりも高い密度など、いくつかの重要な特徴がある。 さらに、ASQP上でのGPT(Generative Pre-trained Transformer)シリーズモデルの性能を評価し、潜在的な問題を示す。 最先端のASQPベースラインを用いた実験は、ASQPに対処する新たな技術を探る必要性と、GPTの性能改善手法のさらなる研究の重要性を浮き彫りにしている。

関連論文リスト

• Benchmarking Post-Training Quantization in LLMs: Comprehensive Taxonomy, Unified Evaluation, and Comparative Analysis [89.60263788590893]
  後学習量子化(PTQ)技術は大規模言語モデル(LLM)圧縮に広く採用されている。 既存のアルゴリズムは主にパフォーマンスに重点を置いており、モデルサイズ、パフォーマンス、量子化ビット幅間のトレードオフを見越している。
  論文  参考訳（メタデータ） (2025-02-18T07:35:35Z)
• SMPLest-X: Ultimate Scaling for Expressive Human Pose and Shape Estimation [81.36747103102459]
  表現的人間のポーズと形状推定(EHPS)は、身体、手、顔の動きを多数の応用で統合する。 現在の最先端の手法は、限定されたデータセット上で革新的なアーキテクチャ設計を訓練することに焦点を当てている。 本稿では,EHPSのスケールアップが一般基盤モデルのファミリに与える影響について検討する。
  論文  参考訳（メタデータ） (2025-01-16T18:59:46Z)
• MMSci: A Dataset for Graduate-Level Multi-Discipline Multimodal Scientific Understanding [59.41495657570397]
  本稿では,72の科学分野をカバーするNature Communicationsの記事からまとめられた包括的データセットについて述べる。 2つのベンチマークタスク(図のキャプションと複数選択)で19のプロプライエタリモデルとオープンソースモデルを評価し,人手による注釈を行った。 タスク固有データを用いた細調整Qwen2-VL-7Bは、GPT-4oや人間の専門家でさえも、マルチチョイス評価において優れた性能を示した。
  論文  参考訳（メタデータ） (2024-07-06T00:40:53Z)
• Self-Training with Pseudo-Label Scorer for Aspect Sentiment Quad Prediction [54.23208041792073]
  Aspect Sentiment Quad Prediction (ASQP) は、与えられたレビューに対して全てのクワッド(アスペクト項、アスペクトカテゴリー、意見項、感情極性)を予測することを目的としている。 ASQPタスクにおける重要な課題はラベル付きデータの不足であり、既存のメソッドのパフォーマンスを制限している。 そこで我々は,擬似ラベルスコアラーを用いた自己学習フレームワークを提案し,レビューと擬似ラベルの一致をスコアラーが評価する。
  論文  参考訳（メタデータ） (2024-06-26T05:30:21Z)
• Single and Multi-Hop Question-Answering Datasets for Reticular Chemistry with GPT-4-Turbo [0.5110571587151475]
  RetChemQA"は、レチキュラー化学領域における機械学習モデルの能力を評価するために設計されたベンチマークデータセットである。 このデータセットには、シングルホップとマルチホップの問合せペアの両方が含まれており、各タイプのQ&Aは約45,000である。 質問は、NAS、ACS、RCC、Elsevier、Nature Publishing Groupなどの出版社から約2,530の学術論文を含む広範な文献コーパスから抽出された。
  論文  参考訳（メタデータ） (2024-05-03T14:29:54Z)
• TextSquare: Scaling up Text-Centric Visual Instruction Tuning [64.55339431760727]
  大規模かつ高品質な命令チューニングデータセットSquare-10Mを作成するための新しいアプローチを提案する。 われわれのモデルであるTextSquareは、最先端のText中心のMLLMをはるかに上回っている。 さらに、GPT4VやGeminiといったトップクラスのモデルでは、テキスト中心のベンチマークを10つ中6つで上回っている。
  論文  参考訳（メタデータ） (2024-04-19T11:38:08Z)
• Adaptive Data Augmentation for Aspect Sentiment Quad Prediction [21.038795249448675]
  アスペクト感情クワッド予測(ASQP)は、ある文のクワッド感情要素を予測することを目的としている。 データ不均衡問題はASQPタスクで十分な注意を払われていない。 不均衡問題に対処するために,Adaptive Data Augmentation (ADA) フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-12T06:20:56Z)
• A Unified One-Step Solution for Aspect Sentiment Quad Prediction [3.428123050377681]
  アスペクトベースの感情分析において、アスペクト感情クワッド予測(ASQP)は難しいが重要なサブタスクである。 我々はASQPのための2つの新しいデータセットをリリースし、このデータセットには、より大きなサイズ、サンプルあたりの単語数、より高密度の2つの特徴が含まれている。 そこで我々は,ASQPを統一したワンステップソリューションであるOne-ASQPを提案し,アスペクトカテゴリを検出し,アスペクト-オピニオン-感覚三重項を同時に同定する。
  論文  参考訳（メタデータ） (2023-06-07T05:00:01Z)
• QAFactEval: Improved QA-Based Factual Consistency Evaluation for Summarization [116.56171113972944]
  QAベースのメトリクスのコンポーネントを慎重に選択することは、パフォーマンスにとって重要であることを示す。 提案手法は,最良性能のエンテーメントに基づく測定値を改善し,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2021-12-16T00:38:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。