論文の概要: An Empirical Study of Benchmarking Chinese Aspect Sentiment Quad
Prediction
- arxiv url: http://arxiv.org/abs/2311.01713v1
- Date: Fri, 3 Nov 2023 05:00:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-06 15:11:09.287137
- Title: An Empirical Study of Benchmarking Chinese Aspect Sentiment Quad
Prediction
- Title(参考訳): 中国語アスペクト感情クワッド予測のベンチマークに関する実証的研究
- Authors: Junxian Zhou, Haiqin Yang, Ye Junpeng, Yuxuan He and Hao Mou
- Abstract要約: 複数のオンラインプラットフォームからクロールされた2つの大きな中国ASQPデータセットを構築した。
データセットには、大きなサイズ(それぞれ10,000以上のサンプルを含む)、豊富なアスペクトカテゴリ、文あたりの単語数、既存のASQPデータセットよりも高い密度など、いくつかの重要な特徴がある。
我々は、ASQP上でのGPT(Generative Pre-trained Transformer)シリーズモデルの性能を初めて評価し、潜在的な問題を示す。
- 参考スコア(独自算出の注目度): 6.189770781546809
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Aspect sentiment quad prediction (ASQP) is a critical subtask of aspect-level
sentiment analysis. Current ASQP datasets are characterized by their small size
and low quadruple density, which hinders technical development. To expand
capacity, we construct two large Chinese ASQP datasets crawled from multiple
online platforms. The datasets hold several significant characteristics: larger
size (each with 10,000+ samples) and rich aspect categories, more words per
sentence, and higher density than existing ASQP datasets. Moreover, we are the
first to evaluate the performance of Generative Pre-trained Transformer (GPT)
series models on ASQP and exhibit potential issues. The experiments with
state-of-the-art ASQP baselines underscore the need to explore additional
techniques to address ASQP, as well as the importance of further investigation
into methods to improve the performance of GPTs.
- Abstract(参考訳): アスペクト感情クワッド予測(ASQP)はアスペクトレベルの感情分析の重要なサブタスクである。
現在のASQPデータセットは、その小さなサイズと低い4倍密度が特徴であり、技術的発展を妨げる。
容量を拡大するために、複数のオンラインプラットフォームからクロールされた2つの大きな中国のasqpデータセットを構築します。
データセットには、大きなサイズ(それぞれ10,000以上のサンプルを含む)と豊富なアスペクトカテゴリ、文あたりの単語数、既存のASQPデータセットよりも高い密度など、いくつかの重要な特徴がある。
さらに、ASQP上でのGPT(Generative Pre-trained Transformer)シリーズモデルの性能を評価し、潜在的な問題を示す。
最先端のASQPベースラインを用いた実験は、ASQPに対処する新たな技術を探る必要性と、GPTの性能改善手法のさらなる研究の重要性を浮き彫りにしている。
関連論文リスト
- Single and Multi-Hop Question-Answering Datasets for Reticular Chemistry with GPT-4-Turbo [0.5110571587151475]
RetChemQA"は、レチキュラー化学領域における機械学習モデルの能力を評価するために設計されたベンチマークデータセットである。
このデータセットには、シングルホップとマルチホップの問合せペアの両方が含まれており、各タイプのQ&Aは約45,000である。
質問は、NAS、ACS、RCC、Elsevier、Nature Publishing Groupなどの出版社から約2,530の学術論文を含む広範な文献コーパスから抽出された。
論文 参考訳(メタデータ) (2024-05-03T14:29:54Z) - TextSquare: Scaling up Text-Centric Visual Instruction Tuning [64.55339431760727]
大規模かつ高品質な命令チューニングデータセットSquare-10Mを作成するための新しいアプローチを提案する。
われわれのモデルであるTextSquareは、最先端のText中心のMLLMをはるかに上回っている。
さらに、GPT4VやGeminiといったトップクラスのモデルでは、テキスト中心のベンチマークを10つ中6つで上回っている。
論文 参考訳(メタデータ) (2024-04-19T11:38:08Z) - Adaptive Data Augmentation for Aspect Sentiment Quad Prediction [21.038795249448675]
アスペクト感情クワッド予測(ASQP)は、ある文のクワッド感情要素を予測することを目的としている。
データ不均衡問題はASQPタスクで十分な注意を払われていない。
不均衡問題に対処するために,Adaptive Data Augmentation (ADA) フレームワークを提案する。
論文 参考訳(メタデータ) (2024-01-12T06:20:56Z) - Gemini vs GPT-4V: A Preliminary Comparison and Combination of
Vision-Language Models Through Qualitative Cases [98.35348038111508]
本稿では,Google の Gemini と OpenAI の GPT-4V(ision) の2つのパイオニアモデルについて,詳細な比較研究を行った。
分析の核となるのは、各モデルの視覚的理解能力である。
両モデルのユニークな強みとニッチを照らし出した。
論文 参考訳(メタデータ) (2023-12-22T18:59:58Z) - The Languini Kitchen: Enabling Language Modelling Research at Different
Scales of Compute [66.84421705029624]
本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。
私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。
この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
論文 参考訳(メタデータ) (2023-09-20T10:31:17Z) - Accelerated materials language processing enabled by GPT [5.518792725397679]
我々は材料言語処理のための生成変換器(GPT)対応パイプラインを開発した。
まず、関連する文書をスクリーニングするためのGPT対応文書分類手法を開発する。
第二に、NERタスクでは、エンティティ中心のプロンプトを設計し、そのほとんどを学習することで、パフォーマンスが改善された。
最後に,GPT対応抽出QAモデルを開発し,性能の向上とアノテーションの自動修正の可能性を示す。
論文 参考訳(メタデータ) (2023-08-18T07:31:13Z) - A Unified One-Step Solution for Aspect Sentiment Quad Prediction [3.428123050377681]
アスペクトベースの感情分析において、アスペクト感情クワッド予測(ASQP)は難しいが重要なサブタスクである。
我々はASQPのための2つの新しいデータセットをリリースし、このデータセットには、より大きなサイズ、サンプルあたりの単語数、より高密度の2つの特徴が含まれている。
そこで我々は,ASQPを統一したワンステップソリューションであるOne-ASQPを提案し,アスペクトカテゴリを検出し,アスペクト-オピニオン-感覚三重項を同時に同定する。
論文 参考訳(メタデータ) (2023-06-07T05:00:01Z) - GPT-4 Technical Report [116.90398195245983]
GPT-4は大規模なマルチモーダルモデルであり、画像やテキストの入力を受け取り、テキスト出力を生成することができる。
試験受験者の上位10%のスコアで模擬試験に合格するなど、さまざまな専門的、学術的なベンチマークで人間レベルのパフォーマンスを示す。
論文 参考訳(メタデータ) (2023-03-15T17:15:04Z) - Benchmarking and Analyzing 3D Human Pose and Shape Estimation Beyond
Algorithms [31.2529724533643]
この研究は、アルゴリズム以外の3つの未探索視点からの最初の総合的なベンチマーク研究を示す。
31のデータセットの分析では、データサンプルの異なる影響が明らかになっている。
比較的単純なモデルで3DPWテストセットで47.3mmのPA-MPJPEを実現する。
論文 参考訳(メタデータ) (2022-09-21T17:39:53Z) - QAFactEval: Improved QA-Based Factual Consistency Evaluation for
Summarization [116.56171113972944]
QAベースのメトリクスのコンポーネントを慎重に選択することは、パフォーマンスにとって重要であることを示す。
提案手法は,最良性能のエンテーメントに基づく測定値を改善し,最先端の性能を実現する。
論文 参考訳(メタデータ) (2021-12-16T00:38:35Z) - Probabilistic Graph Attention Network with Conditional Kernels for
Pixel-Wise Prediction [158.88345945211185]
本稿では,画素レベルの予測を基本的側面,すなわち,技術の現状を推し進める新たなアプローチを提案する。
構造化されたマルチスケール機能学習と融合。
本論文では,マルチスケール表現を原理的に学習・融合するための新しいアテンテンションゲート条件ランダムフィールド(AG-CRFs)モデルに基づく確率的グラフアテンションネットワーク構造を提案する。
論文 参考訳(メタデータ) (2021-01-08T04:14:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。