論文の概要: An Empirical Study of Benchmarking Chinese Aspect Sentiment Quad Prediction

• arxiv url: http://arxiv.org/abs/2311.01713v1
• Date: Fri, 3 Nov 2023 05:00:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-06 15:11:09.287137
• Title: An Empirical Study of Benchmarking Chinese Aspect Sentiment Quad Prediction
• Title（参考訳）: 中国語アスペクト感情クワッド予測のベンチマークに関する実証的研究
• Authors: Junxian Zhou, Haiqin Yang, Ye Junpeng, Yuxuan He and Hao Mou
• Abstract要約: 複数のオンラインプラットフォームからクロールされた2つの大きな中国ASQPデータセットを構築した。 データセットには、大きなサイズ(それぞれ10,000以上のサンプルを含む)、豊富なアスペクトカテゴリ、文あたりの単語数、既存のASQPデータセットよりも高い密度など、いくつかの重要な特徴がある。 我々は、ASQP上でのGPT(Generative Pre-trained Transformer)シリーズモデルの性能を初めて評価し、潜在的な問題を示す。
• 参考スコア（独自算出の注目度）: 6.189770781546809
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Aspect sentiment quad prediction (ASQP) is a critical subtask of aspect-level sentiment analysis. Current ASQP datasets are characterized by their small size and low quadruple density, which hinders technical development. To expand capacity, we construct two large Chinese ASQP datasets crawled from multiple online platforms. The datasets hold several significant characteristics: larger size (each with 10,000+ samples) and rich aspect categories, more words per sentence, and higher density than existing ASQP datasets. Moreover, we are the first to evaluate the performance of Generative Pre-trained Transformer (GPT) series models on ASQP and exhibit potential issues. The experiments with state-of-the-art ASQP baselines underscore the need to explore additional techniques to address ASQP, as well as the importance of further investigation into methods to improve the performance of GPTs.
• Abstract（参考訳）: アスペクト感情クワッド予測(ASQP)はアスペクトレベルの感情分析の重要なサブタスクである。 現在のASQPデータセットは、その小さなサイズと低い4倍密度が特徴であり、技術的発展を妨げる。 容量を拡大するために、複数のオンラインプラットフォームからクロールされた2つの大きな中国のasqpデータセットを構築します。 データセットには、大きなサイズ(それぞれ10,000以上のサンプルを含む)と豊富なアスペクトカテゴリ、文あたりの単語数、既存のASQPデータセットよりも高い密度など、いくつかの重要な特徴がある。 さらに、ASQP上でのGPT(Generative Pre-trained Transformer)シリーズモデルの性能を評価し、潜在的な問題を示す。 最先端のASQPベースラインを用いた実験は、ASQPに対処する新たな技術を探る必要性と、GPTの性能改善手法のさらなる研究の重要性を浮き彫りにしている。

関連論文リスト

• What are the Essential Factors in Crafting Effective Long Context Multi-Hop Instruction Datasets? Insights and Best Practices [91.71951459594074]
  拡張コンテキストウィンドウを持つLong Language Model (LLM) は、情報抽出、質問応答、複雑な計画シナリオなどのタスクを大幅に改善した。 既存のメソッドは通常、Self-Instructフレームワークを使用して、長いコンテキスト能力を改善するために命令チューニングデータを生成する。 本稿では,品質検証エージェント,シングルホップ質問生成エージェント,複数質問サンプリング戦略,マルチホップ質問マーガーエージェントを組み込んだマルチエージェント対話型マルチホップ生成フレームワークを提案する。 以上の結果から,我々の合成高品位長文指導データにより,多量の人体で訓練したモデルよりも,モデル性能が著しく向上することが示唆された。
  論文  参考訳（メタデータ） (2024-09-03T13:30:00Z)
• MMSci: A Dataset for Graduate-Level Multi-Discipline Multimodal Scientific Understanding [59.41495657570397]
  このデータセットには、スキーマ図、シミュレーション画像、マクロ/顕微鏡写真、実験的可視化などの図が含まれている。 我々は,6つのプロプライエタリモデルと10以上のオープンソースモデルを評価し,科学的フィギュアキャプションと複数選択質問のベンチマークを開発した。 データセットとベンチマークは、さらなる研究をサポートするためにリリースされる予定だ。
  論文  参考訳（メタデータ） (2024-07-06T00:40:53Z)
• Self-Training with Pseudo-Label Scorer for Aspect Sentiment Quad Prediction [54.23208041792073]
  Aspect Sentiment Quad Prediction (ASQP) は、与えられたレビューに対して全てのクワッド(アスペクト項、アスペクトカテゴリー、意見項、感情極性)を予測することを目的としている。 ASQPタスクにおける重要な課題はラベル付きデータの不足であり、既存のメソッドのパフォーマンスを制限している。 そこで我々は,擬似ラベルスコアラーを用いた自己学習フレームワークを提案し,レビューと擬似ラベルの一致をスコアラーが評価する。
  論文  参考訳（メタデータ） (2024-06-26T05:30:21Z)
• Single and Multi-Hop Question-Answering Datasets for Reticular Chemistry with GPT-4-Turbo [0.5110571587151475]
  RetChemQA"は、レチキュラー化学領域における機械学習モデルの能力を評価するために設計されたベンチマークデータセットである。 このデータセットには、シングルホップとマルチホップの問合せペアの両方が含まれており、各タイプのQ&Aは約45,000である。 質問は、NAS、ACS、RCC、Elsevier、Nature Publishing Groupなどの出版社から約2,530の学術論文を含む広範な文献コーパスから抽出された。
  論文  参考訳（メタデータ） (2024-05-03T14:29:54Z)
• TextSquare: Scaling up Text-Centric Visual Instruction Tuning [64.55339431760727]
  大規模かつ高品質な命令チューニングデータセットSquare-10Mを作成するための新しいアプローチを提案する。 われわれのモデルであるTextSquareは、最先端のText中心のMLLMをはるかに上回っている。 さらに、GPT4VやGeminiといったトップクラスのモデルでは、テキスト中心のベンチマークを10つ中6つで上回っている。
  論文  参考訳（メタデータ） (2024-04-19T11:38:08Z)
• Adaptive Data Augmentation for Aspect Sentiment Quad Prediction [21.038795249448675]
  アスペクト感情クワッド予測(ASQP)は、ある文のクワッド感情要素を予測することを目的としている。 データ不均衡問題はASQPタスクで十分な注意を払われていない。 不均衡問題に対処するために,Adaptive Data Augmentation (ADA) フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-12T06:20:56Z)
• Gemini vs GPT-4V: A Preliminary Comparison and Combination of Vision-Language Models Through Qualitative Cases [98.35348038111508]
  本稿では,Google の Gemini と OpenAI の GPT-4V(ision) の2つのパイオニアモデルについて,詳細な比較研究を行った。 分析の核となるのは、各モデルの視覚的理解能力である。 両モデルのユニークな強みとニッチを照らし出した。
  論文  参考訳（メタデータ） (2023-12-22T18:59:58Z)
• Accelerated materials language processing enabled by GPT [5.518792725397679]
  我々は材料言語処理のための生成変換器(GPT)対応パイプラインを開発した。 まず、関連する文書をスクリーニングするためのGPT対応文書分類手法を開発する。 第二に、NERタスクでは、エンティティ中心のプロンプトを設計し、そのほとんどを学習することで、パフォーマンスが改善された。 最後に,GPT対応抽出QAモデルを開発し,性能の向上とアノテーションの自動修正の可能性を示す。
  論文  参考訳（メタデータ） (2023-08-18T07:31:13Z)
• A Unified One-Step Solution for Aspect Sentiment Quad Prediction [3.428123050377681]
  アスペクトベースの感情分析において、アスペクト感情クワッド予測(ASQP)は難しいが重要なサブタスクである。 我々はASQPのための2つの新しいデータセットをリリースし、このデータセットには、より大きなサイズ、サンプルあたりの単語数、より高密度の2つの特徴が含まれている。 そこで我々は,ASQPを統一したワンステップソリューションであるOne-ASQPを提案し,アスペクトカテゴリを検出し,アスペクト-オピニオン-感覚三重項を同時に同定する。
  論文  参考訳（メタデータ） (2023-06-07T05:00:01Z)
• QAFactEval: Improved QA-Based Factual Consistency Evaluation for Summarization [116.56171113972944]
  QAベースのメトリクスのコンポーネントを慎重に選択することは、パフォーマンスにとって重要であることを示す。 提案手法は,最良性能のエンテーメントに基づく測定値を改善し,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2021-12-16T00:38:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。