論文の概要: SGPT: Semantic Graphs based Pre-training for Aspect-based Sentiment Analysis

• arxiv url: http://arxiv.org/abs/2105.12305v1
• Date: Wed, 26 May 2021 02:32:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-28 02:18:17.654881
• Title: SGPT: Semantic Graphs based Pre-training for Aspect-based Sentiment Analysis
• Title（参考訳）: SGPT:Aspect-based Sentiment Analysisのための意味グラフに基づく事前学習
• Authors: Yong Qian, Zhongqing Wang, Rong Xiao, Chen Chen and Haihong Tang
• Abstract要約: 意味グラフを用いたセマンティックグラフに基づく事前学習(SGPT)を導入し、アスペクト知覚対と類似のアスペクト/感覚項の同義語知識を得る。 いくつかの下流タスクに関する実証的研究は、提案されたモデルが強い事前学習ベースラインより優れていることを示している。
• 参考スコア（独自算出の注目度）: 10.961791088777959
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Previous studies show effective of pre-trained language models for sentiment analysis. However, most of these studies ignore the importance of sentimental information for pre-trained models.Therefore, we fully investigate the sentimental information for pre-trained models and enhance pre-trained language models with semantic graphs for sentiment analysis.In particular, we introduce Semantic Graphs based Pre-training(SGPT) using semantic graphs to obtain synonym knowledge for aspect-sentiment pairs and similar aspect/sentiment terms.We then optimize the pre-trained language model with the semantic graphs.Empirical studies on several downstream tasks show that proposed model outperforms strong pre-trained baselines. The results also show the effectiveness of proposed semantic graphs for pre-trained model.
• Abstract（参考訳）: 過去の研究では、感情分析のための事前学習言語モデルの有効性が示されている。 However, most of these studies ignore the importance of sentimental information for pre-trained models.Therefore, we fully investigate the sentimental information for pre-trained models and enhance pre-trained language models with semantic graphs for sentiment analysis.In particular, we introduce Semantic Graphs based Pre-training(SGPT) using semantic graphs to obtain synonym knowledge for aspect-sentiment pairs and similar aspect/sentiment terms.We then optimize the pre-trained language model with the semantic graphs.Empirical studies on several downstream tasks show that proposed model outperforms strong pre-trained baselines. また,事前学習モデルに対して提案する意味グラフの有効性を示す。

関連論文リスト

• Amuro & Char: Analyzing the Relationship between Pre-Training and Fine-Tuning of Large Language Models [17.288865972774587]
  本研究では,複数の中間学習モデルチェックポイントの微調整による事前学習と微調整の関係について検討する。 18のデータセットで得られた結果は、事前学習が微調整後に発表される潜在的な方法でモデルを改善することを示唆している。
  論文  参考訳（メタデータ） (2024-08-13T06:28:43Z)
• The Distributional Hypothesis Does Not Fully Explain the Benefits of Masked Language Model Pretraining [27.144616560712493]
  マスク付き言語モデルを用いて事前学習したモデルのより優れたサンプル効率とより優れた一般化能力は、事前学習したデータの分布特性に符号化された意味的類似性に起因するかを検討する。 本研究は,モデル事前学習の限定的な理解と今後の研究方向性を示すものである。
  論文  参考訳（メタデータ） (2023-10-25T00:31:29Z)
• Expedited Training of Visual Conditioned Language Generation via Redundancy Reduction [61.16125290912494]
  $textEVL_textGen$は、視覚条件付き言語生成モデルの事前トレーニング用に設計されたフレームワークである。 提案手法は,視覚言語モデルの学習を5倍に加速させるが,全体的な性能に顕著な影響を与えないことを示す。
  論文  参考訳（メタデータ） (2023-10-05T03:40:06Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)
• Pathologies of Pre-trained Language Models in Few-shot Fine-tuning [50.3686606679048]
  実例が少ない事前学習言語モデルはラベル間に強い予測バイアスを示すことを示す。 わずかな微調整で予測バイアスを軽減できるが,本分析では,非タスク関連の特徴を捉えることで,モデルの性能向上を図っている。 これらの観察は、より少ない例でモデルのパフォーマンスを追求することは、病理学的予測行動を引き起こす可能性があることを警告する。
  論文  参考訳（メタデータ） (2022-04-17T15:55:18Z)
• A Generative Language Model for Few-shot Aspect-Based Sentiment Analysis [90.24921443175514]
  我々は、アスペクト項、カテゴリを抽出し、対応する極性を予測するアスペクトベースの感情分析に焦点を当てる。 本稿では,一方向の注意を伴う生成言語モデルを用いて,抽出タスクと予測タスクをシーケンス生成タスクに再構成することを提案する。 提案手法は,従来の最先端(BERTをベースとした)の性能を,数ショットとフルショットの設定において,大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-04-11T18:31:53Z)
• Improved Fine-tuning by Leveraging Pre-training Data: Theory and Practice [52.11183787786718]
  対象データに事前学習されたモデルを微調整することは、多くのディープラーニングアプリケーションで広く利用されている。 近年の研究では、スクラッチからのトレーニングが、この事前トレーニング戦略に比較して、最終的なパフォーマンスを示すことが実証されている。 本稿では,対象タスクの一般化を改善するために,事前学習データからサブセットを選択する新しい選択戦略を提案する。
  論文  参考訳（メタデータ） (2021-11-24T06:18:32Z)
• Trajectory Prediction with Linguistic Representations [27.71805777845141]
  本稿では,言語中間表現を用いて軌跡を予測できる新しい軌跡予測モデルを提案する。 モデルは単語ごとの直接監督なしに各単語の意味を学習する。 これは、長い時間間隔で操作と相互作用をキャプチャする軌跡の言語記述を生成する。
  論文  参考訳（メタデータ） (2021-10-19T05:22:38Z)
• Tracing Origins: Coref-aware Machine Reading Comprehension [43.352833140317486]
  そこで,本研究では,アナフォリック表現を接続する際の人間の読影過程を模倣し,コア参照情報を活用し,事前学習モデルから単語の埋め込みを強化する。 学習段階におけるコア参照情報の明示的な組み込みは,事前学習言語モデルの訓練において,コア参照情報の組み込みよりも優れていたことを実証した。
  論文  参考訳（メタデータ） (2021-10-15T09:28:35Z)
• Leveraging Pre-trained Language Model for Speech Sentiment Analysis [58.78839114092951]
  本研究では、事前学習された言語モデルを用いて、文章の感情情報を学習し、音声の感情分析を行う。 本稿では,言語モデルを用いた擬似ラベルに基づく半教師付き訓練戦略を提案する。
  論文  参考訳（メタデータ） (2021-06-11T20:15:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。