論文の概要: PGSO: Prompt-based Generative Sequence Optimization Network for Aspect-based Sentiment Analysis

• arxiv url: http://arxiv.org/abs/2412.00763v1
• Date: Sun, 01 Dec 2024 10:49:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:50:42.065862
• Title: PGSO: Prompt-based Generative Sequence Optimization Network for Aspect-based Sentiment Analysis
• Title（参考訳）: PGSO:Aspect-based Sentiment Analysisのための Prompt-based Generative Sequence Optimization Network
• Authors: Hao Dong, Wei Wei,
• Abstract要約: ルールベースの静的最適化とスコアベースの動的最適化という2つのシーケンス最適化戦略を導入する。 動的最適化構造に基づいて、統一されたPromptベースの生成系列最適化ネットワーク(PGSO)を提案する。 複数のベンチマークで4つのABSAタスクで実施された実験は、PGSOが最先端の手法より優れており、F1スコアの平均3.52%改善していることを示している。
• 参考スコア（独自算出の注目度）: 9.617652261815671
• License:
• Abstract: Recently, generative pre-training based models have demonstrated remarkable results on Aspect-based Sentiment Analysis (ABSA) task. However, previous works overemphasize crafting various templates to paraphrase training targets for enhanced decoding, ignoring the internal optimizations on generative models. Despite notable results achieved by these target-oriented optimization methods, they struggle with the complicated long texts since the implicit long-distance relation, e.g., aspect-opinion relation, is difficult to extract under the position embedding mechanism in generative models. Thus, in this paper, we first clarify the causes of the problem and introduce two sequence optimization strategies: the rule-based static optimization and the score-based dynamic optimization. The rule-based approach relies on handcraft priority of dependency relation to reorder the context, while the score-based algorithm dynamically regulates the contextual sequence by calculating word position scores using neural network. Based on the dynamic optimization structure, we further propose a unified Prompt-based Generative Sequence Optimization network (named PGSO), which jointly optimizes the training target as well as the generative model. Specifically, PGSO contains two components, namely, prompt construction and sequence regulator. The former constructs a task-specific prompt based on unsupervised training objects to fully utilize the pre-trained model. The latter jointly leverages semantic, syntactic and original-sequence information to dynamically regulate contextual sequence. Our experiments conducted on four ABSA tasks across multiple benchmarks indicate that PGSO outperforms state-of-the-art methods, with an average improvement of 3.52% in F1 score.
• Abstract（参考訳）: 近年,Aspect-based Sentiment Analysis (ABSA) タスクにおいて,生成事前学習モデルが顕著な成果を上げている。 しかし、以前の研究は、生成モデルの内部最適化を無視して、デコードを強化するためのトレーニングターゲットをパラフレーズ化するための様々なテンプレートの製作を強調していた。 これらの目標指向最適化手法によって達成された顕著な結果にもかかわらず、暗黙的な長距離関係、例えばアスペクト-オピニオン関係は、生成モデルにおける位置埋め込み機構の下で抽出することが困難であるため、複雑な長文に苦慮する。 そこで本研究では,まず問題の原因を明らかにするとともに,ルールベース静的最適化とスコアベース動的最適化という2つのシーケンス最適化戦略を導入する。 ルールベースのアプローチは、コンテキストを並べ替えるために依存性関係の工芸的優先度に依存するが、スコアベースのアルゴリズムは、ニューラルネットワークを用いて単語位置スコアを計算することによって、コンテキストシーケンスを動的に制御する。 さらに、動的最適化構造に基づいて、トレーニング対象と生成モデルとを協調的に最適化する、Promptベースの生成シーケンス最適化ネットワーク(PGSO)を提案する。 具体的には、PGSOは2つの構成要素、すなわちプロンプト構造とシークエンスレギュレータを含んでいる。 前者は教師なしのトレーニングオブジェクトに基づいてタスク固有のプロンプトを構築し、事前訓練されたモデルを完全に活用する。 後者は、コンテキストシーケンスを動的に制御するために、意味、構文、原文シーケンス情報を共同で活用する。 複数のベンチマークで4つのABSAタスクを行った結果、PGSOは最先端の手法より優れており、F1スコアの平均3.52%向上していることがわかった。

関連論文リスト

• PRefLexOR: Preference-based Recursive Language Modeling for Exploratory Optimization of Reasoning and Agentic Thinking [0.0]
  PRefLexORは、好みの最適化と強化学習の概念を組み合わせることで、モデルを自己学習可能にする。 本研究は, 生体材料科学の応用に焦点をあて, 様々なケーススタディでその手法を実証する。
  論文  参考訳（メタデータ） (2024-10-16T08:46:26Z)
• Preference Alignment Improves Language Model-Based TTS [76.70693823683091]
  選好アライメントアルゴリズムは、報酬モデルの嗜好に合わせてLMを調整し、生成されたコンテンツの望ましさを高める。 1.15B のパラメータ LM に基づく TTS モデルを用いて、嗜好の整合性は常に知性、話者類似性、代用主観的評価スコアを向上することを示した。
  論文  参考訳（メタデータ） (2024-09-19T01:58:19Z)
• Unleashing the Potential of Large Language Models as Prompt Optimizers: An Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
  本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。 モデルパラメータ学習における2つの重要な要素を同定する。 特に、勾配に基づく最適化から理論的な枠組みや学習手法を借用し、改良された戦略を設計する。
  論文  参考訳（メタデータ） (2024-02-27T15:05:32Z)
• Bidirectional Looking with A Novel Double Exponential Moving Average to Adaptive and Non-adaptive Momentum Optimizers [109.52244418498974]
  我々は,新しいtextscAdmeta(textbfADouble指数textbfMov averagtextbfE textbfAdaptiveおよび非適応運動量)フレームワークを提案する。 我々は、textscAdmetaR と textscAdmetaS の2つの実装を提供し、前者は RAdam を、後者は SGDM をベースとしています。
  論文  参考訳（メタデータ） (2023-07-02T18:16:06Z)
• Scalable Learning of Latent Language Structure With Logical Offline Cycle Consistency [71.42261918225773]
  概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。 追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
  論文  参考訳（メタデータ） (2023-05-31T16:47:20Z)
• Understanding and Constructing Latent Modality Structures in Multi-modal Representation Learning [53.68371566336254]
  優れたパフォーマンスの鍵は、完全なモダリティアライメントではなく、有意義な潜在モダリティ構造にある、と我々は主張する。 具体的には,1)モダリティ内正規化のための深い特徴分離損失,2)モダリティ間正規化のためのブラウン橋損失,3)モダリティ内正規化およびモダリティ間正規化のための幾何学的整合損失を設計する。
  論文  参考訳（メタデータ） (2023-03-10T14:38:49Z)
• Local and Global Context-Based Pairwise Models for Sentence Ordering [0.0]
  本稿では,局所的およびグローバルな文脈に基づくペアワイズ・オーダリング・ストラテジーの集合を提示する。 提案手法は,この段落の豊富なグローバルな文脈情報を用いて,ペアの順序を予測する。 提案した2つのデコード戦略の解析は、ペアワイズモデルにおけるエラーの伝播をよりよく説明するのに役立つ。
  論文  参考訳（メタデータ） (2021-10-08T17:57:59Z)
• An Optimization-Based Meta-Learning Model for MRI Reconstruction with Diverse Dataset [4.9259403018534496]
  メタラーニングフレームワークを用いた一般化可能なMRI再構成モデルを構築した。 提案するネットワークは,学習者適応モデルを用いて正規化関数を学習する。 メタトレーニング後および半減期における未確認課題の即時訓練の結果を検証した。
  論文  参考訳（メタデータ） (2021-10-02T03:21:52Z)
• Simulated annealing for optimization of graphs and sequences [44.974718959154266]
  本稿では,グラフとシーケンス最適化のための新しいアニーリングフレームワークであるSAGSを紹介する。 まず、関心の性質と事前定義された制約を含む、洗練された客観的関数を定義する。 SAGSは離散空間からこの目的に向かって、一連のローカル編集を実行することで検索する。
  論文  参考訳（メタデータ） (2021-10-01T01:12:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。