論文の概要: Instruction Tuning with Retrieval-based Examples Ranking for Aspect-based Sentiment Analysis

• arxiv url: http://arxiv.org/abs/2405.18035v2
• Date: Wed, 29 May 2024 06:35:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 11:12:33.886723
• Title: Instruction Tuning with Retrieval-based Examples Ranking for Aspect-based Sentiment Analysis
• Title（参考訳）: アスペクトベース感性分析のための検索型事例ランキングを用いた授業チューニング
• Authors: Guangmin Zheng, Jin Wang, Liang-Chih Yu, Xuejie Zhang,
• Abstract要約: アスペクトベースの感情分析(ABSA)は、特定の側面に関連する感情情報を識別し、企業や組織に対してより深い市場洞察を提供する。 近年の研究では、ABSAを生成タスクとして再構成する命令チューニングの固定例が提案されている。 本研究では,ABSAタスクの検索に基づくサンプルランキングを用いた指導学習手法を提案する。
• 参考スコア（独自算出の注目度）: 7.458853474864602
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Aspect-based sentiment analysis (ABSA) identifies sentiment information related to specific aspects and provides deeper market insights to businesses and organizations. With the emergence of large language models (LMs), recent studies have proposed using fixed examples for instruction tuning to reformulate ABSA as a generation task. However, the performance is sensitive to the selection of in-context examples; several retrieval methods are based on surface similarity and are independent of the LM generative objective. This study proposes an instruction learning method with retrieval-based example ranking for ABSA tasks. For each target sample, an LM was applied as a scorer to estimate the likelihood of the output given the input and a candidate example as the prompt, and training examples were labeled as positive or negative by ranking the scores. An alternating training schema is proposed to train both the retriever and LM. Instructional prompts can be constructed using high-quality examples. The LM is used for both scoring and inference, improving the generation efficiency without incurring additional computational costs or training difficulties. Extensive experiments on three ABSA subtasks verified the effectiveness of the proposed method, demonstrating its superiority over various strong baseline models. Code and data are released at https://github.com/zgMin/IT-RER-ABSA.
• Abstract（参考訳）: アスペクトベースの感情分析(ABSA)は、特定の側面に関連する感情情報を識別し、企業や組織に対してより深い市場洞察を提供する。 近年,大規模言語モデル (LM) の出現に伴い,ABSA を生成タスクとして再構成する命令チューニングの固定例が提案されている。 しかし,その性能はテキスト内サンプルの選択に敏感であり,複数の検索手法は表面類似性に基づいており,LM生成目的とは無関係である。 本研究では,ABSAタスクの検索に基づくサンプルランキングを用いた指導学習手法を提案する。 各対象試料に対して, LMをスコアラとして適用し, 入力された出力の確率とプロンプトとして候補例を推定し, トレーニング例をスコアのランク付けによって正または負のラベル付けを行った。 レトリバーとLMの両方をトレーニングするために、交互にトレーニングスキーマを提案する。 インストラクショナルプロンプトは高品質な例を使って構築することができる。 LMは、スコアリングと推論の両方に使用され、追加の計算コストや訓練困難を発生させることなく、生成効率を向上させる。 3つのABSAサブタスクの広範囲な実験により提案手法の有効性が検証され、様々な強力なベースラインモデルよりも優れていることが証明された。 コードとデータはhttps://github.com/zgMin/IT-RER-ABSA.comで公開されている。

関連論文リスト

• Prompt Optimization with EASE? Efficient Ordering-aware Automated Selection of Exemplars [66.823588073584]
  大規模言語モデル(LLM)は、現実世界のアプリケーションで印象的な機能を示している。 これらの卓越した作品の品質は、パフォーマンスに大きな影響を与えます。 既存の方法は、先行注文がパフォーマンスに与える影響を適切に説明できない。
  論文  参考訳（メタデータ） (2024-05-25T08:23:05Z)
• Experimental Design for Active Transductive Inference in Large Language Models [18.2671641610825]
  適応的なプロンプト設計にアクティブラーニングを使用し、それをアクティブ・インコンテクスト・プロンプト・デザイン(AIPD)と呼ぶ。 テストセットの性能を最適化するために、トレーニングセットから少数ショット例を適応的に選択し、LCMプロンプトを設計する。 GOとSALの2つのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-04-12T23:27:46Z)
• C-ICL: Contrastive In-context Learning for Information Extraction [54.39470114243744]
  c-ICLは、正しいサンプル構築と間違ったサンプル構築の両方を活用して、コンテキスト内学習のデモを作成する、新しい数ショット技術である。 各種データセットに対する実験により,c-ICLは従来の数発のインコンテキスト学習法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-02-17T11:28:08Z)
• Learning to Retrieve In-Context Examples for Large Language Models [69.9707552694766]
  大規模言語モデル(LLM)は、文脈内で学習する能力を示している。 文脈内学習の有効性は、選択した例の品質に大きく依存する。 高品質なインコンテキストの例を識別可能な高密度検索を反復的に学習する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-14T05:23:08Z)
• Active Learning Principles for In-Context Learning with Large Language Models [65.09970281795769]
  本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。 ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
  論文  参考訳（メタデータ） (2023-05-23T17:16:04Z)
• Unified Demonstration Retriever for In-Context Learning [56.06473069923567]
  Unified Demonstration Retriever (textbfUDR)は、幅広いタスクのデモを検索する単一のモデルである。 我々は,高品質な候補を見つけるための反復的なマイニング戦略を備えたマルチタスクリストワイド・トレーニング・フレームワークを提案する。 13のタスクファミリーと複数のデータドメインにわたる30以上のタスクの実験は、UDRがベースラインを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2023-05-07T16:07:11Z)
• Finding Support Examples for In-Context Learning [73.90376920653507]
  本稿では,この課題を2段階に解決するためのfilter-thEN-Search法であるLENSを提案する。 まず、データセットをフィルタリングして、個別に情報的インコンテキストの例を得る。 そこで本研究では,反復的に改良し,選択したサンプル順列を評価可能な多様性誘導型サンプル探索を提案する。
  論文  参考訳（メタデータ） (2023-02-27T06:32:45Z)
• Compositional Exemplars for In-context Learning [21.961094715261133]
  大規模な事前学習言語モデル(LM)は、印象的なインコンテキスト学習(ICL)能力を示している。 本稿では,CEIL (Compositional Exemplars for In-context Learning) を提案する。 我々は、感情分析、パラフレーズ検出、自然言語推論、コモンセンス推論、オープンドメイン質問応答、コード生成、意味解析を含む7つの異なるNLPタスクから、CEILを12の分類および生成データセットで検証する。
  論文  参考訳（メタデータ） (2023-02-11T14:02:08Z)
• Learning To Retrieve Prompts for In-Context Learning [33.176481861880724]
  本稿では,注釈付きデータとLMを用いたテキスト内学習のためのプロンプトを効率よく検索する手法を提案する。 言語発話を意味表現にマッピングする3つのシーケンス・ツー・シーケンスタスクに対するアプローチを評価する。
  論文  参考訳（メタデータ） (2021-12-16T05:17:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。