論文の概要: Few-Shot Stance Detection via Target-Aware Prompt Distillation

• arxiv url: http://arxiv.org/abs/2206.13214v1
• Date: Mon, 27 Jun 2022 12:04:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-28 21:37:31.571662
• Title: Few-Shot Stance Detection via Target-Aware Prompt Distillation
• Title（参考訳）: ターゲット認識型プロンプト蒸留による短距離スタンス検出
• Authors: Yan Jiang, Jinhua Gao, Huawei Shen, Xueqi Cheng
• Abstract要約: 本論文は,知識ベースや少人数の学習者を対象とした事前学習型言語モデル(PLM)の可能性に着想を得たものである。 PLMは、ターゲットに対して重要なコンテキスト情報を提供し、プロンプトを介して数発の学習を可能にする。 姿勢検出タスクにおいて,対象が重要な役割を担っていることを考慮し,目標認識プロンプトを設計し,新しい言語化手法を提案する。
• 参考スコア（独自算出の注目度）: 48.40269795901453
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Stance detection aims to identify whether the author of a text is in favor of, against, or neutral to a given target. The main challenge of this task comes two-fold: few-shot learning resulting from the varying targets and the lack of contextual information of the targets. Existing works mainly focus on solving the second issue by designing attention-based models or introducing noisy external knowledge, while the first issue remains under-explored. In this paper, inspired by the potential capability of pre-trained language models (PLMs) serving as knowledge bases and few-shot learners, we propose to introduce prompt-based fine-tuning for stance detection. PLMs can provide essential contextual information for the targets and enable few-shot learning via prompts. Considering the crucial role of the target in stance detection task, we design target-aware prompts and propose a novel verbalizer. Instead of mapping each label to a concrete word, our verbalizer maps each label to a vector and picks the label that best captures the correlation between the stance and the target. Moreover, to alleviate the possible defect of dealing with varying targets with a single hand-crafted prompt, we propose to distill the information learned from multiple prompts. Experimental results show the superior performance of our proposed model in both full-data and few-shot scenarios.
• Abstract（参考訳）: スタンス検出は、テキストの著者が特定のターゲットに対して有利か、反対か、中立かを特定することを目的としている。 このタスクの主な課題は2つある: さまざまなターゲットとターゲットのコンテキスト情報の欠如から生じる、わずかなショット学習。 既存の作業は主に注意ベースのモデルの設計やノイズの多い外部知識の導入による第2の問題の解決に重点を置いている。 本稿では,予備学習型言語モデル (plm) の知識ベースおよび少数学習者としての潜在能力に着想を得て,姿勢検出のためのプロンプトに基づく微調整を提案する。 PLMは、ターゲットに対して重要なコンテキスト情報を提供し、プロンプトを介して数発の学習を可能にする。 スタンス検出タスクにおけるターゲットの役割を考えると,ターゲット認識プロンプトを設計し,新しい言語化手法を提案する。 それぞれのラベルを具体的な単語にマッピングするのではなく、各ラベルをベクトルにマッピングし、スタンスとターゲットの相関を最もよく捉えるラベルを選択します。 さらに,複数のプロンプトから得られた情報を,手作りのプロンプトで処理することの欠点を解消するために,複数のプロンプトから得られた情報を蒸留することを提案する。 実験結果から,提案モデルの性能は実データと少数ショットの両方で良好であった。

関連論文リスト

• Towards Interpreting Language Models: A Case Study in Multi-Hop Reasoning [0.0]
  言語モデル(LM)は、一貫してマルチホップ推論を行うのに苦労する。 本稿では,LMアテンションヘッド上のターゲットメモリ注入によるマルチホップ推論障害をピンポイントし,修正する手法を提案する。
  論文  参考訳（メタデータ） (2024-11-06T16:30:26Z)
• Mutually-Aware Feature Learning for Few-Shot Object Counting [20.623402944601775]
  追加のトレーニングを必要とせずに、与えられた例に基づいてクエリイメージに対象オブジェクトをカウントすることを目的としている。 本稿では,質問文と模範的特徴を相互に認識する,MAFEA(Mutually-Aware FEAture Learning)という新しいフレームワークを提案する。 本モデルでは, FSCD-LVIS と FSC-147 の2つのベンチマークにおいて, 目標混乱の程度を著しく低減し, 新たな最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-08-19T06:46:24Z)
• Learning Background Prompts to Discover Implicit Knowledge for Open Vocabulary Object Detection [101.15777242546649]
  Open vocabulary Object Detection (OVD) は、ベースと新規の両方のカテゴリからオブジェクトを認識できる最適なオブジェクト検出器を求めることを目的としている。 近年の進歩は、知識蒸留を利用して、事前訓練された大規模視覚言語モデルからオブジェクト検出のタスクに洞察力のある知識を伝達している。 本稿では,暗黙的背景知識を活用するための学習バックグラウンドプロンプトを提案するため,LBPと呼ばれる新しいOVDフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-01T17:32:26Z)
• Single-Shot and Multi-Shot Feature Learning for Multi-Object Tracking [55.13878429987136]
  そこで本研究では,異なる目標に対して,単発と複数発の特徴を共同で学習するための,シンプルで効果的な2段階特徴学習パラダイムを提案する。 提案手法は,DanceTrackデータセットの最先端性能を達成しつつ,MOT17およびMOT20データセットの大幅な改善を実現している。
  論文  参考訳（メタデータ） (2023-11-17T08:17:49Z)
• Stance Detection with Collaborative Role-Infused LLM-Based Agents [39.75103353173015]
  スタンス検出は、ウェブおよびソーシャルメディア研究におけるコンテンツ分析に不可欠である。 しかし、姿勢検出には、著者の暗黙の視点を推測する高度な推論が必要である。 LLMを異なる役割に指定した3段階のフレームワークを設計する。 複数のデータセットにまたがって最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-10-16T14:46:52Z)
• Contextual information integration for stance detection via cross-attention [59.662413798388485]
  スタンス検出は、著者の目標に対する姿勢を特定することを扱う。 既存のスタンス検出モデルの多くは、関連するコンテキスト情報を考慮していないため、制限されている。 文脈情報をテキストとして統合する手法を提案する。
  論文  参考訳（メタデータ） (2022-11-03T15:04:29Z)
• Zero-shot stance detection based on cross-domain feature enhancement by contrastive learning [9.719309795292773]
  我々は、見えないターゲットに効率的に適応できる姿勢検出手法を提案する。 まず、文章の話題語をマスキングすることで、データを増強する。 次に、拡張データを教師なしのコントラスト学習モジュールに供給し、転送可能な特徴をキャプチャする。
  論文  参考訳（メタデータ） (2022-10-07T07:45:40Z)
• Language-guided Navigation via Cross-Modal Grounding and Alternate Adversarial Learning [66.9937776799536]
  新たなビジョン・アンド・ランゲージナビゲーション(VLN)問題は、見えない写真リアリスティック環境において、エージェントがターゲットの場所に向かうことを学習することを目的としている。 VLNの主な課題は、主に2つの側面から生じている: まず、エージェントは動的に変化する視覚環境に対応する言語命令の有意義な段落に出席する必要がある。 そこで本稿では,エージェントにテキストと視覚の対応性を追跡する機能を持たせるために,クロスモーダルグラウンドモジュールを提案する。
  論文  参考訳（メタデータ） (2020-11-22T09:13:46Z)
• Probing Task-Oriented Dialogue Representation from Language Models [106.02947285212132]
  本稿では,タスク指向対話タスクにおいて,どのモデルが本質的に最も有意義な表現を担っているかを明らかにするために,事前学習された言語モデルについて検討する。 我々は、アノテートラベルを教師付き方法で固定された事前学習言語モデルの上に、分類器プローブとしてフィードフォワード層を微調整する。
  論文  参考訳（メタデータ） (2020-10-26T21:34:39Z)
• Leveraging Bottom-Up and Top-Down Attention for Few-Shot Object Detection [31.1548809359908]
  オブジェクト検出は、アノテーションの少ない例でオブジェクトを検出することを目的としていない。 本稿では、トップダウンとボトムアップの両方の利点を生かした、注意深い複数ショットオブジェクト検出ネットワーク(AttFDNet)を提案する。
  論文  参考訳（メタデータ） (2020-07-23T16:12:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。