論文の概要: Better Few-Shot Relation Extraction with Label Prompt Dropout

• arxiv url: http://arxiv.org/abs/2210.13733v1
• Date: Tue, 25 Oct 2022 03:03:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-26 14:41:46.412937
• Title: Better Few-Shot Relation Extraction with Label Prompt Dropout
• Title（参考訳）: ラベルプロンプトドロップアウトを用いたファウショット関係抽出
• Authors: Peiyuan Zhang, Wei Lu
• Abstract要約: 本稿では,学習過程におけるラベル記述をランダムに除去するラベルプロンプトドロップアウトという新しい手法を提案する。 実験の結果,本手法はクラス表現の改善に寄与し,数発の関係抽出タスクにおいて,より優れた結果が得られることがわかった。
• 参考スコア（独自算出の注目度）: 7.939146925759088
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Few-shot relation extraction aims to learn to identify the relation between two entities based on very limited training examples. Recent efforts found that textual labels (i.e., relation names and relation descriptions) could be extremely useful for learning class representations, which will benefit the few-shot learning task. However, what is the best way to leverage such label information in the learning process is an important research question. Existing works largely assume such textual labels are always present during both learning and prediction. In this work, we argue that such approaches may not always lead to optimal results. Instead, we present a novel approach called label prompt dropout, which randomly removes label descriptions in the learning process. Our experiments show that our approach is able to lead to improved class representations, yielding significantly better results on the few-shot relation extraction task.
• Abstract（参考訳）: 少ないショット関係抽出は、非常に限られたトレーニング例に基づいて、2つのエンティティ間の関係を識別することを目的としている。 最近の研究により、テキストラベル(すなわち、関係名と関係記述)はクラス表現の学習に非常に有用であり、これは、わずかな学習タスクに役立つことが判明した。 しかし、このようなラベル情報を学習プロセスで活用する最善の方法は、重要な研究課題である。 既存の研究は、こうしたテキストラベルは学習と予測の両方の間に常に存在すると仮定している。 この研究において、このようなアプローチは必ずしも最適な結果をもたらすとは限らないと論じる。 代わりに,学習過程においてラベル記述をランダムに除去するラベルプロンプトドロップアウトという新しい手法を提案する。 実験の結果,提案手法はクラス表現の改善につながり,マイナショット関係抽出タスクにおいて有意に優れた結果が得られることがわかった。

関連論文リスト

• Virtual Category Learning: A Semi-Supervised Learning Method for Dense Prediction with Extremely Limited Labels [63.16824565919966]
  本稿では,ラベルの修正を伴わずに,混乱したサンプルを積極的に使用することを提案する。 仮想カテゴリー(VC)は、モデルの最適化に安全に貢献できるように、各混乱したサンプルに割り当てられる。 私たちの興味深い発見は、密集した視覚タスクにおけるVC学習の利用に注目しています。
  論文  参考訳（メタデータ） (2023-12-02T16:23:52Z)
• Multi-Label Knowledge Distillation [86.03990467785312]
  本稿では,新しい多ラベル知識蒸留法を提案する。 一方、マルチラベル学習問題をバイナリ分類問題に分割することにより、ロジットからの情報的意味知識を利用する。 一方,ラベルワイド埋め込みの構造情報を活用することにより,学習した特徴表現の識別性を向上する。
  論文  参考訳（メタデータ） (2023-08-12T03:19:08Z)
• Description-Enhanced Label Embedding Contrastive Learning for Text Classification [65.01077813330559]
  モデル学習プロセスにおける自己監督型学習(SSL)と新しい自己監督型関係関係(R2)分類タスクの設計 テキスト分類とR2分類を最適化対象として扱うテキスト分類のための関係学習ネットワーク(R2-Net)の関係について検討する。 ラベルセマンティックラーニングのためのマルチアスペクト記述を得るためのWordNetからの外部知識。
  論文  参考訳（メタデータ） (2023-06-15T02:19:34Z)
• New Intent Discovery with Pre-training and Contrastive Learning [21.25371293641141]
  新しい意図発見は、ユーザ発話から新しい意図カテゴリーを明らかにして、サポート対象クラスのセットを拡張することを目的としている。 既存のアプローチは通常、大量のラベル付き発話に依存する。 本稿では,クラスタリングのためのラベルなしデータにおける自己超越的信号を活用するために,新たなコントラスト損失を提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:07:25Z)
• Active Learning with Label Comparisons [41.82179028046654]
  我々は、$k-1$のアクティブクエリで、$k$ラベルのベストを見つけることができることを示した。 我々の分析の鍵となる要素は、真の分布の「ラベル近傍グラフ」である。
  論文  参考訳（メタデータ） (2022-04-10T12:13:46Z)
• Exploring Task Difficulty for Few-Shot Relation Extraction [22.585574542329677]
  Few-shot Relation extract (FSRE) は、わずかに注釈付きインスタンスで学習することで、新しい関係を認識することに焦点を当てている。 本稿では,関係ラベル情報を活用することで,より良い表現を学習するコントラスト学習に基づく新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2021-09-12T09:40:33Z)
• MapRE: An Effective Semantic Mapping Approach for Low-resource Relation Extraction [11.821464352959454]
  低リソース関係抽出のためのラベル非依存とラベル対応のセマンティックマッピング情報の両方を考慮したフレームワークを提案する。 以上の2種類のマッピング情報を事前学習と微調整の両方に組み込むことで,モデル性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2021-09-09T09:02:23Z)
• Is Label Smoothing Truly Incompatible with Knowledge Distillation: An Empirical Study [59.95267695402516]
  本研究では,ラベルスムージングがナレッジ蒸留と相容れないことを実証的に明らかにする。 ラベルスムージングが意味的に類似したクラスと異なるクラスの分布にどのように影響するかに関する新しい接続を提供します。 我々は,その一面性と不完全性について,大規模解析,可視化,包括的な実験を通じて検討する。
  論文  参考訳（メタデータ） (2021-04-01T17:59:12Z)
• R$^2$-Net: Relation of Relation Learning Network for Sentence Semantic Matching [58.72111690643359]
  文意味マッチングのための関係学習ネットワーク(R2-Net)を提案する。 最初にBERTを使用して、グローバルな視点から入力文をエンコードします。 次に、cnnベースのエンコーダは、ローカルな視点からキーワードやフレーズ情報をキャプチャするように設計されている。 関係情報抽出にラベルを十分に活用するために,関係分類タスクの自己教師付き関係性を導入する。
  論文  参考訳（メタデータ） (2020-12-16T13:11:30Z)
• Dynamic Semantic Matching and Aggregation Network for Few-shot Intent Detection [69.2370349274216]
  利用可能な注釈付き発話が不足しているため、インテント検出は困難である。 セマンティック成分はマルチヘッド自己認識によって発話から蒸留される。 本手法はラベル付きインスタンスとラベルなしインスタンスの両方の表現を強化するための総合的なマッチング手段を提供する。
  論文  参考訳（メタデータ） (2020-10-06T05:16:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。