論文の概要: KnowPrompt: Knowledge-aware Prompt-tuning with Synergistic Optimization for Relation Extraction

• arxiv url: http://arxiv.org/abs/2104.07650v7
• Date: Mon, 18 Sep 2023 16:46:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-20 02:30:25.700546
• Title: KnowPrompt: Knowledge-aware Prompt-tuning with Synergistic Optimization for Relation Extraction
• Title（参考訳）: KnowPrompt:関係抽出のための構文最適化を用いた知識認識型プロンプトチューニング
• Authors: Xiang Chen, Ningyu Zhang, Xin Xie, Shumin Deng, Yunzhi Yao, Chuanqi Tan, Fei Huang, Luo Si, Huajun Chen
• Abstract要約: シナジスティック最適化(KnowPrompt)を用いた知識認識型Promptチューニング手法を提案する。 関係ラベルに含まれる潜在知識をインジェクトして,学習可能な仮想型語と解答語で構築する。
• 参考スコア（独自算出の注目度）: 111.74812895391672
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, prompt-tuning has achieved promising results for specific few-shot classification tasks. The core idea of prompt-tuning is to insert text pieces (i.e., templates) into the input and transform a classification task into a masked language modeling problem. However, for relation extraction, determining an appropriate prompt template requires domain expertise, and it is cumbersome and time-consuming to obtain a suitable label word. Furthermore, there exists abundant semantic and prior knowledge among the relation labels that cannot be ignored. To this end, we focus on incorporating knowledge among relation labels into prompt-tuning for relation extraction and propose a Knowledge-aware Prompt-tuning approach with synergistic optimization (KnowPrompt). Specifically, we inject latent knowledge contained in relation labels into prompt construction with learnable virtual type words and answer words. Then, we synergistically optimize their representation with structured constraints. Extensive experimental results on five datasets with standard and low-resource settings demonstrate the effectiveness of our approach. Our code and datasets are available in https://github.com/zjunlp/KnowPrompt for reproducibility.
• Abstract（参考訳）: 最近、プロンプトチューニングは、特定の少数ショット分類タスクで有望な結果を達成している。 プロンプトチューニングの基本的な考え方は、テキスト断片(テンプレート)を入力に挿入し、分類タスクをマスク付き言語モデリング問題に変換することである。 しかし、関係抽出には適切なプロンプトテンプレートを決定するにはドメインの専門知識が必要であり、適切なラベル語を得るには手間がかかる。 さらに、無視できない関係ラベルの間には、豊富な意味と事前の知識が存在する。 そこで本稿では,関係ラベル間の知識を関係抽出のプロンプトに組み込むことに焦点をあて,相乗的最適化(KnowPrompt)を用いた知識認識型 Prompt-tuning 手法を提案する。 具体的には,関係ラベルに含まれる潜在知識をインジェクトして,学習可能な仮想型語と解答語で構築する。 次に,構造制約による表現を相乗的に最適化する。 標準および低リソース設定の5つのデータセットに関する広範な実験結果から,本手法の有効性が示された。 私たちのコードとデータセットは、再現性のためにhttps://github.com/zjunlp/knowpromptで利用可能です。

関連論文リスト

• Query-based Video Summarization with Pseudo Label Supervision [19.229722872058055]
  手動でラベル付けされたクエリベースのビデオ要約のための既存のデータセットは、コストが高くて小さい。 セルフスーパービジョンは、プリテキストタスクを使用して、擬似ラベルで余分なデータを取得する方法を定義することで、データ空間の問題に対処することができる。 実験結果から,提案した映像要約アルゴリズムは最先端の性能を実現することがわかった。
  論文  参考訳（メタデータ） (2023-07-04T22:28:17Z)
• Patch-Token Aligned Bayesian Prompt Learning for Vision-Language Models [48.37786467926044]
  ラベル固有のプロンプトを階層的に生成する。 我々は視覚知識と画像とそれに対応するプロンプトを最適輸送下でパッチやトークンセットとして意味的に正規化する。 提案手法は,インスタンス条件付きプロンプトを生成して一般化性を向上させる条件付きケースに容易に拡張できる。
  論文  参考訳（メタデータ） (2023-03-16T06:09:15Z)
• LabelPrompt: Effective Prompt-based Learning for Relation Classification [31.291466190218912]
  本稿では,関係分類タスクのための新しいプロンプト型学習手法であるLabelPromptを提案する。 GIVE MODEL CHOICES!'の直感により、まず関係ラベルを表すための追加トークンを定義し、これらのトークンを意味的初期化を伴う動詞としてみなす。 そして、予測関係と与えられた実体との整合性を緩和するために、コントラスト学習を伴うエンティティ認識モジュールを実装した。
  論文  参考訳（メタデータ） (2023-02-16T04:06:25Z)
• Generative Prompt Tuning for Relation Classification [21.027631157115135]
  本稿では,関係分類を埋め込み問題として再構成する新しい生成的プロンプトチューニング手法を提案する。 さらに,エンティティ誘導型復号化と識別的関係スコアリングを設計し,推論中の関係を効果的かつ効率的に生成・調整する。
  論文  参考訳（メタデータ） (2022-10-22T12:40:23Z)
• Text Summarization with Oracle Expectation [88.39032981994535]
  抽出要約は、文書の中で最も重要な文を識別し、連結することによって要約を生成する。 ほとんどの要約データセットは、文書文が要約に値するかどうかを示す金のラベルを持っていない。 本稿では,ソフトな予測に基づく文ラベルを生成する,シンプルで効果的なラベル付けアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-26T14:10:08Z)
• Group-aware Label Transfer for Domain Adaptive Person Re-identification [179.816105255584]
  Unsupervised Adaptive Domain (UDA) Person Re-identification (ReID) は、ラベル付きソースドメインデータセットで訓練されたモデルを、さらなるアノテーションなしでターゲットドメインデータセットに適応することを目的としている。 最も成功したUDA-ReIDアプローチは、クラスタリングに基づく擬似ラベル予測と表現学習を組み合わせて、2つのステップを交互に実行する。 疑似ラベル予測と表現学習のオンラインインタラクションと相互促進を可能にするグループ認識ラベル転送(GLT)アルゴリズムを提案します。
  論文  参考訳（メタデータ） (2021-03-23T07:57:39Z)
• Automated Concatenation of Embeddings for Structured Prediction [75.44925576268052]
  本稿では, 埋め込みの自動結合(ACE)を提案し, 構造予測タスクにおける埋め込みのより優れた結合を見つけるプロセスを自動化する。 我々は、強化学習の戦略に従い、制御器のパラメータを最適化し、タスクモデルの精度に基づいて報酬を計算する。
  論文  参考訳（メタデータ） (2020-10-10T14:03:20Z)
• Semantically Driven Sentence Fusion: Modeling and Evaluation [27.599227950466442]
  文融合は関連文をコヒーレントテキストに結合する作業である。 このタスクの現在のトレーニングと評価スキームは、単一の参照基盤構造に基づいている。 このことは、入力文間の意味的関係を頑健に把握することを妨げる。
  論文  参考訳（メタデータ） (2020-10-06T10:06:01Z)
• Active Learning for Coreference Resolution using Discrete Annotation [76.36423696634584]
  我々は、コア参照解決におけるアクティブラーニングのためのペアワイズアノテーションを改善した。 提案された参照ペアがコアフェレントでないと判断された場合、アノテータに参照アンテセントを識別するよう依頼する。 既存のベンチマークコアベンチマークデータセットを用いた実験では、この追加質問からの信号が人間のアノテーション時間当たりの大幅なパフォーマンス向上につながることが示された。
  論文  参考訳（メタデータ） (2020-04-28T17:17:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。