論文の概要: Knowledge-augmented Frame Semantic Parsing with Hybrid Prompt-tuning
- arxiv url: http://arxiv.org/abs/2303.14375v1
- Date: Sat, 25 Mar 2023 06:41:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-28 20:10:18.567859
- Title: Knowledge-augmented Frame Semantic Parsing with Hybrid Prompt-tuning
- Title(参考訳): ハイブリッドプロンプトチューニングによる知識強化フレーム意味解析
- Authors: Rui Zhang, Yajing Sun, Jingyuan Yang, Wei Peng
- Abstract要約: 本稿では,意味表現を強化するための知識強化フレーム意味解析アーキテクチャ(KAF-SPA)を提案する。
メモリベースの知識抽出モジュール(MKEM)は、正確なフレーム知識を選択し、連続的なテンプレートを構築するために考案された。
我々はまた、選択した知識をPLMに組み込むハイブリッドプロンプトを用いてタスク指向知識探索モジュール(TKPM)を設計し、フレームおよび引数識別のタスクにPLMを適用する。
- 参考スコア(独自算出の注目度): 17.6573121083417
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Frame semantics-based approaches have been widely used in semantic parsing
tasks and have become mainstream. It remains challenging to disambiguate frame
representations evoked by target lexical units under different contexts.
Pre-trained Language Models (PLMs) have been used in semantic parsing and
significantly improve the accuracy of neural parsers. However, the PLMs-based
approaches tend to favor collocated patterns presented in the training data,
leading to inaccurate outcomes. The intuition here is to design a mechanism to
optimally use knowledge captured in semantic frames in conjunction with PLMs to
disambiguate frames. We propose a novel Knowledge-Augmented Frame Semantic
Parsing Architecture (KAF-SPA) to enhance semantic representation by
incorporating accurate frame knowledge into PLMs during frame semantic parsing.
Specifically, a Memory-based Knowledge Extraction Module (MKEM) is devised to
select accurate frame knowledge and construct the continuous templates in the
high dimensional vector space. Moreover, we design a Task-oriented Knowledge
Probing Module (TKPM) using hybrid prompts (in terms of continuous and discrete
prompts) to incorporate the selected knowledge into the PLMs and adapt PLMs to
the tasks of frame and argument identification. Experimental results on two
public FrameNet datasets demonstrate that our method significantly outperforms
strong baselines (by more than +3$\%$ in F1), achieving state-of-art results on
the current benchmark. Ablation studies verify the effectiveness of KAF-SPA.
- Abstract(参考訳): フレームセマンティクスに基づくアプローチは、セマンティクス解析タスクに広く使われ、主流になった。
異なる文脈下でターゲット語彙単位によって誘発されるフレーム表現を曖昧にすることは依然として困難である。
事前学習型言語モデル(PLM)は意味解析に用いられ、ニューラルパーサの精度を大幅に向上させた。
しかしながら、PLMsベースのアプローチはトレーニングデータに示されるコロケーションパターンを好む傾向があり、不正確な結果をもたらす。
ここでの直感は、フレームを曖昧にするために PLM と組み合わせて、セマンティックフレームで取得した知識を最適に利用するメカニズムを設計することである。
フレーム意味解析中に正確なフレーム知識をplmに組み込むことにより、意味表現を強化するための新しい知識提示フレーム意味構文解析アーキテクチャ(kaf-spa)を提案する。
具体的には、メモリベースの知識抽出モジュール(MKEM)を設計し、フレームの正確な知識を選択し、高次元ベクトル空間における連続的なテンプレートを構築する。
さらに,選択した知識をPLMに組み込んで,フレームおよび引数識別のタスクに適応させるために,ハイブリッドプロンプト(連続的および離散的プロンプト)を用いたタスク指向知識探索モジュール(TKPM)を設計する。
2つの公開FrameNetデータセットに対する実験結果から,本手法が強いベースライン(F1では+3$\%以上)を著しく上回り,現在のベンチマークで最先端の結果が得られた。
アブレーション研究はkaf-spaの有効性を検証する。
関連論文リスト
- Skeleton2vec: A Self-supervised Learning Framework with Contextualized
Target Representations for Skeleton Sequence [56.092059713922744]
予測対象として高レベルな文脈化機能を使用することで,優れた性能が得られることを示す。
具体的には、シンプルで効率的な3D行動表現学習フレームワークであるSkeleton2vecを提案する。
提案するSkeleton2vecは,従来の手法より優れ,最先端の結果が得られる。
論文 参考訳(メタデータ) (2024-01-01T12:08:35Z) - Semi-supervised Semantic Segmentation Meets Masked Modeling:Fine-grained
Locality Learning Matters in Consistency Regularization [31.333862320143968]
半教師付きセマンティックセグメンテーションはラベル付き画像と豊富なラベル付き画像を利用してラベル効率の高い学習を実現することを目的としている。
我々は,より詳細な局所性学習により,より高密度なセグメンテーションを実現する,textttMaskMatchという新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-14T03:28:53Z) - Acquiring Frame Element Knowledge with Deep Metric Learning for Semantic
Frame Induction [24.486546938073907]
本稿では,ディープラーニングを意味的フレーム帰納タスクに適用する手法を提案する。
事前訓練された言語モデルは、フレーム要素の役割を区別するのに適するように微調整される。
FrameNetの実験結果から,本手法は既存手法よりも大幅に性能が向上することが示された。
論文 参考訳(メタデータ) (2023-05-23T11:02:28Z) - Structure-CLIP: Towards Scene Graph Knowledge to Enhance Multi-modal
Structured Representations [70.41385310930846]
マルチモーダルな構造表現を強化するためのエンドツーエンドフレームワークであるStructure-CLIPを提案する。
シーングラフを用いてセマンティックなネガティブな例の構築をガイドし、その結果、構造化された表現の学習に重点を置いている。
知識エンハンス(KEE)は、SGKを入力として活用し、構造化表現をさらに強化するために提案される。
論文 参考訳(メタデータ) (2023-05-06T03:57:05Z) - USER: Unified Semantic Enhancement with Momentum Contrast for Image-Text
Retrieval [115.28586222748478]
Image-Text Retrieval (ITR) は、与えられたクエリに意味のあるターゲットインスタンスを、他のモダリティから検索することを目的としている。
既存のアプローチは通常、2つの大きな制限に悩まされる。
論文 参考訳(メタデータ) (2023-01-17T12:42:58Z) - CLIP-Driven Fine-grained Text-Image Person Re-identification [50.94827165464813]
TIReIDは、候補画像のプールから与えられたテキストクエリに対応する画像を取得することを目的としている。
TIReIDにおけるCLIPの強力な知識をフル活用するための,CLIP駆動のきめ細かい情報抽出フレームワーク(CFine)を提案する。
論文 参考訳(メタデータ) (2022-10-19T03:43:12Z) - Guiding the PLMs with Semantic Anchors as Intermediate Supervision:
Towards Interpretable Semantic Parsing [57.11806632758607]
本稿では,既存の事前学習言語モデルを階層型デコーダネットワークに組み込むことを提案する。
第一原理構造をセマンティックアンカーとすることで、2つの新しい中間管理タスクを提案する。
いくつかのセマンティック解析ベンチマークで集中的な実験を行い、我々のアプローチがベースラインを一貫して上回ることを示す。
論文 参考訳(メタデータ) (2022-10-04T07:27:29Z) - Convex Polytope Modelling for Unsupervised Derivation of Semantic
Structure for Data-efficient Natural Language Understanding [31.888489552069146]
Convex-Polytopic-Modelベースのフレームワークは、生のダイアログコーパスを利用して意味パターンを自動的に抽出する大きな可能性を示している。
このフレームワークは,コーパスのセマンティックフレーム関連機能を活用し,発話の基盤となるセマンティック構造を明らかにし,最小限の監視で最先端のNLUモデルの性能を向上させることができることを示す。
論文 参考訳(メタデータ) (2022-01-25T19:12:44Z) - SSA: Semantic Structure Aware Inference for Weakly Pixel-Wise Dense
Predictions without Cost [36.27226683586425]
The semantic structure aware inference (SSA) was proposed to explore the semantic structure information hidden in different stage of the CNN-based network to generate high-quality CAM in the model inference。
提案手法はパラメータを含まない利点があり,訓練は不要である。したがって,弱教師付き画素ワイド予測タスクにも適用可能である。
論文 参考訳(メタデータ) (2021-11-05T11:07:21Z) - Inter-class Discrepancy Alignment for Face Recognition [55.578063356210144]
IA(Inter-class DiscrepancyAlignment)という統合フレームワークを提案する。
IDA-DAOは、画像と隣人の相違を考慮した類似度スコアの整合に使用される。
IDA-SSEは、GANで生成された仮想候補画像を導入することで、説得力のあるクラス間隣人を提供できます。
論文 参考訳(メタデータ) (2021-03-02T08:20:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。