論文の概要: Knowledge-augmented Frame Semantic Parsing with Hybrid Prompt-tuning
- arxiv url: http://arxiv.org/abs/2303.14375v1
- Date: Sat, 25 Mar 2023 06:41:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-28 20:10:18.567859
- Title: Knowledge-augmented Frame Semantic Parsing with Hybrid Prompt-tuning
- Title（参考訳）: ハイブリッドプロンプトチューニングによる知識強化フレーム意味解析
- Authors: Rui Zhang, Yajing Sun, Jingyuan Yang, Wei Peng
- Abstract要約: 本稿では,意味表現を強化するための知識強化フレーム意味解析アーキテクチャ(KAF-SPA)を提案する。
メモリベースの知識抽出モジュール(MKEM)は、正確なフレーム知識を選択し、連続的なテンプレートを構築するために考案された。
我々はまた、選択した知識をPLMに組み込むハイブリッドプロンプトを用いてタスク指向知識探索モジュール(TKPM)を設計し、フレームおよび引数識別のタスクにPLMを適用する。
- 参考スコア（独自算出の注目度）: 17.6573121083417
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Frame semantics-based approaches have been widely used in semantic parsing
tasks and have become mainstream. It remains challenging to disambiguate frame
representations evoked by target lexical units under different contexts.
Pre-trained Language Models (PLMs) have been used in semantic parsing and
significantly improve the accuracy of neural parsers. However, the PLMs-based
approaches tend to favor collocated patterns presented in the training data,
leading to inaccurate outcomes. The intuition here is to design a mechanism to
optimally use knowledge captured in semantic frames in conjunction with PLMs to
disambiguate frames. We propose a novel Knowledge-Augmented Frame Semantic
Parsing Architecture (KAF-SPA) to enhance semantic representation by
incorporating accurate frame knowledge into PLMs during frame semantic parsing.
Specifically, a Memory-based Knowledge Extraction Module (MKEM) is devised to
select accurate frame knowledge and construct the continuous templates in the
high dimensional vector space. Moreover, we design a Task-oriented Knowledge
Probing Module (TKPM) using hybrid prompts (in terms of continuous and discrete
prompts) to incorporate the selected knowledge into the PLMs and adapt PLMs to
the tasks of frame and argument identification. Experimental results on two
public FrameNet datasets demonstrate that our method significantly outperforms
strong baselines (by more than +3$\%$ in F1), achieving state-of-art results on
the current benchmark. Ablation studies verify the effectiveness of KAF-SPA.
- Abstract（参考訳）: フレームセマンティクスに基づくアプローチは、セマンティクス解析タスクに広く使われ、主流になった。
異なる文脈下でターゲット語彙単位によって誘発されるフレーム表現を曖昧にすることは依然として困難である。
事前学習型言語モデル(PLM)は意味解析に用いられ、ニューラルパーサの精度を大幅に向上させた。
しかしながら、PLMsベースのアプローチはトレーニングデータに示されるコロケーションパターンを好む傾向があり、不正確な結果をもたらす。
ここでの直感は、フレームを曖昧にするために PLM と組み合わせて、セマンティックフレームで取得した知識を最適に利用するメカニズムを設計することである。
フレーム意味解析中に正確なフレーム知識をplmに組み込むことにより、意味表現を強化するための新しい知識提示フレーム意味構文解析アーキテクチャ(kaf-spa)を提案する。
具体的には、メモリベースの知識抽出モジュール(MKEM)を設計し、フレームの正確な知識を選択し、高次元ベクトル空間における連続的なテンプレートを構築する。
さらに,選択した知識をPLMに組み込んで,フレームおよび引数識別のタスクに適応させるために,ハイブリッドプロンプト(連続的および離散的プロンプト)を用いたタスク指向知識探索モジュール(TKPM)を設計する。
2つの公開FrameNetデータセットに対する実験結果から,本手法が強いベースライン(F1では+3$\%以上)を著しく上回り,現在のベンチマークで最先端の結果が得られた。
アブレーション研究はkaf-spaの有効性を検証する。
関連論文リスト
- FS-RAG: A Frame Semantics Based Approach for Improved Factual Accuracy in Large Language Models [2.1484130681985047]
本稿では,大規模言語モデルの出力における事実的不正確さを軽減することを目的として,検索強化生成の新たな拡張を提案する。
提案手法は,大規模言語モデルの問合せ支援に関連する事実情報のインデックス化と検索を目的とした,フレームセマンティクスの認知言語理論に基づく。
論文 参考訳（メタデータ） (2024-06-23T17:18:19Z) - Text-Video Retrieval with Global-Local Semantic Consistent Learning [122.15339128463715]
我々は,シンプルで効果的なグローバル局所意味的一貫性学習(GLSCL)を提案する。
GLSCLは、テキストビデオ検索のためのモダリティをまたいだ潜在共有セマンティクスを活用する。
本手法はSOTAと同等の性能を実現し,計算コストの約220倍の高速化を実現している。
論文 参考訳（メタデータ） (2024-05-21T11:59:36Z) - RAR: Retrieving And Ranking Augmented MLLMs for Visual Recognition [78.97487780589574]
MLLM(Multimodal Large Language Models)は、細粒度カテゴリの分類において優れている。
本稿では,MLLMの検索とランク付けのための拡張手法を提案する。
提案手法は, 微粒化認識における固有の限界に対処するだけでなく, モデルの包括的知識基盤も維持する。
論文 参考訳（メタデータ） (2024-03-20T17:59:55Z) - Skeleton2vec: A Self-supervised Learning Framework with Contextualized
Target Representations for Skeleton Sequence [56.092059713922744]
予測対象として高レベルな文脈化機能を使用することで,優れた性能が得られることを示す。
具体的には、シンプルで効率的な3D行動表現学習フレームワークであるSkeleton2vecを提案する。
提案するSkeleton2vecは,従来の手法より優れ,最先端の結果が得られる。
論文 参考訳（メタデータ） (2024-01-01T12:08:35Z) - FLIP: Fine-grained Alignment between ID-based Models and Pretrained Language Models for CTR Prediction [49.510163437116645]
クリックスルーレート(CTR)予測は、パーソナライズされたオンラインサービスにおいてコア機能モジュールとして機能する。
CTR予測のための従来のIDベースのモデルは、表形式の1ホットエンコードされたID特徴を入力として取る。
事前訓練された言語モデル(PLM)は、テキストのモダリティの文を入力として取る別のパラダイムを生み出した。
本稿では,CTR予測のためのIDベースモデルと事前学習言語モデル(FLIP)間の細粒度特徴レベルのアライメントを提案する。
論文 参考訳（メタデータ） (2023-10-30T11:25:03Z) - Acquiring Frame Element Knowledge with Deep Metric Learning for Semantic
Frame Induction [24.486546938073907]
本稿では,ディープラーニングを意味的フレーム帰納タスクに適用する手法を提案する。
事前訓練された言語モデルは、フレーム要素の役割を区別するのに適するように微調整される。
FrameNetの実験結果から,本手法は既存手法よりも大幅に性能が向上することが示された。
論文 参考訳（メタデータ） (2023-05-23T11:02:28Z) - Guiding the PLMs with Semantic Anchors as Intermediate Supervision:
Towards Interpretable Semantic Parsing [57.11806632758607]
本稿では,既存の事前学習言語モデルを階層型デコーダネットワークに組み込むことを提案する。
第一原理構造をセマンティックアンカーとすることで、2つの新しい中間管理タスクを提案する。
いくつかのセマンティック解析ベンチマークで集中的な実験を行い、我々のアプローチがベースラインを一貫して上回ることを示す。
論文 参考訳（メタデータ） (2022-10-04T07:27:29Z) - Convex Polytope Modelling for Unsupervised Derivation of Semantic
Structure for Data-efficient Natural Language Understanding [31.888489552069146]
Convex-Polytopic-Modelベースのフレームワークは、生のダイアログコーパスを利用して意味パターンを自動的に抽出する大きな可能性を示している。
このフレームワークは,コーパスのセマンティックフレーム関連機能を活用し,発話の基盤となるセマンティック構造を明らかにし,最小限の監視で最先端のNLUモデルの性能を向上させることができることを示す。
論文 参考訳（メタデータ） (2022-01-25T19:12:44Z) - SSA: Semantic Structure Aware Inference for Weakly Pixel-Wise Dense
Predictions without Cost [36.27226683586425]
The semantic structure aware inference (SSA) was proposed to explore the semantic structure information hidden in different stage of the CNN-based network to generate high-quality CAM in the model inference。
提案手法はパラメータを含まない利点があり,訓練は不要である。したがって,弱教師付き画素ワイド予測タスクにも適用可能である。
論文 参考訳（メタデータ） (2021-11-05T11:07:21Z) - Inter-class Discrepancy Alignment for Face Recognition [55.578063356210144]
IA(Inter-class DiscrepancyAlignment)という統合フレームワークを提案する。
IDA-DAOは、画像と隣人の相違を考慮した類似度スコアの整合に使用される。
IDA-SSEは、GANで生成された仮想候補画像を導入することで、説得力のあるクラス間隣人を提供できます。
論文 参考訳（メタデータ） (2021-03-02T08:20:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。