論文の概要: Improving Semantic Matching through Dependency-Enhanced Pre-trained
Model with Adaptive Fusion
- arxiv url: http://arxiv.org/abs/2210.08471v1
- Date: Sun, 16 Oct 2022 07:17:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-18 16:13:18.175752
- Title: Improving Semantic Matching through Dependency-Enhanced Pre-trained
Model with Adaptive Fusion
- Title(参考訳): 適応融合による係り受け強化事前学習モデルによる意味マッチングの改善
- Authors: Jian Song, Di Liang, Rumei Li, Yuntao Li, Sirui Wang, Minlong Peng,
Wei Wu, Yongxin Yu
- Abstract要約: textbfDependency-Enhanced textbfAdaptive textbfFusion textbfAttention (textbfDAFA)を提案する。
事前訓練されたモデルに依存性構造を明示的に導入し、セマンティック情報と適応的に融合する。
BERTに適用することにより,10の公開データセット上での最先端ないし競争的な性能を実現する。
- 参考スコア(独自算出の注目度): 15.405555117798293
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transformer-based pre-trained models like BERT have achieved great progress
on Semantic Sentence Matching. Meanwhile, dependency prior knowledge has also
shown general benefits in multiple NLP tasks. However, how to efficiently
integrate dependency prior structure into pre-trained models to better model
complex semantic matching relations is still unsettled. In this paper, we
propose the \textbf{D}ependency-Enhanced \textbf{A}daptive \textbf{F}usion
\textbf{A}ttention (\textbf{DAFA}), which explicitly introduces dependency
structure into pre-trained models and adaptively fuses it with semantic
information. Specifically, \textbf{\emph{(i)}} DAFA first proposes a
structure-sensitive paradigm to construct a dependency matrix for calibrating
attention weights. It adopts an adaptive fusion module to integrate the
obtained dependency information and the original semantic signals. Moreover,
DAFA reconstructs the attention calculation flow and provides better
interpretability. By applying it on BERT, our method achieves state-of-the-art
or competitive performance on 10 public datasets, demonstrating the benefits of
adaptively fusing dependency structure in semantic matching task.
- Abstract(参考訳): BERTのようなトランスフォーマーベースの事前学習モデルはセマンティックセンテンスマッチングに大きな進歩を遂げた。
一方、依存関係事前知識は複数のNLPタスクにおいて一般的な利点を示している。
しかし、複雑なセマンティックマッチング関係をより良くモデル化するために、依存関係事前構造を事前訓練されたモデルに効率的に統合する方法はまだ未定である。
本稿では,事前学習したモデルに依存性構造を明示的に導入し,セマンティック情報と適応的に融合する<textbf{D}ependency-Enhanced \textbf{A}daptive \textbf{F}usion \textbf{A}ttention (\textbf{DAFA})を提案する。
具体的には、 DAFA はまず、注意重みを調整するための依存性行列を構築するために、構造に敏感なパラダイムを提案する。
得られた依存情報と元の意味信号を統合するために、適応的な融合モジュールを採用する。
さらにdafaは注意計算フローを再構築し、より良い解釈性を提供する。
bertに適用することで、10の公開データセットで最先端あるいは競争力のあるパフォーマンスを実現し、セマンティックマッチングタスクで依存性構造を適応的に活用するメリットを実証する。
関連論文リスト
- Best of Both Worlds: A Pliable and Generalizable Neuro-Symbolic Approach
for Relation Classification [17.398872494876365]
本稿では,関係分類のための新しいニューロシンボリックアーキテクチャを提案する。
ルールベースの手法と現代のディープラーニング技術を組み合わせる。
提案手法は4つの設定のうち3つで従来の最先端モデルよりも優れていることを示す。
論文 参考訳(メタデータ) (2024-03-05T20:08:32Z) - Semi-automatic Data Enhancement for Document-Level Relation Extraction
with Distant Supervision from Large Language Models [26.523153535336725]
ドキュメントレベルの関係抽出(DocRE)は、長いコンテキストから関係を抽出することを目的としている。
本稿では,大規模言語モデル (LLM) と自然言語推論 (NLI) モジュールを統合する手法を提案する。
DocGNREと呼ばれる拡張データセットを導入することで,提案手法の有効性を実証する。
論文 参考訳(メタデータ) (2023-11-13T13:10:44Z) - Understanding and Constructing Latent Modality Structures in Multi-modal
Representation Learning [53.68371566336254]
優れたパフォーマンスの鍵は、完全なモダリティアライメントではなく、有意義な潜在モダリティ構造にある、と我々は主張する。
具体的には,1)モダリティ内正規化のための深い特徴分離損失,2)モダリティ間正規化のためのブラウン橋損失,3)モダリティ内正規化およびモダリティ間正規化のための幾何学的整合損失を設計する。
論文 参考訳(メタデータ) (2023-03-10T14:38:49Z) - FECANet: Boosting Few-Shot Semantic Segmentation with Feature-Enhanced
Context-Aware Network [48.912196729711624]
Few-shot セマンティックセグメンテーション(Few-shot semantic segmentation)は、新しいクラスの各ピクセルを、わずかに注釈付きサポートイメージで検索するタスクである。
本稿では,クラス間の類似性に起因するマッチングノイズを抑制するために,機能拡張コンテキスト認識ネットワーク(FECANet)を提案する。
さらに,前景と背景の余分な対応関係を符号化する新たな相関再構成モジュールを提案する。
論文 参考訳(メタデータ) (2023-01-19T16:31:13Z) - Autoregressive Structured Prediction with Language Models [73.11519625765301]
本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。
我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
論文 参考訳(メタデータ) (2022-10-26T13:27:26Z) - A Novel Few-Shot Relation Extraction Pipeline Based on Adaptive
Prototype Fusion [5.636675879040131]
Few-shot Relation extract (FSRE) は、わずかに注釈付きインスタンスで学習することで、目に見えない関係を認識することを目的としている。
本稿では,適応型プロトタイプ融合に基づくFSREタスクのための新しいパイプラインを提案する。
ベンチマークデータセットFewRel 1.0の実験では、最先端の手法に対する我々の手法の大幅な改善が示されている。
論文 参考訳(メタデータ) (2022-10-15T09:44:21Z) - Enhancing Pre-trained Models with Text Structure Knowledge for Question
Generation [2.526624977753083]
テキスト構造を応答位置と構文依存としてモデル化し,これらの制約に対処するために応答局所性モデリングと構文マスクアテンションを提案する。
SQuADデータセットの実験により、提案した2つのモジュールは、トレーニング済みの強力なモデルであるProphetNetよりも性能が向上することが示された。
論文 参考訳(メタデータ) (2022-09-09T08:33:47Z) - Generative Relation Linking for Question Answering over Knowledge Bases [12.778133758613773]
そこで本稿では, フレーミングを生成問題とする関係リンク手法を提案する。
このようなシーケンス・ツー・シーケンス・モデルを拡張して,対象とする知識ベースから構造化データを注入する。
我々は、議論-関係ペアのリストからなる構造化された出力を生成するためにモデルを訓練し、知識検証のステップを可能にする。
論文 参考訳(メタデータ) (2021-08-16T20:33:43Z) - Syntax-Enhanced Pre-trained Model [49.1659635460369]
BERTやRoBERTaなどの学習済みモデルを強化するために、テキストの構文構造を活用するという問題を研究する。
既存の手法では、事前学習段階または微調整段階のいずれかでテキストの構文を利用しており、両者の区別に苦しむ。
事前学習と微調整の両方の段階でテキストのシンタックスを利用するモデルを提示する。
論文 参考訳(メタデータ) (2020-12-28T06:48:04Z) - Improve Variational Autoencoder for Text Generationwith Discrete Latent
Bottleneck [52.08901549360262]
変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。
VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。
よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
論文 参考訳(メタデータ) (2020-04-22T14:41:37Z) - A Dependency Syntactic Knowledge Augmented Interactive Architecture for
End-to-End Aspect-based Sentiment Analysis [73.74885246830611]
エンドツーエンドABSAのためのマルチタスク学習を用いた対話型アーキテクチャを新たに提案する。
このモデルは、よく設計された依存性関係埋め込みグラフ畳み込みネットワーク(DreGcn)を活用することで、構文知識(依存性関係と型)を完全に活用することができる。
3つのベンチマークデータセットの大規模な実験結果から,本手法の有効性が示された。
論文 参考訳(メタデータ) (2020-04-04T14:59:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。