Fugu-MT 論文翻訳(概要): Improving Semantic Matching through Dependency-Enhanced Pre-trained Model with Adaptive Fusion

論文の概要: Improving Semantic Matching through Dependency-Enhanced Pre-trained Model with Adaptive Fusion

arxiv url: http://arxiv.org/abs/2210.08471v5
Date: Thu, 24 Aug 2023 07:13:27 GMT
ステータス: 処理完了
システム内更新日: 2023-08-25 18:40:41.895260
Title: Improving Semantic Matching through Dependency-Enhanced Pre-trained Model with Adaptive Fusion
Title（参考訳）: 適応融合による係り受け強化事前学習モデルによる意味マッチングの改善
Authors: Jian Song, Di Liang, Rumei Li, Yuntao Li, Sirui Wang, Minlong Peng, Wei Wu, Yongxin Yu
Abstract要約: textbfDependency-Enhanced textbfAdaptive textbfFusion textbfAttention (textbfDAFA)を提案する。事前訓練されたモデルに依存性構造を明示的に導入し、セマンティック情報と適応的に融合する。 BERTに適用することにより,10の公開データセット上での最先端ないし競争的な性能を実現する。
参考スコア（独自算出の注目度）: 23.00381824485556
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Transformer-based pre-trained models like BERT have achieved great progress on Semantic Sentence Matching. Meanwhile, dependency prior knowledge has also shown general benefits in multiple NLP tasks. However, how to efficiently integrate dependency prior structure into pre-trained models to better model complex semantic matching relations is still unsettled. In this paper, we propose the \textbf{D}ependency-Enhanced \textbf{A}daptive \textbf{F}usion \textbf{A}ttention (\textbf{DAFA}), which explicitly introduces dependency structure into pre-trained models and adaptively fuses it with semantic information. Specifically, \textbf{\emph{(i)}} DAFA first proposes a structure-sensitive paradigm to construct a dependency matrix for calibrating attention weights. It adopts an adaptive fusion module to integrate the obtained dependency information and the original semantic signals. Moreover, DAFA reconstructs the attention calculation flow and provides better interpretability. By applying it on BERT, our method achieves state-of-the-art or competitive performance on 10 public datasets, demonstrating the benefits of adaptively fusing dependency structure in semantic matching task.
Abstract（参考訳）: BERTのようなトランスフォーマーベースの事前学習モデルはセマンティックセンテンスマッチングに大きな進歩を遂げた。一方、依存関係事前知識は複数のNLPタスクにおいて一般的な利点を示している。しかし、複雑なセマンティックマッチング関係をより良くモデル化するために、依存関係事前構造を事前訓練されたモデルに効率的に統合する方法はまだ未定である。本稿では,事前学習したモデルに依存性構造を明示的に導入し,セマンティック情報と適応的に融合する<textbf{D}ependency-Enhanced \textbf{A}daptive \textbf{F}usion \textbf{A}ttention (\textbf{DAFA})を提案する。具体的には、 DAFA はまず、注意重みを調整するための依存性行列を構築するために、構造に敏感なパラダイムを提案する。得られた依存情報と元の意味信号を統合するために、適応的な融合モジュールを採用する。さらにdafaは注意計算フローを再構築し、より良い解釈性を提供する。 bertに適用することで、10の公開データセットで最先端あるいは競争力のあるパフォーマンスを実現し、セマンティックマッチングタスクで依存性構造を適応的に活用するメリットを実証する。

関連論文リスト

Bridging and Modeling Correlations in Pairwise Data for Direct Preference Optimization [75.1240295759264]
本稿では,BMC という名前のペアデータにおけるブリッジ・アンド・モデリングの効果的なフレームワークを提案する。目的の修正によって、ペアの選好信号の一貫性と情報性が向上する。 DPOだけではこれらの相関をモデル化し、ニュアンス付き変動を捉えるには不十分である。
論文参考訳（メタデータ） (2024-08-14T11:29:47Z)
A Plug-and-Play Method for Rare Human-Object Interactions Detection by Bridging Domain Gap [50.079224604394]
textbfContext-textbfEnhanced textbfFeature textbfAment (CEFA) と呼ばれる新しいモデルに依存しないフレームワークを提案する。 CEFAは機能アライメントモジュールとコンテキスト拡張モジュールで構成される。本手法は, 稀なカテゴリにおけるHOIモデルの検出性能を向上させるために, プラグアンドプレイモジュールとして機能する。
論文参考訳（メタデータ） (2024-07-31T08:42:48Z)
FASTopic: Pretrained Transformer is a Fast, Adaptive, Stable, and Transferable Topic Model [76.509837704596]
本稿では,高速で適応的で,安定で,移動可能なトピックモデルであるFASTopicを提案する。我々はDSR(Dual Semantic-Relation Reconstruction)を用いて潜在トピックをモデル化する。また, セマンティック関係を最適輸送計画として正規化するためのETP(Embedding Transport Plan)を提案する。
論文参考訳（メタデータ） (2024-05-28T09:06:38Z)
Best of Both Worlds: A Pliable and Generalizable Neuro-Symbolic Approach for Relation Classification [17.398872494876365]
本稿では,関係分類のための新しいニューロシンボリックアーキテクチャを提案する。ルールベースの手法と現代のディープラーニング技術を組み合わせる。提案手法は4つの設定のうち3つで従来の最先端モデルよりも優れていることを示す。
論文参考訳（メタデータ） (2024-03-05T20:08:32Z)
Semi-automatic Data Enhancement for Document-Level Relation Extraction with Distant Supervision from Large Language Models [26.523153535336725]
ドキュメントレベルの関係抽出(DocRE)は、長いコンテキストから関係を抽出することを目的としている。本稿では,大規模言語モデル (LLM) と自然言語推論 (NLI) モジュールを統合する手法を提案する。 DocGNREと呼ばれる拡張データセットを導入することで,提案手法の有効性を実証する。
論文参考訳（メタデータ） (2023-11-13T13:10:44Z)
Autoregressive Structured Prediction with Language Models [73.11519625765301]
本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
論文参考訳（メタデータ） (2022-10-26T13:27:26Z)
A Novel Few-Shot Relation Extraction Pipeline Based on Adaptive Prototype Fusion [5.636675879040131]
Few-shot Relation extract (FSRE) は、わずかに注釈付きインスタンスで学習することで、目に見えない関係を認識することを目的としている。本稿では,適応型プロトタイプ融合に基づくFSREタスクのための新しいパイプラインを提案する。ベンチマークデータセットFewRel 1.0の実験では、最先端の手法に対する我々の手法の大幅な改善が示されている。
論文参考訳（メタデータ） (2022-10-15T09:44:21Z)
Enhancing Pre-trained Models with Text Structure Knowledge for Question Generation [2.526624977753083]
テキスト構造を応答位置と構文依存としてモデル化し,これらの制約に対処するために応答局所性モデリングと構文マスクアテンションを提案する。 SQuADデータセットの実験により、提案した2つのモジュールは、トレーニング済みの強力なモデルであるProphetNetよりも性能が向上することが示された。
論文参考訳（メタデータ） (2022-09-09T08:33:47Z)
Generative Relation Linking for Question Answering over Knowledge Bases [12.778133758613773]
そこで本稿では, フレーミングを生成問題とする関係リンク手法を提案する。このようなシーケンス・ツー・シーケンス・モデルを拡張して,対象とする知識ベースから構造化データを注入する。我々は、議論-関係ペアのリストからなる構造化された出力を生成するためにモデルを訓練し、知識検証のステップを可能にする。
論文参考訳（メタデータ） (2021-08-16T20:33:43Z)
Syntax-Enhanced Pre-trained Model [49.1659635460369]
BERTやRoBERTaなどの学習済みモデルを強化するために、テキストの構文構造を活用するという問題を研究する。既存の手法では、事前学習段階または微調整段階のいずれかでテキストの構文を利用しており、両者の区別に苦しむ。事前学習と微調整の両方の段階でテキストのシンタックスを利用するモデルを提示する。
論文参考訳（メタデータ） (2020-12-28T06:48:04Z)
Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
論文参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。