論文の概要: Improving Semantic Matching through Dependency-Enhanced Pre-trained Model with Adaptive Fusion

• arxiv url: http://arxiv.org/abs/2210.08471v5
• Date: Thu, 24 Aug 2023 07:13:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-08-25 18:40:41.895260
• Title: Improving Semantic Matching through Dependency-Enhanced Pre-trained Model with Adaptive Fusion
• Title（参考訳）: 適応融合による係り受け強化事前学習モデルによる意味マッチングの改善
• Authors: Jian Song, Di Liang, Rumei Li, Yuntao Li, Sirui Wang, Minlong Peng, Wei Wu, Yongxin Yu
• Abstract要約: textbfDependency-Enhanced textbfAdaptive textbfFusion textbfAttention (textbfDAFA)を提案する。 事前訓練されたモデルに依存性構造を明示的に導入し、セマンティック情報と適応的に融合する。 BERTに適用することにより,10の公開データセット上での最先端ないし競争的な性能を実現する。
• 参考スコア（独自算出の注目度）: 23.00381824485556
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer-based pre-trained models like BERT have achieved great progress on Semantic Sentence Matching. Meanwhile, dependency prior knowledge has also shown general benefits in multiple NLP tasks. However, how to efficiently integrate dependency prior structure into pre-trained models to better model complex semantic matching relations is still unsettled. In this paper, we propose the \textbf{D}ependency-Enhanced \textbf{A}daptive \textbf{F}usion \textbf{A}ttention (\textbf{DAFA}), which explicitly introduces dependency structure into pre-trained models and adaptively fuses it with semantic information. Specifically, \textbf{\emph{(i)}} DAFA first proposes a structure-sensitive paradigm to construct a dependency matrix for calibrating attention weights. It adopts an adaptive fusion module to integrate the obtained dependency information and the original semantic signals. Moreover, DAFA reconstructs the attention calculation flow and provides better interpretability. By applying it on BERT, our method achieves state-of-the-art or competitive performance on 10 public datasets, demonstrating the benefits of adaptively fusing dependency structure in semantic matching task.
• Abstract（参考訳）: BERTのようなトランスフォーマーベースの事前学習モデルはセマンティックセンテンスマッチングに大きな進歩を遂げた。 一方、依存関係事前知識は複数のNLPタスクにおいて一般的な利点を示している。 しかし、複雑なセマンティックマッチング関係をより良くモデル化するために、依存関係事前構造を事前訓練されたモデルに効率的に統合する方法はまだ未定である。 本稿では,事前学習したモデルに依存性構造を明示的に導入し,セマンティック情報と適応的に融合する<textbf{D}ependency-Enhanced \textbf{A}daptive \textbf{F}usion \textbf{A}ttention (\textbf{DAFA})を提案する。 具体的には、 DAFA はまず、注意重みを調整するための依存性行列を構築するために、構造に敏感なパラダイムを提案する。 得られた依存情報と元の意味信号を統合するために、適応的な融合モジュールを採用する。 さらにdafaは注意計算フローを再構築し、より良い解釈性を提供する。 bertに適用することで、10の公開データセットで最先端あるいは競争力のあるパフォーマンスを実現し、セマンティックマッチングタスクで依存性構造を適応的に活用するメリットを実証する。

関連論文リスト

• Integrating Textual Embeddings from Contrastive Learning with Generative Recommender for Enhanced Personalization [8.466223794246261]
  コントラストテキスト埋め込みモデルを用いて生成レコメンデータを増強するハイブリッドフレームワークを提案する。 本手法をAmazon Reviews 2023データセットから2つのドメインで評価する。
  論文  参考訳（メタデータ） (2025-04-13T15:23:00Z)
• Knowledge Graph Completion with Relation-Aware Anchor Enhancement [50.50944396454757]
  関係認識型アンカー強化知識グラフ補完法(RAA-KGC)を提案する。 まず、ヘッダーのリレーショナル・アウェア・エリア内でアンカー・エンティティを生成します。 次に、アンカーの近傍に埋め込まれたクエリを引っ張ることで、ターゲットのエンティティマッチングに対してより差別的になるように調整する。
  論文  参考訳（メタデータ） (2025-04-08T15:22:08Z)
• Towards Transformer-Based Aligned Generation with Self-Coherence Guidance [51.42269790543461]
  トランスフォーマーを用いたテキストガイド拡散モデル(TGDM)におけるアライメント向上のためのトレーニング不要アプローチを提案する。 既存のTGDMは、特に複雑なテキストプロンプトやマルチコンセプト属性バインディングの問題を扱う場合、意味的に整合した画像を生成するのに苦労することが多い。 本手法は,生成過程において,相互注意マップを直接最適化することにより,これらの課題に対処する。
  論文  参考訳（メタデータ） (2025-03-22T07:03:57Z)
• Dependency Parsing with the Structuralized Prompt Template [14.547116901025506]
  依存解析は自然言語処理(NLP)の基本課題である 本稿では,テキスト・テキスト・トレーニング・アプローチを用いたエンコーダ・モデルのみに依存する新しい依存性解析手法を提案する。 実験の結果,提案手法は従来のモデルと比較して優れた性能を示すことがわかった。
  論文  参考訳（メタデータ） (2025-02-24T07:25:10Z)
• Structural Embedding Projection for Contextual Large Language Model Inference [0.0]
  構造化埋め込み変換は、言語モデル推論の効率性と一貫性を高めるための有望なアプローチを提供する。 構造埋め込み射影 (Structure Embedding Projection, SEP) の数学的定式化により、埋め込み空間は構造化された文脈関係を捉えることができる。 語彙の多様性に対するSEPの影響は、埋め込み修飾がモデルの語彙使用に影響を与えることを示唆している。
  論文  参考訳（メタデータ） (2025-01-31T00:46:21Z)
• VaeDiff-DocRE: End-to-end Data Augmentation Framework for Document-level Relation Extraction [9.516897428263146]
  ドキュメントレベルの関係抽出(DocRE)は、ドキュメント内のエンティティペア間の関係を特定することを目的としている。 既存のほとんどの手法は、一様ラベルの分布を仮定し、現実の非バランスなデータセット上での最適以下の性能をもたらす。 組込み空間からのデータを強化するために生成モデルを用いた新しいデータ拡張手法を提案する。
  論文  参考訳（メタデータ） (2024-12-18T04:55:29Z)
• Bridging and Modeling Correlations in Pairwise Data for Direct Preference Optimization [75.1240295759264]
  本稿では,BMC という名前のペアデータにおけるブリッジ・アンド・モデリングの効果的なフレームワークを提案する。 目的の修正によって、ペアの選好信号の一貫性と情報性が向上する。 DPOだけではこれらの相関をモデル化し、ニュアンス付き変動を捉えるには不十分である。
  論文  参考訳（メタデータ） (2024-08-14T11:29:47Z)
• A Plug-and-Play Method for Rare Human-Object Interactions Detection by Bridging Domain Gap [50.079224604394]
  textbfContext-textbfEnhanced textbfFeature textbfAment (CEFA) と呼ばれる新しいモデルに依存しないフレームワークを提案する。 CEFAは機能アライメントモジュールとコンテキスト拡張モジュールで構成される。 本手法は, 稀なカテゴリにおけるHOIモデルの検出性能を向上させるために, プラグアンドプレイモジュールとして機能する。
  論文  参考訳（メタデータ） (2024-07-31T08:42:48Z)
• FASTopic: Pretrained Transformer is a Fast, Adaptive, Stable, and Transferable Topic Model [76.509837704596]
  本稿では,高速で適応的で,安定で,移動可能なトピックモデルであるFASTopicを提案する。 我々はDSR(Dual Semantic-Relation Reconstruction)を用いて潜在トピックをモデル化する。 また, セマンティック関係を最適輸送計画として正規化するためのETP(Embedding Transport Plan)を提案する。
  論文  参考訳（メタデータ） (2024-05-28T09:06:38Z)
• Best of Both Worlds: A Pliable and Generalizable Neuro-Symbolic Approach for Relation Classification [17.398872494876365]
  本稿では,関係分類のための新しいニューロシンボリックアーキテクチャを提案する。 ルールベースの手法と現代のディープラーニング技術を組み合わせる。 提案手法は4つの設定のうち3つで従来の最先端モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-03-05T20:08:32Z)
• Semi-automatic Data Enhancement for Document-Level Relation Extraction with Distant Supervision from Large Language Models [26.523153535336725]
  ドキュメントレベルの関係抽出(DocRE)は、長いコンテキストから関係を抽出することを目的としている。 本稿では,大規模言語モデル (LLM) と自然言語推論 (NLI) モジュールを統合する手法を提案する。 DocGNREと呼ばれる拡張データセットを導入することで,提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2023-11-13T13:10:44Z)
• Autoregressive Structured Prediction with Language Models [73.11519625765301]
  本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。 我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-10-26T13:27:26Z)
• A Novel Few-Shot Relation Extraction Pipeline Based on Adaptive Prototype Fusion [5.636675879040131]
  Few-shot Relation extract (FSRE) は、わずかに注釈付きインスタンスで学習することで、目に見えない関係を認識することを目的としている。 本稿では,適応型プロトタイプ融合に基づくFSREタスクのための新しいパイプラインを提案する。 ベンチマークデータセットFewRel 1.0の実験では、最先端の手法に対する我々の手法の大幅な改善が示されている。
  論文  参考訳（メタデータ） (2022-10-15T09:44:21Z)
• Enhancing Pre-trained Models with Text Structure Knowledge for Question Generation [2.526624977753083]
  テキスト構造を応答位置と構文依存としてモデル化し,これらの制約に対処するために応答局所性モデリングと構文マスクアテンションを提案する。 SQuADデータセットの実験により、提案した2つのモジュールは、トレーニング済みの強力なモデルであるProphetNetよりも性能が向上することが示された。
  論文  参考訳（メタデータ） (2022-09-09T08:33:47Z)
• Generative Relation Linking for Question Answering over Knowledge Bases [12.778133758613773]
  そこで本稿では, フレーミングを生成問題とする関係リンク手法を提案する。 このようなシーケンス・ツー・シーケンス・モデルを拡張して,対象とする知識ベースから構造化データを注入する。 我々は、議論-関係ペアのリストからなる構造化された出力を生成するためにモデルを訓練し、知識検証のステップを可能にする。
  論文  参考訳（メタデータ） (2021-08-16T20:33:43Z)
• Syntax-Enhanced Pre-trained Model [49.1659635460369]
  BERTやRoBERTaなどの学習済みモデルを強化するために、テキストの構文構造を活用するという問題を研究する。 既存の手法では、事前学習段階または微調整段階のいずれかでテキストの構文を利用しており、両者の区別に苦しむ。 事前学習と微調整の両方の段階でテキストのシンタックスを利用するモデルを提示する。
  論文  参考訳（メタデータ） (2020-12-28T06:48:04Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。