論文の概要: Co-Driven Recognition of Semantic Consistency via the Fusion of
Transformer and HowNet Sememes Knowledge
- arxiv url: http://arxiv.org/abs/2302.10570v1
- Date: Tue, 21 Feb 2023 09:53:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-22 15:38:25.519616
- Title: Co-Driven Recognition of Semantic Consistency via the Fusion of
Transformer and HowNet Sememes Knowledge
- Title（参考訳）: トランスフォーマーとhownet sememes知識の融合による意味的一貫性の共駆動認識
- Authors: Fan Chen, Yan Huang, Xinfang Zhang, Kang Luo, Jinxuan Zhu, Ruixian He
- Abstract要約: 本稿では,Transformer と HowNet のセメム知識の融合に基づく協調型意味的一貫性認識手法を提案する。
BiLSTMは概念的意味情報をエンコードし、意味的一貫性を推測するために利用される。
- 参考スコア（独自算出の注目度）: 6.184249194474601
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Semantic consistency recognition aims to detect and judge whether the
semantics of two text sentences are consistent with each other. However, the
existing methods usually encounter the challenges of synonyms, polysemy and
difficulty to understand long text. To solve the above problems, this paper
proposes a co-driven semantic consistency recognition method based on the
fusion of Transformer and HowNet sememes knowledge. Multi-level encoding of
internal sentence structures via data-driven is carried out firstly by
Transformer, sememes knowledge base HowNet is introduced for knowledge-driven
to model the semantic knowledge association among sentence pairs. Then,
interactive attention calculation is carried out utilizing soft-attention and
fusion the knowledge with sememes matrix. Finally, bidirectional long
short-term memory network (BiLSTM) is exploited to encode the conceptual
semantic information and infer the semantic consistency. Experiments are
conducted on two financial text matching datasets (BQ, AFQMC) and a
cross-lingual adversarial dataset (PAWSX) for paraphrase identification.
Compared with lightweight models including DSSM, MwAN, DRCN, and pre-training
models such as ERNIE etc., the proposed model can not only improve the accuracy
of semantic consistency recognition effectively (by 2.19%, 5.57% and 6.51%
compared with the DSSM, MWAN and DRCN models on the BQ dataset), but also
reduce the number of model parameters (to about 16M). In addition, driven by
the HowNet sememes knowledge, the proposed method is promising to adapt to
scenarios with long text.
- Abstract（参考訳）: 意味的一貫性認識は、2つの文の意味が互いに一致しているかどうかを検知し、判断することを目的としている。
しかし、既存の手法は通常、同義語、多義語、長文理解の難しさといった課題に直面する。
そこで本稿では,Transformer と HowNet のセマンティック知識の融合に基づく,協調型セマンティック一貫性認識手法を提案する。
文ペア間の意味的知識関係をモデル化するために, セメム知識ベースであるハウネットを導入し, 内部文構造をデータ駆動でマルチレベル符号化する。
そして、ソフトアテンションを利用して対話的注意計算を行い、知識をセムマトリクスと融合させる。
最後に、双方向長期記憶ネットワーク(BiLSTM)を用いて、概念意味情報をエンコードし、意味的一貫性を推測する。
2つのファイナンシャルテキストマッチングデータセット(BQ, AFQMC)とパラフレーズ識別のための言語間敵対データセット(PAWSX)で実験を行った。
DSSM、MwAN、DRCNなどの軽量モデルやERNIEなどの事前学習モデルと比較して、提案モデルは意味整合性認識の精度を効果的に向上するだけでなく(BQデータセット上のDSSM、MWAN、DRCNモデルと比較して2.19%、5.57%、6.51%)、モデルのパラメータ(約16M)を減らすことができる。
さらに、hownet sememesの知識によって、提案手法は長いテキストのシナリオに適応することを約束している。
関連論文リスト
- Text-Video Retrieval with Global-Local Semantic Consistent Learning [122.15339128463715]
我々は,シンプルで効果的なグローバル局所意味的一貫性学習(GLSCL)を提案する。
GLSCLは、テキストビデオ検索のためのモダリティをまたいだ潜在共有セマンティクスを活用する。
本手法はSOTAと同等の性能を実現し,計算コストの約220倍の高速化を実現している。
論文 参考訳（メタデータ） (2024-05-21T11:59:36Z) - FLIP: Fine-grained Alignment between ID-based Models and Pretrained Language Models for CTR Prediction [49.510163437116645]
クリックスルーレート(CTR)予測は、パーソナライズされたオンラインサービスにおいてコア機能モジュールとして機能する。
CTR予測のための従来のIDベースのモデルは、表形式の1ホットエンコードされたID特徴を入力として取る。
事前訓練された言語モデル(PLM)は、テキストのモダリティの文を入力として取る別のパラダイムを生み出した。
本稿では,CTR予測のためのIDベースモデルと事前学習言語モデル(FLIP)間の細粒度特徴レベルのアライメントを提案する。
論文 参考訳（メタデータ） (2023-10-30T11:25:03Z) - Object Segmentation by Mining Cross-Modal Semantics [68.88086621181628]
マルチモーダル特徴の融合と復号を導くために,クロスモーダル・セマンティックスをマイニングする手法を提案する。
具体的には,(1)全周減衰核融合(AF),(2)粗大デコーダ(CFD),(3)多層自己超越からなる新しいネットワークXMSNetを提案する。
論文 参考訳（メタデータ） (2023-05-17T14:30:11Z) - SUN: Exploring Intrinsic Uncertainties in Text-to-SQL Parsers [61.48159785138462]
本稿では,ニューラルネットワークに基づくアプローチ(SUN)における本質的な不確かさを探索することにより,テキストから依存への変換性能を向上させることを目的とする。
5つのベンチマークデータセットの大規模な実験により、我々の手法は競合より大幅に優れ、新しい最先端の結果が得られた。
論文 参考訳（メタデータ） (2022-09-14T06:27:51Z) - Unsupervised Mismatch Localization in Cross-Modal Sequential Data [5.932046800902776]
我々は、コンテンツミスマッチしたクロスモーダルデータ間の関係を推測できる教師なし学習アルゴリズムを開発した。
本稿では,音声生成過程を階層的に構造化された潜在変数に分解する,ミスマッチ局所化変分自動符号化(ML-VAE)という階層型ベイズディープラーニングモデルを提案する。
実験の結果,ML-VAEは人間のアノテーションを必要とせず,テキストと音声のミスマッチの特定に成功した。
論文 参考訳（メタデータ） (2022-05-05T14:23:27Z) - Exploring Multi-Modal Representations for Ambiguity Detection &
Coreference Resolution in the SIMMC 2.0 Challenge [60.616313552585645]
会話型AIにおける効果的なあいまいさ検出と参照解決のためのモデルを提案する。
具体的には,TOD-BERTとLXMERTをベースとしたモデルを用いて,多数のベースラインと比較し,アブレーション実験を行う。
以上の結果から,(1)言語モデルでは曖昧さを検出するためにデータの相関を活用でき,(2)言語モデルではビジョンコンポーネントの必要性を回避できることがわかった。
論文 参考訳（メタデータ） (2022-02-25T12:10:02Z) - Explaining Neural Network Predictions on Sentence Pairs via Learning
Word-Group Masks [21.16662651409811]
入力テキストペアから相関語をグループ化して単語相関を暗黙的に検出するグループマスク(GMASK)手法を提案する。
提案手法は4つのデータセットにまたがる2つの異なるモデルアーキテクチャ (decomposable attention model と bert) を用いて評価した。
論文 参考訳（メタデータ） (2021-04-09T17:14:34Z) - Cascaded Semantic and Positional Self-Attention Network for Document
Classification [9.292885582770092]
ケースドセマンティクスと位置自己注意ネットワーク(CSPAN)を用いた2つの情報ソースを集約する新しいアーキテクチャを提案する。
CSPANは、Bi-LSTMにカスケードされたセマンティックセルフアテンション層を使用して、セマンティックおよび位置情報を逐次的に処理し、その後、残余接続を介してそれらを適応的に結合する。
CSPANモデルを用いて,文書分類用ベンチマークデータセットの評価を行い,その評価結果について検討した。
論文 参考訳（メタデータ） (2020-09-15T15:02:28Z) - Towards Accurate Scene Text Recognition with Semantic Reasoning Networks [52.86058031919856]
本稿では,シーンテキスト認識のための意味推論ネットワーク(SRN)という,エンドツーエンドのトレーニング可能な新しいフレームワークを提案する。
GSRMはマルチウェイ並列伝送によってグローバルセマンティックコンテキストをキャプチャするために導入された。
正規テキスト,不規則テキスト,非ラテン語長文を含む7つの公開ベンチマークの結果,提案手法の有効性とロバスト性を検証した。
論文 参考訳（メタデータ） (2020-03-27T09:19:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。