論文の概要: R$^2$-Net: Relation of Relation Learning Network for Sentence Semantic Matching

• arxiv url: http://arxiv.org/abs/2012.08920v1
• Date: Wed, 16 Dec 2020 13:11:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-04 12:56:59.562515
• Title: R$^2$-Net: Relation of Relation Learning Network for Sentence Semantic Matching
• Title（参考訳）: r$^2$-net:文意味マッチングのための関係学習ネットワークの関係性
• Authors: Kun Zhang, Le Wu, Guangyi Lv, Meng Wang, Enhong Chen, Shulan Ruan
• Abstract要約: 文意味マッチングのための関係学習ネットワーク(R2-Net)を提案する。 最初にBERTを使用して、グローバルな視点から入力文をエンコードします。 次に、cnnベースのエンコーダは、ローカルな視点からキーワードやフレーズ情報をキャプチャするように設計されている。 関係情報抽出にラベルを十分に活用するために,関係分類タスクの自己教師付き関係性を導入する。
• 参考スコア（独自算出の注目度）: 58.72111690643359
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sentence semantic matching is one of the fundamental tasks in natural language processing, which requires an agent to determine the semantic relation among input sentences. Recently, deep neural networks have achieved impressive performance in this area, especially BERT. Despite the effectiveness of these models, most of them treat output labels as meaningless one-hot vectors, underestimating the semantic information and guidance of relations that these labels reveal, especially for tasks with a small number of labels. To address this problem, we propose a Relation of Relation Learning Network (R2-Net) for sentence semantic matching. Specifically, we first employ BERT to encode the input sentences from a global perspective. Then a CNN-based encoder is designed to capture keywords and phrase information from a local perspective. To fully leverage labels for better relation information extraction, we introduce a self-supervised relation of relation classification task for guiding R2-Net to consider more about labels. Meanwhile, a triplet loss is employed to distinguish the intra-class and inter-class relations in a finer granularity. Empirical experiments on two sentence semantic matching tasks demonstrate the superiority of our proposed model. As a byproduct, we have released the codes to facilitate other researches.
• Abstract（参考訳）: 文の意味マッチングは自然言語処理における基本的なタスクの1つであり、エージェントは入力文間の意味関係を決定する必要がある。 近年、深層ニューラルネットワークはこの分野、特にBERTで顕著なパフォーマンスを達成している。 これらのモデルの有効性にもかかわらず、その多くは出力ラベルを意味のない1つのホットベクターとして扱い、それらのラベルが示す意味的情報や関係のガイダンスを過小評価している。 この問題を解決するために,文意味マッチングのための関係学習ネットワーク(R2-Net)を提案する。 具体的には、まずBERTを用いて、グローバルな視点から入力文を符号化する。 次に、cnnベースのエンコーダは、ローカルな視点からキーワードやフレーズ情報をキャプチャするように設計されている。 本稿では,関係情報の抽出にラベルを十分に活用するために,r2-netを誘導するための関係分類タスクの自己教師付き関係を導入する。 一方、より細かい粒度でクラス内およびクラス間関係を区別するために三重項損失が用いられる。 2文意味マッチングタスクの実証実験により,提案モデルの有効性が示された。 副産物として、我々は他の研究を促進するためのコードをリリースした。

関連論文リスト

• Multi-Label Classification for Implicit Discourse Relation Recognition [10.280148603465697]
  暗黙的な談話関係認識のための多言語分類フレームワークについて検討する。 本研究では,複数ラベルの分類手法が単一ラベルの予測性能を低下させないことを示す。
  論文  参考訳（メタデータ） (2024-06-06T19:37:25Z)
• NP$^2$L: Negative Pseudo Partial Labels Extraction for Graph Neural Networks [48.39834063008816]
  擬似ラベルはグラフニューラルネットワーク(GNN)で使われ、メッセージパッシングレベルでの学習を支援する。 本稿では,GNNにおいて擬似ラベルを使用する新しい手法を提案する。 本手法は,部分ラベルの重なりが無く,負のノード対関係として定義される場合,より正確であることを示す。
  論文  参考訳（メタデータ） (2023-10-02T11:13:59Z)
• Description-Enhanced Label Embedding Contrastive Learning for Text Classification [65.01077813330559]
  モデル学習プロセスにおける自己監督型学習(SSL)と新しい自己監督型関係関係(R2)分類タスクの設計 テキスト分類とR2分類を最適化対象として扱うテキスト分類のための関係学習ネットワーク(R2-Net)の関係について検討する。 ラベルセマンティックラーニングのためのマルチアスペクト記述を得るためのWordNetからの外部知識。
  論文  参考訳（メタデータ） (2023-06-15T02:19:34Z)
• Towards Unsupervised Recognition of Token-level Semantic Differences in Related Documents [61.63208012250885]
  意味的差異をトークンレベルの回帰タスクとして認識する。 マスク付き言語モデルに依存する3つの教師なしアプローチについて検討する。 その結果,単語アライメントと文レベルのコントラスト学習に基づくアプローチは,ゴールドラベルと強い相関関係があることが示唆された。
  論文  参考訳（メタデータ） (2023-05-22T17:58:04Z)
• Disambiguation of Company names via Deep Recurrent Networks [101.90357454833845]
  企業名文字列の埋め込みである教師付き学習を通じて,Siamese LSTM Network を抽出する手法を提案する。 私たちは、ラベル付けされるサンプルを優先するActive Learningアプローチが、より効率的な全体的な学習パイプラインをもたらす方法を分析します。
  論文  参考訳（メタデータ） (2023-03-07T15:07:57Z)
• Relational Sentence Embedding for Flexible Semantic Matching [86.21393054423355]
  文埋め込みの可能性を明らかにするための新しいパラダイムとして,文埋め込み(Sentence Embedding, RSE)を提案する。 RSEは文関係のモデル化に有効で柔軟性があり、一連の最先端の埋め込み手法より優れている。
  論文  参考訳（メタデータ） (2022-12-17T05:25:17Z)
• Group is better than individual: Exploiting Label Topologies and Label Relations for Joint Multiple Intent Detection and Slot Filling [39.76268402567324]
  我々は2種類のトポロジーを含む異種ラベルグラフ(HLG)を構築した。 ラベル相関を利用してセマンティック・ラベルの相互作用を強化する。 また,ラベルに依存しないデコード機構を提案し,デコードのためのラベル相関をさらに活用する。
  論文  参考訳（メタデータ） (2022-10-19T08:21:43Z)
• DEIM: An effective deep encoding and interaction model for sentence matching [0.0]
  本稿では,ディープエンコーディングとインタラクションに基づく文マッチング手法を提案する。 エンコーダ層では、1つの文を符号化する過程で他の文の情報を参照し、その後、アルゴリズムを用いて情報を融合する。 インタラクション層では、双方向の注意機構と自己注意機構を用いて深い意味情報を得る。
  論文  参考訳（メタデータ） (2022-03-20T07:59:42Z)
• DLDL: Dynamic Label Dictionary Learning via Hypergraph Regularization [17.34373273007931]
  ラベルなしデータに対するソフトラベル行列を生成するための動的ラベル辞書学習(DLDL)アルゴリズムを提案する。 具体的には、原データ、変換データ、ソフトラベル間の関係の整合性を維持するために、ハイパーグラフ多様体の正規化を用いる。
  論文  参考訳（メタデータ） (2020-10-23T14:07:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。