論文の概要: Comateformer: Combined Attention Transformer for Semantic Sentence Matching

• arxiv url: http://arxiv.org/abs/2412.07220v1
• Date: Tue, 10 Dec 2024 06:18:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-11 14:37:44.097915
• Title: Comateformer: Combined Attention Transformer for Semantic Sentence Matching
• Title（参考訳）: Comateformer:意味文マッチングのための複合注意変換器
• Authors: Bo Li, Di Liang, Zixin Zhang,
• Abstract要約: 本稿では,トランスフォーマーモデルに基づくコンバインド・アテンション・ネットワークという新しい意味文マッチングモデルを提案する。 Comateformer モデルでは,構成特性を持つ新しい変圧器を用いた準アテンション機構を設計する。 提案手法は,双対親和性スコアを計算する際の類似性と相似性(負親和性)の直感に基づく。
• 参考スコア（独自算出の注目度）: 11.746010399185437
• License:
• Abstract: The Transformer-based model have made significant strides in semantic matching tasks by capturing connections between phrase pairs. However, to assess the relevance of sentence pairs, it is insufficient to just examine the general similarity between the sentences. It is crucial to also consider the tiny subtleties that differentiate them from each other. Regrettably, attention softmax operations in transformers tend to miss these subtle differences. To this end, in this work, we propose a novel semantic sentence matching model named Combined Attention Network based on Transformer model (Comateformer). In Comateformer model, we design a novel transformer-based quasi-attention mechanism with compositional properties. Unlike traditional attention mechanisms that merely adjust the weights of input tokens, our proposed method learns how to combine, subtract, or resize specific vectors when building a representation. Moreover, our proposed approach builds on the intuition of similarity and dissimilarity (negative affinity) when calculating dual affinity scores. This allows for a more meaningful representation of relationships between sentences. To evaluate the performance of our proposed model, we conducted extensive experiments on ten public real-world datasets and robustness testing. Experimental results show that our method achieves consistent improvements.
• Abstract（参考訳）: Transformerベースのモデルでは、フレーズペア間の接続をキャプチャすることで、セマンティックマッチングタスクにおいて大きな進歩を遂げている。 しかし、文対の関連性を評価するためには、文間の一般的な類似性を調べるだけでは不十分である。 また、両者を区別する微妙な微妙さも考慮する必要がある。 ゆるやかなことに、変圧器のソフトマックス操作は、これらの微妙な違いを見逃す傾向がある。 そこで本研究では,トランスフォーマーモデル(Comateformer)に基づく,コンバインド・アテンション・ネットワークという新しい意味文マッチングモデルを提案する。 Comateformer モデルでは,構成特性を持つ新しい変圧器を用いた準アテンション機構を設計する。 入力トークンの重みを単に調整する従来の注意機構とは異なり、提案手法は表現を構築する際に特定のベクトルを結合、減算、縮小する方法を学ぶ。 さらに、本提案手法は、二重親和性スコアを計算する際の類似性と相似性(負親和性)の直感に基づいている。 これにより、文間の関係をより意味のある表現が可能になる。 提案モデルの性能を評価するために,10の公開実世界のデータセットとロバストネステストを行った。 実験結果から,本手法が一貫した改善を実現することが示された。

関連論文リスト

• Evaluating Semantic Variation in Text-to-Image Synthesis: A Causal Perspective [50.261681681643076]
  本稿では,SemVarEffectとSemVarBenchというベンチマークを用いて,テキスト・画像合成における入力のセマンティックな変化と出力の因果性を評価する。 本研究は,T2I合成コミュニティによるヒューマンインストラクション理解の探索を促進する効果的な評価枠組みを確立する。
  論文  参考訳（メタデータ） (2024-10-14T08:45:35Z)
• EulerFormer: Sequential User Behavior Modeling with Complex Vector Attention [88.45459681677369]
  複素ベクトル注意を持つ新しい変圧器変圧器(EulerFormer)を提案する。 意味的差と位置的差の両方を定式化するための統一的な理論的枠組みを提供する。 意味的変動に対してより堅牢であり、原理上はより上述の理論的性質を持つ。
  論文  参考訳（メタデータ） (2024-03-26T14:18:43Z)
• Probabilistic Transformer: A Probabilistic Dependency Model for Contextual Word Representation [52.270712965271656]
  本稿では,文脈表現の新しいモデルを提案する。 モデルのグラフは変換器に似ており、依存関係と自己意識の対応性がある。 実験により,本モデルが小型・中型データセットのトランスフォーマーと競合することを示す。
  論文  参考訳（メタデータ） (2023-11-26T06:56:02Z)
• Boosting the Performance of Transformer Architectures for Semantic Textual Similarity [0.0]
  セマンティックテキスト類似性ベンチマークのセマンティックテキスト類似性のためのトランスフォーマーアーキテクチャについて述べる。 BERT,RoBERTa,DeBERTaV3のクロスエンコーダをバイナリ分類タスクや回帰タスクとして利用して実験を行った。
  論文  参考訳（メタデータ） (2023-06-01T14:16:53Z)
• Dual Path Modeling for Semantic Matching by Perceiving Subtle Conflicts [14.563722352134949]
  トランスフォーマーベースの事前学習モデルではセマンティックマッチングが大幅に改善されている。 既存のモデルでは微妙な違いを捉える能力が不足している。 本稿では、微妙な違いを知覚するモデルの能力を高めるために、新しいデュアルパスモデリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-24T09:29:55Z)
• Relational Sentence Embedding for Flexible Semantic Matching [86.21393054423355]
  文埋め込みの可能性を明らかにするための新しいパラダイムとして,文埋め込み(Sentence Embedding, RSE)を提案する。 RSEは文関係のモデル化に有効で柔軟性があり、一連の最先端の埋め込み手法より優れている。
  論文  参考訳（メタデータ） (2022-12-17T05:25:17Z)
• A Cognitive Study on Semantic Similarity Analysis of Large Corpora: A Transformer-based Approach [0.0]
  我々は,従来の技術とトランスフォーマー技術の両方を用いて,米国特許法とPhrase Matchingデータセットのセマンティック類似性解析とモデリングを行う。 実験の結果,従来の手法と比較して手法の性能が向上し,平均ピアソン相関スコアは0.79。
  論文  参考訳（メタデータ） (2022-07-24T11:06:56Z)
• Paragraph-based Transformer Pre-training for Multi-Sentence Inference [99.59693674455582]
  マルチ候補推論タスクの微調整に使用する場合,一般的な事前学習型トランスフォーマーは性能が良くないことを示す。 次に、複数の入力文にまたがる段落レベルの意味をモデル化する新しい事前学習目標を提案する。
  論文  参考訳（メタデータ） (2022-05-02T21:41:14Z)
• Transformer-F: A Transformer network with effective methods for learning universal sentence representation [8.225067988604351]
  Transformerモデルは、自然言語処理で文表現に広く使われている。 本稿では,トランスフォーマーの性能向上のための2つの手法を提案する。
  論文  参考訳（メタデータ） (2021-07-02T03:20:11Z)
• Prototypical Representation Learning for Relation Extraction [56.501332067073065]
  本論文では, 遠隔ラベルデータから予測可能, 解釈可能, 堅牢な関係表現を学習することを目的とする。 文脈情報から各関係のプロトタイプを学習し,関係の本質的意味を最善に探求する。 いくつかの関係学習タスクの結果,本モデルが従来の関係モデルを大きく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-03-22T08:11:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。