論文の概要: Advancing Semantic Textual Similarity Modeling: A Regression Framework with Translated ReLU and Smooth K2 Loss

• arxiv url: http://arxiv.org/abs/2406.05326v1
• Date: Sat, 8 Jun 2024 02:52:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-11 20:24:20.067251
• Title: Advancing Semantic Textual Similarity Modeling: A Regression Framework with Translated ReLU and Smooth K2 Loss
• Title（参考訳）: 意味的テキスト類似性モデリングの強化: 翻訳されたReLUと滑らかなK2損失を持つ回帰フレームワーク
• Authors: Bowen Zhang, Chunping Li,
• Abstract要約: 本稿では、革新的な回帰フレームワークを提案し、2つの単純かつ効果的な損失関数、Translated ReLUとSmooth K2 Lossを提案する。 本手法は,7つのSTSベンチマーク,特にタスク固有のトレーニングデータを補足した場合に,説得力のある性能を実現する。
• 参考スコア（独自算出の注目度）: 3.435381469869212
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Since the introduction of BERT and RoBERTa, research on Semantic Textual Similarity (STS) has made groundbreaking progress. Particularly, the adoption of contrastive learning has substantially elevated state-of-the-art performance across various STS benchmarks. However, contrastive learning categorizes text pairs as either semantically similar or dissimilar, failing to leverage fine-grained annotated information and necessitating large batch sizes to prevent model collapse. These constraints pose challenges for researchers engaged in STS tasks that require nuanced similarity levels or those with limited computational resources, compelling them to explore alternatives like Sentence-BERT. Nonetheless, Sentence-BERT tackles STS tasks from a classification perspective, overlooking the progressive nature of semantic relationships, which results in suboptimal performance. To bridge this gap, this paper presents an innovative regression framework and proposes two simple yet effective loss functions: Translated ReLU and Smooth K2 Loss. Experimental analyses demonstrate that our method achieves convincing performance across seven established STS benchmarks, especially when supplemented with task-specific training data.
• Abstract（参考訳）: BERTとRoBERTaの導入以来、セマンティックテキスト類似性(STS)の研究は画期的な進歩を遂げてきた。 特に、コントラスト学習の採用により、さまざまなSTSベンチマークで最先端のパフォーマンスが大幅に向上した。 しかし、対照的な学習は、テキストペアを意味論的に類似しているか、異種であると分類し、微粒な注釈付き情報を活用することができず、モデルの崩壊を防ぐために大規模なバッチサイズを必要とする。 これらの制約は、多くの類似度レベルや限られた計算資源を必要とするSTSタスクに携わる研究者や、Sentence-BERTのような代替品を探索するよう説得する研究者にとって課題となる。 それでもSentence-BERTは、分類の観点からSTSタスクに取り組み、セマンティックリレーションの進歩的な性質を見越して、最適以下のパフォーマンスをもたらす。 このギャップを埋めるため,本稿では,ReLUの翻訳とK2の平滑化という2つのシンプルかつ効果的な損失関数を提案する。 実験により,本手法は7つのSTSベンチマークにおいて,特にタスク固有のトレーニングデータを補足した場合に,説得力のある性能を達成できることが確認された。

関連論文リスト

• Enhancing Retrieval-Augmented LMs with a Two-stage Consistency Learning Compressor [4.35807211471107]
  本研究では,検索強化言語モデルにおける検索情報圧縮のための2段階一貫性学習手法を提案する。 提案手法は複数のデータセットにまたがって実験的に検証され,質問応答タスクの精度と効率が顕著に向上したことを示す。
  論文  参考訳（メタデータ） (2024-06-04T12:43:23Z)
• Towards Better Understanding of Contrastive Sentence Representation Learning: A Unified Paradigm for Gradient [20.37803751979975]
  文表現学習(SRL)は自然言語処理(NLP)において重要な課題である コントラスト型と非コントラスト型自己監督型学習(SSL)の類似性について多くの研究がなされている。 しかし、ランキングタスク(すなわち、SRLのセマンティックテキスト類似性(STS))では、対照的なSSLは非コントラストSSLを著しく上回っている。
  論文  参考訳（メタデータ） (2024-02-28T12:17:40Z)
• Synergistic Anchored Contrastive Pre-training for Few-Shot Relation Extraction [4.7220779071424985]
  Few-shot Relation extract (FSRE) は、ラベル付きコーパスのスパースセットから事実を抽出することを目的としている。 近年の研究では、事前学習言語モデルを用いたFSREの有望な結果が示されている。 本稿では,新しい相乗的アンカー付きコントラスト事前学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-19T10:16:24Z)
• How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
  テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。 その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。 多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-14T08:51:00Z)
• Sparse Contrastive Learning of Sentence Embeddings [10.251604958122506]
  SimCSEは、訓練文埋め込みにおけるコントラスト学習の可能性を示した。 従来の研究では、密度の高いモデルには、モデルの性能に影響を与える有害なパラメータが含まれていることが示されている。 文埋め込みの全体的な品質に対する各パラメータの寄与を測定するために,アライメントと均一度スコアを用いるパラメータスペーシフィケーションを提案する。
  論文  参考訳（メタデータ） (2023-11-07T10:54:45Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• Identical and Fraternal Twins: Fine-Grained Semantic Contrastive Learning of Sentence Representations [6.265789210037749]
  コントラスト学習フレームワークのIdentical Twins と Fraternal Twins を導入する。 また,提案したツインズ・ロスの有効性を証明するために,概念実証実験と対照的な目的を組み合わせる。
  論文  参考訳（メタデータ） (2023-07-20T15:02:42Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Adversarial Dual-Student with Differentiable Spatial Warping for Semi-Supervised Semantic Segmentation [70.2166826794421]
  本研究では、教師なしデータ拡張を行うために、微分可能な幾何ワープを提案する。 また,平均教師数を改善するために,新しい対角的二重学習フレームワークを提案する。 我々のソリューションは、両方のデータセットで得られるパフォーマンスと最先端の結果を大幅に改善します。
  論文  参考訳（メタデータ） (2022-03-05T17:36:17Z)
• SAIS: Supervising and Augmenting Intermediate Steps for Document-Level Relation Extraction [51.27558374091491]
  本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。 そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
  論文  参考訳（メタデータ） (2021-09-24T17:37:35Z)
• Revisiting LSTM Networks for Semi-Supervised Text Classification via Mixed Objective Function [106.69643619725652]
  我々は,単純なBiLSTMモデルであっても,クロスエントロピー損失でトレーニングした場合に,競争的な結果が得られるようなトレーニング戦略を開発する。 いくつかのベンチマークデータセット上で,テキスト分類タスクの最先端結果について報告する。
  論文  参考訳（メタデータ） (2020-09-08T21:55:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。