論文の概要: Pcc-tuning: Breaking the Contrastive Learning Ceiling in Semantic Textual Similarity

• arxiv url: http://arxiv.org/abs/2406.09790v2
• Date: Sun, 06 Oct 2024 12:41:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-08 13:39:45.627722
• Title: Pcc-tuning: Breaking the Contrastive Learning Ceiling in Semantic Textual Similarity
• Title（参考訳）: Pcc-tuning:意味的テクスチャ類似性におけるコントラスト学習シーリングの破壊
• Authors: Bowen Zhang, Chunping Li,
• Abstract要約: センテンス表現法は,SentEval の 7 つの STS ベンチマークにおいて,平均 86 のスピアマン相関スコアに達した。 Pearsonの相関係数を損失関数として用いたPcc-tuningを提案する。 実験結果から, Pcc-tuning は, 微粒化アノテートを最小限に抑えながら, 従来の最先端戦略を著しく上回り得ることが示された。
• 参考スコア（独自算出の注目度）: 3.435381469869212
• License:
• Abstract: Semantic Textual Similarity (STS) constitutes a critical research direction in computational linguistics and serves as a key indicator of the encoding capabilities of embedding models. Driven by advances in pre-trained language models and contrastive learning, leading sentence representation methods have reached an average Spearman's correlation score of approximately 86 across seven STS benchmarks in SentEval. However, further progress has become increasingly marginal, with no existing method attaining an average score higher than 86.5 on these tasks. This paper conducts an in-depth analysis of this phenomenon and concludes that the upper limit for Spearman's correlation scores under contrastive learning is 87.5. To transcend this ceiling, we propose an innovative approach termed Pcc-tuning, which employs Pearson's correlation coefficient as a loss function to refine model performance beyond contrastive learning. Experimental results demonstrate that Pcc-tuning can markedly surpass previous state-of-the-art strategies with only a minimal amount of fine-grained annotated samples.
• Abstract（参考訳）: セマンティックテキスト類似性(STS)は、計算言語学において重要な研究方向を構成し、埋め込みモデルの符号化能力の重要な指標となっている。 事前訓練された言語モデルとコントラスト学習の進歩により、SentEvalの7つのSTSベンチマークにおいて、主文表現法は平均86の相関スコアに達した。 しかし、さらなる進歩は、これらのタスクにおける平均スコアが86.5以上に達するような既存の方法が存在しないように、ますます遠ざかっている。 本稿では,この現象の詳細な解析を行い,コントラスト学習におけるスピアマンの相関スコアの上限は87.5であることを示した。 この天井を超越するために,Pearsonの相関係数を損失関数として用いたPcc-tuning(Pcc-tuning)という革新的な手法を提案する。 実験結果から, Pcc-tuning は, 微粒化アノテートを最小限に抑えて, 従来の最先端戦略を著しく上回り得ることが示された。

関連論文リスト

• Advancing Semantic Textual Similarity Modeling: A Regression Framework with Translated ReLU and Smooth K2 Loss [3.435381469869212]
  本稿では,Sentence-BERT STSタスクのための革新的な回帰フレームワークを提案する。 これは2つの単純で効果的な損失関数、Translated ReLUとSmooth K2 Lossを提案する。 実験結果から,本手法は7つのSTSベンチマークにおいて有意な性能を達成できることが示された。
  論文  参考訳（メタデータ） (2024-06-08T02:52:43Z)
• A Probabilistic Approach for Alignment with Human Comparisons [7.6656660956453635]
  本稿では,騒音データと高次元モデルから生じる制約に対処するために,人間の比較を効果的に活用することを検討する。 本稿では,機械学習と人間のフィードバックを結びつける2段階の"Supervised Fine Tuning+Human Comparison"(SFT+HC)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-16T02:19:21Z)
• The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
  本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。 私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。 この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
  論文  参考訳（メタデータ） (2023-09-20T10:31:17Z)
• ProBoost: a Boosting Method for Probabilistic Classifiers [55.970609838687864]
  ProBoostは確率的分類器のための新しいブースティングアルゴリズムである。 各トレーニングサンプルの不確実性を使用して、最も困難で不確実なものを決定する。 これは、最も不確実性が高いと判明したサンプルに徐々に焦点をあてる配列を生成する。
  論文  参考訳（メタデータ） (2022-09-04T12:49:20Z)
• The Concordance Index decomposition: A measure for a deeper understanding of survival prediction models [3.186455928607442]
  Concordance Index (C-index) は、予測モデルの性能を評価するためにサバイバル分析で一般的に用いられる指標である。 そこで本研究では,C-インデックスを2種類の重み付き調和平均値に分解する手法を提案する。
  論文  参考訳（メタデータ） (2022-02-28T23:50:47Z)
• Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
  そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。 実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
  論文  参考訳（メタデータ） (2021-12-10T20:46:13Z)
• NoiER: An Approach for Training more Reliable Fine-TunedDownstream Task Models [54.184609286094044]
  補助モデルと付加データなしで問題を解くための学習パラダイムとして,ノイズエントロピー正規化(NoiER)を提案する。 提案手法は,従来の微調整モデルと比較して平均55%改善した。
  論文  参考訳（メタデータ） (2021-08-29T06:58:28Z)
• A comprehensive comparative evaluation and analysis of Distributional Semantic Models [61.41800660636555]
  我々は、静的DSMによって生成されたり、BERTによって生成された文脈化されたベクトルを平均化して得られるような、型分布ベクトルの包括的評価を行う。 その結果、予測ベースモデルの優越性は現実よりも明らかであり、ユビキタスではないことが明らかとなった。 我々は認知神経科学からRepresentational similarity Analysis(RSA)の方法論を借りて、分布モデルによって生成された意味空間を検査する。
  論文  参考訳（メタデータ） (2021-05-20T15:18:06Z)
• An Improved Baseline for Sentence-level Relation Extraction [17.50856935207308]
  文レベルの関係抽出(RE)は文中の2つの実体間の関係を特定することを目的としている。 本稿では、エンティティ表現とNAインスタンス予測という、徹底的に研究されていないREモデルの2つの側面を再考する。
  論文  参考訳（メタデータ） (2021-02-02T07:57:06Z)
• BERT Loses Patience: Fast and Robust Inference with Early Exit [91.26199404912019]
  本稿では,事前学習した言語モデルの効率性と堅牢性を向上させるためのプラグイン・アンド・プレイ手法として,Patience-based Early Exitを提案する。 提案手法では,モデルを少ないレイヤで予測できるため,推論効率が向上する。
  論文  参考訳（メタデータ） (2020-06-07T13:38:32Z)
• Scoring Graspability based on Grasp Regression for Better Grasp Prediction [2.835565391455372]
  現在の最先端の手法は、参照パラメータの把握に関してオフセットの回帰とともに、把握可能性スコアを共同で予測するように訓練されたディープニューラルネットワークに依存している。 本稿では、与えられた位置の把握可能性を評価するスコアラを備えた最先端ニューラルネットワークを拡張し、把握可能性スコアと把握可能性スコアの回帰を相関付ける新しい損失関数を提案する。
  論文  参考訳（メタデータ） (2020-02-03T16:40:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。