Fugu-MT 論文翻訳(概要): Pcc-tuning: Breaking the Contrastive Learning Ceiling in Semantic Textual Similarity

論文の概要: Pcc-tuning: Breaking the Contrastive Learning Ceiling in Semantic Textual Similarity

arxiv url: http://arxiv.org/abs/2406.09790v1
Date: Fri, 14 Jun 2024 07:40:07 GMT
ステータス: 処理完了
システム内更新日: 2024-06-17 14:44:14.229186
Title: Pcc-tuning: Breaking the Contrastive Learning Ceiling in Semantic Textual Similarity
Title（参考訳）: Pcc-tuning:意味的テクスチャ類似性におけるコントラスト学習シーリングの破壊
Authors: Bowen Zhang, Chunping Li,
Abstract要約: 本稿では,コントラスト学習を用いて,スピアマンの相関スコアの詳細な分析を行う。本稿では、Pearsonの相関係数を損失関数として用いてモデル性能を改良するPcc-tuningという革新的な手法を提案する。実験の結果, Pcc-tuningは従来の最先端戦略を著しく上回り, スピアマン相関スコアは90。
参考スコア（独自算出の注目度）: 3.435381469869212
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Semantic Textual Similarity (STS) constitutes a critical research direction in computational linguistics and serves as a key indicator of the encoding capabilities of embedding models. Driven by advances in pre-trained language models and contrastive learning techniques, leading sentence representation methods can already achieved average Spearman's correlation scores of approximately 86 across seven STS benchmarks in SentEval. However, further improvements have become increasingly marginal, with no existing method attaining an average score higher than 87 on these tasks. This paper conducts an in-depth analysis of this phenomenon and concludes that the upper limit for Spearman's correlation scores using contrastive learning is 87.5. To transcend this ceiling, we propose an innovative approach termed Pcc-tuning, which employs Pearson's correlation coefficient as a loss function to refine model performance beyond contrastive learning. Experimental results demonstrate that Pcc-tuning markedly surpasses previous state-of-the-art strategies, raising the Spearman's correlation score to above 90.
Abstract（参考訳）: セマンティックテキスト類似性(STS)は、計算言語学において重要な研究方向であり、埋め込みモデルの符号化能力の重要な指標である。事前訓練された言語モデルとコントラスト学習技術の進歩により、SentEvalの7つのSTSベンチマークにおいて、リード文表現法は平均86の相関スコアを達成できる。しかし、これらのタスクで平均87点以上のスコアを得る方法が存在しないため、さらなる改善はますます遠ざかっている。本稿では,この現象の詳細な解析を行い,コントラスト学習を用いたスピアマン相関スコアの上限が87.5であることを示す。この天井を超越するために,Pearsonの相関係数を損失関数として用いたPcc-tuning(Pcc-tuning)という革新的な手法を提案する。実験の結果, Pcc-tuningは従来の最先端戦略を著しく上回り, スピアマン相関スコアは90。

関連論文リスト

SASWISE-UE: Segmentation and Synthesis with Interpretable Scalable Ensembles for Uncertainty Estimation [6.082812294410541]
本稿では,医療深層学習モデルの解釈性向上を目的とした,効率的なサブモデルアンサンブルフレームワークを提案する。不確実性マップを生成することにより、エンドユーザーがモデル出力の信頼性を評価することができる。
論文参考訳（メタデータ） (2024-11-08T04:37:55Z)
Advancing Semantic Textual Similarity Modeling: A Regression Framework with Translated ReLU and Smooth K2 Loss [3.435381469869212]
本稿では,Sentence-BERT STSタスクのための革新的な回帰フレームワークを提案する。これは2つの単純で効果的な損失関数、Translated ReLUとSmooth K2 Lossを提案する。実験結果から,本手法は7つのSTSベンチマークにおいて有意な性能を達成できることが示された。
論文参考訳（メタデータ） (2024-06-08T02:52:43Z)
A Probabilistic Approach for Alignment with Human Comparisons [7.6656660956453635]
本稿では,騒音データと高次元モデルから生じる制約に対処するために,人間の比較を効果的に活用することを検討する。本稿では,機械学習と人間のフィードバックを結びつける2段階の"Supervised Fine Tuning+Human Comparison"(SFT+HC)フレームワークを提案する。
論文参考訳（メタデータ） (2024-03-16T02:19:21Z)
The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
論文参考訳（メタデータ） (2023-09-20T10:31:17Z)
ProBoost: a Boosting Method for Probabilistic Classifiers [55.970609838687864]
ProBoostは確率的分類器のための新しいブースティングアルゴリズムである。各トレーニングサンプルの不確実性を使用して、最も困難で不確実なものを決定する。これは、最も不確実性が高いと判明したサンプルに徐々に焦点をあてる配列を生成する。
論文参考訳（メタデータ） (2022-09-04T12:49:20Z)
The Concordance Index decomposition: A measure for a deeper understanding of survival prediction models [3.186455928607442]
Concordance Index (C-index) は、予測モデルの性能を評価するためにサバイバル分析で一般的に用いられる指標である。そこで本研究では,C-インデックスを2種類の重み付き調和平均値に分解する手法を提案する。
論文参考訳（メタデータ） (2022-02-28T23:50:47Z)
Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
論文参考訳（メタデータ） (2021-12-10T20:46:13Z)
NoiER: An Approach for Training more Reliable Fine-TunedDownstream Task Models [54.184609286094044]
補助モデルと付加データなしで問題を解くための学習パラダイムとして,ノイズエントロピー正規化(NoiER)を提案する。提案手法は,従来の微調整モデルと比較して平均55%改善した。
論文参考訳（メタデータ） (2021-08-29T06:58:28Z)
A comprehensive comparative evaluation and analysis of Distributional Semantic Models [61.41800660636555]
我々は、静的DSMによって生成されたり、BERTによって生成された文脈化されたベクトルを平均化して得られるような、型分布ベクトルの包括的評価を行う。その結果、予測ベースモデルの優越性は現実よりも明らかであり、ユビキタスではないことが明らかとなった。我々は認知神経科学からRepresentational similarity Analysis(RSA)の方法論を借りて、分布モデルによって生成された意味空間を検査する。
論文参考訳（メタデータ） (2021-05-20T15:18:06Z)
An Improved Baseline for Sentence-level Relation Extraction [17.50856935207308]
文レベルの関係抽出(RE)は文中の2つの実体間の関係を特定することを目的としている。本稿では、エンティティ表現とNAインスタンス予測という、徹底的に研究されていないREモデルの2つの側面を再考する。
論文参考訳（メタデータ） (2021-02-02T07:57:06Z)
BERT Loses Patience: Fast and Robust Inference with Early Exit [91.26199404912019]
本稿では,事前学習した言語モデルの効率性と堅牢性を向上させるためのプラグイン・アンド・プレイ手法として,Patience-based Early Exitを提案する。提案手法では,モデルを少ないレイヤで予測できるため,推論効率が向上する。
論文参考訳（メタデータ） (2020-06-07T13:38:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。