論文の概要: Pcc-tuning: Breaking the Contrastive Learning Ceiling in Semantic Textual Similarity
- arxiv url: http://arxiv.org/abs/2406.09790v2
- Date: Sun, 06 Oct 2024 12:41:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-08 13:39:45.627722
- Title: Pcc-tuning: Breaking the Contrastive Learning Ceiling in Semantic Textual Similarity
- Title(参考訳): Pcc-tuning:意味的テクスチャ類似性におけるコントラスト学習シーリングの破壊
- Authors: Bowen Zhang, Chunping Li,
- Abstract要約: センテンス表現法は,SentEval の 7 つの STS ベンチマークにおいて,平均 86 のスピアマン相関スコアに達した。
Pearsonの相関係数を損失関数として用いたPcc-tuningを提案する。
実験結果から, Pcc-tuning は, 微粒化アノテートを最小限に抑えながら, 従来の最先端戦略を著しく上回り得ることが示された。
- 参考スコア(独自算出の注目度): 3.435381469869212
- License:
- Abstract: Semantic Textual Similarity (STS) constitutes a critical research direction in computational linguistics and serves as a key indicator of the encoding capabilities of embedding models. Driven by advances in pre-trained language models and contrastive learning, leading sentence representation methods have reached an average Spearman's correlation score of approximately 86 across seven STS benchmarks in SentEval. However, further progress has become increasingly marginal, with no existing method attaining an average score higher than 86.5 on these tasks. This paper conducts an in-depth analysis of this phenomenon and concludes that the upper limit for Spearman's correlation scores under contrastive learning is 87.5. To transcend this ceiling, we propose an innovative approach termed Pcc-tuning, which employs Pearson's correlation coefficient as a loss function to refine model performance beyond contrastive learning. Experimental results demonstrate that Pcc-tuning can markedly surpass previous state-of-the-art strategies with only a minimal amount of fine-grained annotated samples.
- Abstract(参考訳): セマンティックテキスト類似性(STS)は、計算言語学において重要な研究方向を構成し、埋め込みモデルの符号化能力の重要な指標となっている。
事前訓練された言語モデルとコントラスト学習の進歩により、SentEvalの7つのSTSベンチマークにおいて、主文表現法は平均86の相関スコアに達した。
しかし、さらなる進歩は、これらのタスクにおける平均スコアが86.5以上に達するような既存の方法が存在しないように、ますます遠ざかっている。
本稿では,この現象の詳細な解析を行い,コントラスト学習におけるスピアマンの相関スコアの上限は87.5であることを示した。
この天井を超越するために,Pearsonの相関係数を損失関数として用いたPcc-tuning(Pcc-tuning)という革新的な手法を提案する。
実験結果から, Pcc-tuning は, 微粒化アノテートを最小限に抑えて, 従来の最先端戦略を著しく上回り得ることが示された。
関連論文リスト
- Evaluating Large Language Models Using Contrast Sets: An Experimental Approach [0.0]
本研究では,スタンフォード自然言語推論データセットのコントラストセットを生成する革新的な手法を提案する。
我々の戦略は、動詞、副詞、形容詞をその同義語と自動置換して、文の本来の意味を保存することである。
本手法は,モデルの性能が真の言語理解に基づくのか,それとも単にパターン認識に基づくのかを評価することを目的とする。
論文 参考訳(メタデータ) (2024-04-02T02:03:28Z) - Improving Language Models Meaning Understanding and Consistency by
Learning Conceptual Roles from Dictionary [65.268245109828]
現代事前訓練言語モデル(PLM)の非人間的行動は、その信頼性を損なう主要な原因である。
驚くべき現象は、矛盾した結果を生み出す不整合予測の生成である。
本研究では,PLMの認知度を向上させることで,一貫性のない行動問題を緩和する実践的アプローチを提案する。
論文 参考訳(メタデータ) (2023-10-24T06:15:15Z) - Parameter-Efficient Learning for Text-to-Speech Accent Adaptation [58.356667204518985]
本稿では、テキスト音声(TTS)のための低リソースアクセント適応を開発するためのパラメータ効率学習(PEL)を提案する。
冷凍前訓練TSモデルからの資源効率適応は、元のトレーニング可能なパラメータの1.2%から0.8%しか使用していない。
実験結果から,提案手法はパラメータ効率の高いデコーダの微調整により,自然度と競合できることがわかった。
論文 参考訳(メタデータ) (2023-05-18T22:02:59Z) - ProBoost: a Boosting Method for Probabilistic Classifiers [55.970609838687864]
ProBoostは確率的分類器のための新しいブースティングアルゴリズムである。
各トレーニングサンプルの不確実性を使用して、最も困難で不確実なものを決定する。
これは、最も不確実性が高いと判明したサンプルに徐々に焦点をあてる配列を生成する。
論文 参考訳(メタデータ) (2022-09-04T12:49:20Z) - A Cognitive Study on Semantic Similarity Analysis of Large Corpora: A
Transformer-based Approach [0.0]
我々は,従来の技術とトランスフォーマー技術の両方を用いて,米国特許法とPhrase Matchingデータセットのセマンティック類似性解析とモデリングを行う。
実験の結果,従来の手法と比較して手法の性能が向上し,平均ピアソン相関スコアは0.79。
論文 参考訳(メタデータ) (2022-07-24T11:06:56Z) - The Concordance Index decomposition: A measure for a deeper
understanding of survival prediction models [3.186455928607442]
Concordance Index (C-index) は、予測モデルの性能を評価するためにサバイバル分析で一般的に用いられる指標である。
そこで本研究では,C-インデックスを2種類の重み付き調和平均値に分解する手法を提案する。
論文 参考訳(メタデータ) (2022-02-28T23:50:47Z) - Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。
実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
論文 参考訳(メタデータ) (2021-12-10T20:46:13Z) - A comprehensive comparative evaluation and analysis of Distributional
Semantic Models [61.41800660636555]
我々は、静的DSMによって生成されたり、BERTによって生成された文脈化されたベクトルを平均化して得られるような、型分布ベクトルの包括的評価を行う。
その結果、予測ベースモデルの優越性は現実よりも明らかであり、ユビキタスではないことが明らかとなった。
我々は認知神経科学からRepresentational similarity Analysis(RSA)の方法論を借りて、分布モデルによって生成された意味空間を検査する。
論文 参考訳(メタデータ) (2021-05-20T15:18:06Z) - An Improved Baseline for Sentence-level Relation Extraction [17.50856935207308]
文レベルの関係抽出(RE)は文中の2つの実体間の関係を特定することを目的としている。
本稿では、エンティティ表現とNAインスタンス予測という、徹底的に研究されていないREモデルの2つの側面を再考する。
論文 参考訳(メタデータ) (2021-02-02T07:57:06Z) - BERT Loses Patience: Fast and Robust Inference with Early Exit [91.26199404912019]
本稿では,事前学習した言語モデルの効率性と堅牢性を向上させるためのプラグイン・アンド・プレイ手法として,Patience-based Early Exitを提案する。
提案手法では,モデルを少ないレイヤで予測できるため,推論効率が向上する。
論文 参考訳(メタデータ) (2020-06-07T13:38:32Z) - Scoring Graspability based on Grasp Regression for Better Grasp
Prediction [2.835565391455372]
現在の最先端の手法は、参照パラメータの把握に関してオフセットの回帰とともに、把握可能性スコアを共同で予測するように訓練されたディープニューラルネットワークに依存している。
本稿では、与えられた位置の把握可能性を評価するスコアラを備えた最先端ニューラルネットワークを拡張し、把握可能性スコアと把握可能性スコアの回帰を相関付ける新しい損失関数を提案する。
論文 参考訳(メタデータ) (2020-02-03T16:40:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。