論文の概要: 2-Tier SimCSE: Elevating BERT for Robust Sentence Embeddings

• arxiv url: http://arxiv.org/abs/2501.13758v1
• Date: Thu, 23 Jan 2025 15:36:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-24 15:59:48.340890
• Title: 2-Tier SimCSE: Elevating BERT for Robust Sentence Embeddings
• Title（参考訳）: 2-Tier SimCSE:ロバストな文埋め込みのためのBERTの上昇
• Authors: Yumeng Wang, Ziran Zhou, Junjin Wang,
• Abstract要約: 我々は、感情分析、意味的テキスト類似性(STS)、パラフレーズ検出のためのminBERTモデルを微調整するために、SimCSE(Simple Contrastive Learning of Sentence Embeddings)を適用した。 私たちの貢献は、オーバーフィッティングに取り組むために、標準ドロップアウト、カリキュラムドロップアウト、適応ドロップアウトという3つの異なるドロップアウトテクニックの実験を含む。 これらの結果から,SimCSEの有効性が示され,STSタスクにおいて2-Tierモデルの方が優れた性能を示し,平均テストスコアは0.742であった。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Effective sentence embeddings that capture semantic nuances and generalize well across diverse contexts are crucial for natural language processing tasks. We address this challenge by applying SimCSE (Simple Contrastive Learning of Sentence Embeddings) using contrastive learning to fine-tune the minBERT model for sentiment analysis, semantic textual similarity (STS), and paraphrase detection. Our contributions include experimenting with three different dropout techniques, namely standard dropout, curriculum dropout, and adaptive dropout, to tackle overfitting, proposing a novel 2-Tier SimCSE Fine-tuning Model that combines both unsupervised and supervised SimCSE on STS task, and exploring transfer learning potential for Paraphrase and SST tasks. Our findings demonstrate the effectiveness of SimCSE, with the 2-Tier model achieving superior performance on the STS task, with an average test score of 0.742 across all three downstream tasks. The results of error analysis reveals challenges in handling complex sentiments and reliance on lexical overlap for paraphrase detection, highlighting areas for future research. The ablation study revealed that removing Adaptive Dropout in the Single-Task Unsupervised SimCSE Model led to improved performance on the STS task, indicating overfitting due to added parameters. Transfer learning from SimCSE models on Paraphrase and SST tasks did not enhance performance, suggesting limited transferability of knowledge from the STS task.
• Abstract（参考訳）: 意味的ニュアンスをキャプチャし、様々な文脈でうまく一般化する効果的な文埋め込みは、自然言語処理タスクに不可欠である。 我々は,感情分析,意味的テキスト類似性(STS),パラフレーズ検出のためのminBERTモデルを微調整するために,コントラスト学習を用いたSimCSE(Simple Contrastive Learning of Sentence Embeddings)を適用することで,この問題に対処する。 コントリビューションには、標準ドロップアウト、カリキュラムドロップアウト、適応ドロップアウトという3つの異なるドロップアウト手法の実験、オーバーフィッティングに取り組むこと、STSタスクにおける教師なしと教師なしのSimCSEを組み合わせた2階層のSimCSEファインチューニングモデルの提案、ParaphraseタスクとSSTタスクのトランスファー学習の可能性の探求などが含まれる。 これらの結果から,SimCSEの有効性が示され,STSタスクにおいて2-Tierモデルの方が優れた性能を示し,下流3タスクの平均テストスコアは0.742であった。 誤り解析の結果、複雑な感情を扱う上での課題と、語彙重なりによるパラフレーズ検出の課題が明らかとなり、今後の研究分野が注目される。 アブレーション研究では、シングルタスク非教師型SimCSEモデルで適応ドロップアウトを除去することでSTSタスクのパフォーマンスが向上し、パラメータの追加によるオーバーフィットが示唆された。 パラフレーズおよびSSTタスク上のSimCSEモデルからの伝達学習は性能を向上せず、STSタスクからの知識の伝達可能性の制限が示唆された。

関連論文リスト

• The Surprising Effectiveness of Test-Time Training for Abstract Reasoning [64.36534512742736]
  モデル推論能力向上のためのメカニズムとして,テストタイムトレーニング(TTT)の有効性を検討する。 TTTはARCタスクのパフォーマンスを大幅に改善し、ベースとなる微調整モデルと比較して最大6倍の精度向上を実現した。 本研究は,ニューラルネットワークモデルにおける抽象的推論改善の道筋として,明示的な記号探索が唯一の道ではないことを示唆している。
  論文  参考訳（メタデータ） (2024-11-11T18:59:45Z)
• Re-TASK: Revisiting LLM Tasks from Capability, Skill, and Knowledge Perspectives [54.14429346914995]
  CoT (Chain-of-Thought) は複雑な問題を解決する重要な方法となっている。 大規模言語モデル(LLM)はドメイン固有のタスクを正確に分解するのに苦労することが多い。 本稿では,LLMタスクを能力,スキル,知識の観点から再検討する理論モデルであるRe-TASKフレームワークを紹介する。
  論文  参考訳（メタデータ） (2024-08-13T13:58:23Z)
• ACTRESS: Active Retraining for Semi-supervised Visual Grounding [52.08834188447851]
  前回の研究であるRefTeacherは、疑似自信と注意に基づく監督を提供するために教師学生の枠組みを採用することで、この課題に取り組むための最初の試みである。 このアプローチは、Transformerベースのパイプラインに従う現在の最先端のビジュアルグラウンドモデルと互換性がない。 本稿では, ACTRESS を略したセミスーパービジョン視覚グラウンドのためのアクティブ・リトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-07-03T16:33:31Z)
• Advancing Semantic Textual Similarity Modeling: A Regression Framework with Translated ReLU and Smooth K2 Loss [3.435381469869212]
  本稿では,Sentence-BERT STSタスクのための革新的な回帰フレームワークを提案する。 これは2つの単純で効果的な損失関数、Translated ReLUとSmooth K2 Lossを提案する。 実験結果から,本手法は7つのSTSベンチマークにおいて有意な性能を達成できることが示された。
  論文  参考訳（メタデータ） (2024-06-08T02:52:43Z)
• MARS: Benchmarking the Metaphysical Reasoning Abilities of Language Models with a Multi-task Evaluation Dataset [50.36095192314595]
  大きな言語モデル(LLM)は、一般化可能な推論能力を持つ意識的なエージェントとして機能する。 この能力は、イベントにおける無限の可能な変更をモデル化する複雑さのために、まだ探索されていない。 我々は,各ステップに対応する3つのタスクからなる最初のベンチマークMARSを紹介する。
  論文  参考訳（メタデータ） (2024-06-04T08:35:04Z)
• Towards Better Understanding of Contrastive Sentence Representation Learning: A Unified Paradigm for Gradient [20.37803751979975]
  文表現学習(SRL)は自然言語処理(NLP)において重要な課題である コントラスト型と非コントラスト型自己監督型学習(SSL)の類似性について多くの研究がなされている。 しかし、ランキングタスク(すなわち、SRLのセマンティックテキスト類似性(STS))では、対照的なSSLは非コントラストSSLを著しく上回っている。
  論文  参考訳（メタデータ） (2024-02-28T12:17:40Z)
• Sparse Contrastive Learning of Sentence Embeddings [10.251604958122506]
  SimCSEは、訓練文埋め込みにおけるコントラスト学習の可能性を示した。 従来の研究では、密度の高いモデルには、モデルの性能に影響を与える有害なパラメータが含まれていることが示されている。 文埋め込みの全体的な品質に対する各パラメータの寄与を測定するために,アライメントと均一度スコアを用いるパラメータスペーシフィケーションを提案する。
  論文  参考訳（メタデータ） (2023-11-07T10:54:45Z)
• Rethinking and Improving Multi-task Learning for End-to-end Speech Translation [51.713683037303035]
  異なる時間とモジュールを考慮したタスク間の整合性について検討する。 テキストエンコーダは、主にクロスモーダル変換を容易にするが、音声におけるノイズの存在は、テキストと音声表現の一貫性を妨げる。 長さと表現の差を軽減し,モーダルギャップを橋渡しする,STタスクのための改良型マルチタスク学習(IMTL)手法を提案する。
  論文  参考訳（メタデータ） (2023-11-07T08:48:46Z)
• Improving Contrastive Learning of Sentence Embeddings with Focal-InfoNCE [13.494159547236425]
  本研究では、SimCSEとハードネガティブマイニングを組み合わせた教師なしのコントラスト学習フレームワークを提案する。 提案した焦点情報処理関数は、対照的な目的に自己対応変調項を導入し、容易な負に関連付けられた損失を減らし、強負に焦点を絞ったモデルを促進する。
  論文  参考訳（メタデータ） (2023-10-10T18:15:24Z)
• TRACE: A Comprehensive Benchmark for Continual Learning in Large Language Models [52.734140807634624]
  調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。 既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。 LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
  論文  参考訳（メタデータ） (2023-10-10T16:38:49Z)
• Breakpoint Transformers for Modeling and Tracking Intermediate Beliefs [37.754787051387034]
  本稿では,ブレークポイントモデリングと呼ばれる表現学習フレームワークを提案する。 私たちのアプローチは、中間表現を構築するために、効率的でエンドツーエンドの方法でモデルをトレーニングします。 我々は,従来の表現学習手法よりも,T5に基づく主要なブレークポイント変換器の利点を示す。
  論文  参考訳（メタデータ） (2022-11-15T07:28:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。