論文の概要: Sentence Embeddings by Ensemble Distillation

• arxiv url: http://arxiv.org/abs/2104.06719v1
• Date: Wed, 14 Apr 2021 09:23:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-15 20:03:13.744975
• Title: Sentence Embeddings by Ensemble Distillation
• Title（参考訳）: アンサンブル蒸留による文埋め込み
• Authors: Fredrik Carlsson Magnus Sahlgren
• Abstract要約: 本論文は、意味的テキスト類似性(STS)のための新しい芸術の現状(SOTA)に貢献している。 我々は,最近提案されたSTSの文埋め込み法を比較し,組み合わせて,従来の手法を改良した,新しい簡単なアンサンブル知識蒸留法を提案する。 実験により,複数のアンサンブル学生から平均埋め込み空間を学習するために訓練されたモデルが,強靭性のある他のモデルよりも優れた性能を示した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper contributes a new State Of The Art (SOTA) for Semantic Textual Similarity (STS). We compare and combine a number of recently proposed sentence embedding methods for STS, and propose a novel and simple ensemble knowledge distillation scheme that improves on previous approaches. Our experiments demonstrate that a model trained to learn the average embedding space from multiple ensemble students outperforms all the other individual models with high robustness. Utilizing our distillation method in combination with previous methods, we significantly improve on the SOTA unsupervised STS, and by proper hyperparameter tuning of previous methods we improve the supervised SOTA scores.
• Abstract（参考訳）: 本稿では,Semantic Textual similarity (STS) のための新しい最先端技術 (SOTA) を提案する。 我々は,最近提案されたSTSの文埋め込み法を比較し,組み合わせて,従来の手法を改良した,新しい簡単なアンサンブル知識蒸留法を提案する。 実験により,複数のアンサンブル学生から平均埋め込み空間を学習するために訓練されたモデルが,強靭性のある他のモデルよりも優れた性能を示した。 蒸留法を従来の方法と組み合わせることで,SOTA非教師付きSTSを大幅に改善し,従来の方法の適切なハイパーパラメータチューニングにより,教師付きSOTAスコアを改善する。

関連論文リスト

• Sparse Orthogonal Parameters Tuning for Continual Learning [34.462967722928724]
  事前学習モデル(PTM)に基づく連続学習手法が近年注目されている。 本稿では,SoTU(Sparse Orthogonal Parameters TUning)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-11-05T05:19:09Z)
• Rotation Augmented Distillation for Exemplar-Free Class Incremental Learning with Detailed Analysis [3.4069627091757178]
  クラスインクリメンタルラーニング(CIL)は、インクリメンタルタスクに沿って、古いクラスと新しいクラスの両方を認識することを目的としている。 本稿では、古いクラスサンプルを保存しないExemplar-Free設定に焦点を当てる。 本稿では, 簡易なCIL法である回転拡張蒸留法(RAD)を提案する。
  論文  参考訳（メタデータ） (2023-08-29T11:51:27Z)
• Weighted Ensemble Self-Supervised Learning [67.24482854208783]
  組み立ては、モデルパフォーマンスを高めるための強力なテクニックであることが証明されている。 我々は,データ依存型重み付きクロスエントロピー損失を許容するフレームワークを開発した。 提案手法は、ImageNet-1K上での複数の評価指標において、両者に優れる。
  論文  参考訳（メタデータ） (2022-11-18T02:00:17Z)
• Unsupervised Sentence Textual Similarity with Compositional Phrase Semantics [8.729329792251578]
  テキスト類似度の測定(STS)は、多くのダウンストリームNLPアプリケーションに適用可能な古典的なタスクである。 本稿では、様々な領域で動作するが、最小限のデータと計算資源しか必要としない教師なしSTSに焦点を当てる。
  論文  参考訳（メタデータ） (2022-10-05T14:14:04Z)
• PromptBERT: Improving BERT Sentence Embeddings with Prompts [95.45347849834765]
  本稿では,トークン埋め込みのバイアスを低減し,元のBERT層をより効果的にするためのプロンプトベースの文埋め込み手法を提案する。 また,教師なし設定と教師なし設定とのパフォーマンスギャップを大幅に短縮するテンプレート認知技術により,教師なし学習の新たな目標を提案する。 我々の微調整手法は教師なし設定と教師なし設定の両方において最先端のSimCSEよりも優れている。
  論文  参考訳（メタデータ） (2022-01-12T06:54:21Z)
• Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
  そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。 実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
  論文  参考訳（メタデータ） (2021-12-10T20:46:13Z)
• The USYD-JD Speech Translation System for IWSLT 2021 [85.64797317290349]
  本稿では,シドニー大学とJDが共同でIWSLT 2021低リソース音声翻訳タスクを提出したことを述べる。 私たちは、公式に提供されたASRとMTデータセットでモデルをトレーニングしました。 翻訳性能の向上を目的として, バック翻訳, 知識蒸留, 多機能再構成, トランスダクティブファインタニングなど, 最新の効果的な手法について検討した。
  論文  参考訳（メタデータ） (2021-07-24T09:53:34Z)
• Sentence Embeddings using Supervised Contrastive Learning [0.0]
  教師付きコントラスト学習によって文埋め込みを構築する新しい手法を提案する。 SNLIデータ上のBERTを微調整し,教師付きクロスエントロピー損失と教師付きコントラスト損失を併用した。
  論文  参考訳（メタデータ） (2021-06-09T03:30:29Z)
• Obtaining Better Static Word Embeddings Using Contextual Embedding Models [53.86080627007695]
  提案手法はCBOWをベースとした簡易な蒸留法である。 副作用として、我々の手法は文脈的および静的な埋め込みの公正な比較を可能にする。
  論文  参考訳（メタデータ） (2021-06-08T12:59:32Z)
• UnitedQA: A Hybrid Approach for Open Domain Question Answering [70.54286377610953]
  最近の訓練済みのニューラル言語モデルに基づいて,抽出的および生成的読取能力を高めるために,新しい手法を適用した。 私たちのアプローチは、それぞれNaturalQuestionsとTriviaQAと正確な一致で、以前の最先端のモデルを3.3と2.7ポイント上回る。
  論文  参考訳（メタデータ） (2021-01-01T06:36:16Z)
• Ensemble Node Embeddings using Tensor Decomposition: A Case-Study on DeepWalk [14.693837823991565]
  我々はTenSemble2Vecと呼ばれる新しいアンサンブルノード埋め込み手法を提案する。 TenSemble2Vecは、異なるメソッドや異なるハイパーパラメータを持つ同じメソッドの補完情報を活用しています。 実世界のデータを用いたテストは,提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2020-08-17T23:56:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。