論文の概要: Batch-Softmax Contrastive Loss for Pairwise Sentence Scoring Tasks

• arxiv url: http://arxiv.org/abs/2110.15725v1
• Date: Sun, 10 Oct 2021 16:43:44 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-07 11:40:02.786854
• Title: Batch-Softmax Contrastive Loss for Pairwise Sentence Scoring Tasks
• Title（参考訳）: ペアワイズ文スコアリングタスクにおけるバッチソフトマックスコントラスト損失
• Authors: Anton Chernyavskiy, Dmitry Ilvovsky, Pavel Kalinin, Preslav Nakov
• Abstract要約: コンピュータビジョンにおいて、表現学習における対照的な損失の利用が顕著になり、自然言語処理(NLP)において注目されている。 そこで本研究では,大規模事前学習型トランスフォーマーモデルにバッチ・ソフトマックス・コントラスト・ロスを付与し,タスク固有文の組込み性を学習する手法について検討する。 実験結果から, 分類, ランキング, 回帰など, 多数のデータセットと一対の文スコアリングタスクに対して, 大幅な改善が得られた。
• 参考スコア（独自算出の注目度）: 15.446698301777086
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The use of contrastive loss for representation learning has become prominent in computer vision, and it is now getting attention in Natural Language Processing (NLP). Here, we explore the idea of using a batch-softmax contrastive loss when fine-tuning large-scale pre-trained transformer models to learn better task-specific sentence embeddings for pairwise sentence scoring tasks. We introduce and study a number of variations in the calculation of the loss as well as in the overall training procedure; in particular, we find that data shuffling can be quite important. Our experimental results show sizable improvements on a number of datasets and pairwise sentence scoring tasks including classification, ranking, and regression. Finally, we offer detailed analysis and discussion, which should be useful for researchers aiming to explore the utility of contrastive loss in NLP.
• Abstract（参考訳）: コンピュータビジョンにおいて、表現学習における対照的な損失の利用が顕著になり、自然言語処理(NLP)で注目されている。 本稿では,大規模事前学習トランスフォーマーモデルにおけるバッチソフトマックスのコントラスト損失を用いて,ペアワイズ文スコアリングタスクのタスク固有の文埋め込みを学習する。 我々は、損失の計算と総合的な訓練手順に様々なバリエーションを導入し、研究し、特に、データのシャッフルが極めて重要であることを発見した。 実験結果から, 分類, ランキング, 回帰など, 多数のデータセットと一対の文スコアリングタスクに対して, 大幅な改善が得られた。 最後に、NLPにおける対照的な損失の有用性を探究する研究者にとって有用な分析と議論を提供する。

関連論文リスト

• Gradient Descent Efficiency Index [0.0]
  本研究では,各イテレーションの有効性を定量化するために,新しい効率指標Ekを導入する。 提案した測定基準は、誤差の相対的変化と繰り返し間の損失関数の安定性の両方を考慮に入れている。 Ekは、機械学習アプリケーションにおける最適化アルゴリズムの選択とチューニングにおいて、より詳細な決定を導く可能性がある。
  論文  参考訳（メタデータ） (2024-10-25T10:22:22Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Random Linear Projections Loss for Hyperplane-Based Optimization in Neural Networks [22.348887008547653]
  この研究はRandom Linear Projections (RLP)損失を導入し、これはデータ内の幾何学的関係を利用してトレーニング効率を向上させる新しいアプローチである。 ベンチマークデータセットと合成例を用いて実施した経験的評価では、従来の損失関数でトレーニングされたニューラルネットワークは、従来の損失関数でトレーニングされたニューラルネットワークよりも優れていたことが示されている。
  論文  参考訳（メタデータ） (2023-11-21T05:22:39Z)
• Continual Contrastive Spoken Language Understanding [33.09005399967931]
  COCONUTは、経験リプレイとコントラスト学習の組み合わせに依存するクラスインクリメンタルラーニング(CIL)手法である。 我々は,COCONUTをデコーダ側で動作するメソッドと組み合わせることで,さらなるメトリクス改善を実現することを示す。
  論文  参考訳（メタデータ） (2023-10-04T10:09:12Z)
• SuSana Distancia is all you need: Enforcing class separability in metric learning via two novel distance-based loss functions for few-shot image classification [0.9236074230806579]
  本稿では,少数のデータ間のクラス内距離とクラス間距離を調べることで,埋め込みベクトルの重要性を考慮に入れた2つの損失関数を提案する。 以上の結果から,miniImagenNetベンチマークの精度は,他のメトリクスベースの数ショット学習手法に比べて2%向上した。
  論文  参考訳（メタデータ） (2023-05-15T23:12:09Z)
• Time Series Contrastive Learning with Information-Aware Augmentations [57.45139904366001]
  コントラスト学習の鍵となる要素は、いくつかの先行を示唆する適切な拡張を選択して、実現可能な正のサンプルを構築することである。 対照的な学習タスクやデータセットに意味のある時系列データの増大をどうやって見つけるかは、未解決の問題である。 本稿では,時系列表現学習のための最適な拡張を適応的に選択する情報認識拡張を用いた新しいコントラスト学習手法であるInfoTSを提案する。
  論文  参考訳（メタデータ） (2023-03-21T15:02:50Z)
• Improved Fine-tuning by Leveraging Pre-training Data: Theory and Practice [52.11183787786718]
  対象データに事前学習されたモデルを微調整することは、多くのディープラーニングアプリケーションで広く利用されている。 近年の研究では、スクラッチからのトレーニングが、この事前トレーニング戦略に比較して、最終的なパフォーマンスを示すことが実証されている。 本稿では,対象タスクの一般化を改善するために,事前学習データからサブセットを選択する新しい選択戦略を提案する。
  論文  参考訳（メタデータ） (2021-11-24T06:18:32Z)
• Mixing between the Cross Entropy and the Expectation Loss Terms [89.30385901335323]
  クロスエントロピー損失は、トレーニング中にサンプルを分類するのが難しくなる傾向にある。 最適化目標に期待損失を加えることで,ネットワークの精度が向上することを示す。 実験により,新しいトレーニングプロトコルにより,多様な分類領域における性能が向上することが示された。
  論文  参考訳（メタデータ） (2021-09-12T23:14:06Z)
• A Unified Framework of Surrogate Loss by Refactoring and Interpolation [65.60014616444623]
  勾配勾配を有する深層ネットワークのトレーニングにおいて,サロゲート損失を発生させる統一フレームワークUniLossを導入する。 3つのタスクと4つのデータセットに対するUniLossの有効性を検証する。
  論文  参考訳（メタデータ） (2020-07-27T21:16:51Z)
• Improving Multi-Turn Response Selection Models with Complementary Last-Utterance Selection by Instance Weighting [84.9716460244444]
  我々は、データリソース自体の根底にある相関を利用して、異なる種類の監視信号を導出することを検討する。 2つの公開データセットで広範な実験を行い、両方のデータセットで大幅に改善した。
  論文  参考訳（メタデータ） (2020-02-18T06:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。