論文の概要: Weakly Supervised Label Smoothing
- arxiv url: http://arxiv.org/abs/2012.08575v1
- Date: Tue, 15 Dec 2020 19:36:52 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-07 08:15:21.043755
- Title: Weakly Supervised Label Smoothing
- Title(参考訳): 弱教師付きラベル平滑化
- Authors: Gustavo Penha and Claudia Hauff
- Abstract要約: L2Rモデルに分類するニューラルラーニングの文脈において,広く使用されている正規化手法であるラベルスムージング(LS)について検討する。
ニューラルL2Rモデルの文脈におけるLSの研究に触発され、Weakly Supervised Label Smoothing(WSLS)と呼ばれる新しい技術を提案する。
- 参考スコア(独自算出の注目度): 15.05158252504978
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study Label Smoothing (LS), a widely used regularization technique, in the
context of neural learning to rank (L2R) models. LS combines the ground-truth
labels with a uniform distribution, encouraging the model to be less confident
in its predictions. We analyze the relationship between the non-relevant
documents-specifically how they are sampled-and the effectiveness of LS,
discussing how LS can be capturing "hidden similarity knowledge" between the
relevantand non-relevant document classes. We further analyze LS by testing if
a curriculum-learning approach, i.e., starting with LS and after anumber of
iterations using only ground-truth labels, is beneficial. Inspired by our
investigation of LS in the context of neural L2R models, we propose a novel
technique called Weakly Supervised Label Smoothing (WSLS) that takes advantage
of the retrieval scores of the negative sampled documents as a weak supervision
signal in the process of modifying the ground-truth labels. WSLS is simple to
implement, requiring no modification to the neural ranker architecture. Our
experiments across three retrieval tasks-passage retrieval, similar question
retrieval and conversation response ranking-show that WSLS for pointwise
BERT-based rankers leads to consistent effectiveness gains. The source code is
available at
https://anonymous.4open.science/r/dac85d48-6f71-4261-a7d8-040da6021c52/.
- Abstract(参考訳): ニューラルネットワークモデル(L2R)のランク付けにおいて,広く用いられている正規化手法であるラベル平滑化(LS)について検討した。
LSは、基底構造ラベルと均一な分布を組み合わせることで、予測に対する信頼性を低下させる。
本研究では,非関連文書のサンプリング方法とLSの有効性の関係を解析し,関連文書と非関連文書との「隠れ類似知識」をLSがどのように捉えているかについて議論する。
さらに、LSから始まるカリキュラム学習アプローチ、つまり、ゼロ・トゥルースラベルのみを用いて何回も繰り返していくことが有益かをテストすることで、LSをさらに分析する。
ニューラルl2rモデルの文脈におけるlsの研究に触発されて,本研究では,接地ラベルの修正過程において,負のサンプル文書の検索スコアを弱い監督信号として活用する,weakly supervised label smoothing (wsls) と呼ばれる新しい手法を提案する。
WSLSは実装が簡単で、ニューラルランサーアーキテクチャを変更する必要はない。
提案手法は,3つの検索タスク-パス検索,類似質問検索,会話応答ランキングの3つにまたがる実験により,ポイントワイドBERTによるランク付けにおけるWSLSが一貫した効率向上をもたらすことを示す。
ソースコードはhttps://anonymous.4open.science/r/dac85d48-6f71-4261-a7d8-040da6021c52/で入手できる。
関連論文リスト
- Latent space configuration for improved generalization in supervised
autoencoder neural networks [0.0]
所望のトポロジを持つLSを得るための2つの手法を提案する。
LS構成を知ることで、LSで類似度尺度を定義し、ラベルを予測したり、複数の入力に対して類似度を推定することができる。
提案手法を用いて衣服のテクスチャ分類を訓練したSAEは,細調整をせずに,LIP,Market1501,WildTrackのデータセットから見当たらないデータによく一般化することを示した。
論文 参考訳(メタデータ) (2024-02-13T13:25:51Z) - SSB: Simple but Strong Baseline for Boosting Performance of Open-Set
Semi-Supervised Learning [106.46648817126984]
本稿では,挑戦的で現実的なオープンセットSSL設定について検討する。
目標は、inlierを正しく分類し、outlierを検知することである。
信頼度の高い疑似ラベル付きデータを組み込むことで、不整合分類性能を大幅に改善できることが判明した。
論文 参考訳(メタデータ) (2023-11-17T15:14:40Z) - Are LSTMs Good Few-Shot Learners? [4.316506818580031]
2001年、Hochreiterらは、異なるタスクにまたがってバックプロパゲーションで訓練されたLSTMがメタラーニングを行うことができることを示した。
このアプローチを再検討し、現代の数ショットの学習ベンチマークでテストします。
LSTMは、単純な数ショットの正弦波回帰ベンチマークでMAMLよりも優れているが、予想されることに、より複雑な数ショット画像分類ベンチマークでは不足している。
論文 参考訳(メタデータ) (2023-10-22T00:16:30Z) - Pseudo-Labeling Based Practical Semi-Supervised Meta-Training for
Few-Shot Learning [125.98370880855579]
擬似ラベルベースメタラーニング(PLML)という,シンプルで効果的なメタトレーニングフレームワークを提案する。
まず、一般的な半教師付き学習(SSL)を用いて分類器を訓練し、ラベルなしデータの擬似ラベルを得る。
ラベル付きおよび擬似ラベル付きデータから数ショットのタスクを構築し、特徴の平滑化と雑音抑圧を伴う新しい微調整法を設計する。
論文 参考訳(メタデータ) (2022-07-14T10:53:53Z) - OpenLDN: Learning to Discover Novel Classes for Open-World
Semi-Supervised Learning [110.40285771431687]
半教師付き学習(SSL)は、教師付き学習のアノテーションボトルネックに対処する主要なアプローチの1つである。
最近のSSLメソッドは、ラベルなしデータの大規模なリポジトリを有効活用して、ラベル付きデータの小さなセットに依存しながら、パフォーマンスを向上させることができる。
この研究は、ペアワイズ類似度損失を利用して新しいクラスを発見するOpenLDNを導入している。
論文 参考訳(メタデータ) (2022-07-05T18:51:05Z) - ALASCA: Rethinking Label Smoothing for Deep Learning Under Label Noise [10.441880303257468]
サブCl-アシファイア(ALASCA)上でのアダプティブラーベル平滑化(Adaptive LAbel smoothing)という枠組みを提案する。
ラベル平滑化(LS)は暗黙のリプシッツ正則化(LR)を引き起こすことが示唆された。
これらの導出に基づいて、中間層に適応LRを実用的に適用するために、適応LS(ALS)をサブクラス化アーキテクチャに適用する。
論文 参考訳(メタデータ) (2022-06-15T03:37:51Z) - Self-supervised Learning is More Robust to Dataset Imbalance [65.84339596595383]
データセット不均衡下での自己教師型学習について検討する。
既製の自己教師型表現は、教師型表現よりもクラス不均衡に対してすでに堅牢である。
我々は、不均衡なデータセット上でSSL表現品質を一貫して改善する、再重み付け正規化手法を考案した。
論文 参考訳(メタデータ) (2021-10-11T06:29:56Z) - Trash to Treasure: Harvesting OOD Data with Cross-Modal Matching for
Open-Set Semi-Supervised Learning [101.28281124670647]
オープンセット半教師付き学習(Open-set SSL)では、ラベルなしデータにOOD(Out-of-distribution)サンプルを含む、難しいが実用的なシナリオを調査する。
我々は、OODデータの存在を効果的に活用し、特徴学習を増強する新しいトレーニングメカニズムを提案する。
我々のアプローチは、オープンセットSSLのパフォーマンスを大幅に向上させ、最先端技術よりも大きなマージンで性能を向上します。
論文 参考訳(メタデータ) (2021-08-12T09:14:44Z) - Understanding (Generalized) Label Smoothing when Learning with Noisy
Labels [57.37057235894054]
ラベルスムーシング(LS)は、ハードトレーニングラベルと一様分散ソフトラベルの両方の正の重み付け平均を使用する学習パラダイムである。
雑音ラベルを用いた学習において,一般化ラベル平滑化(GLS)の特性について理解する。
論文 参考訳(メタデータ) (2021-06-08T07:32:29Z) - Regularization via Adaptive Pairwise Label Smoothing [19.252319300590653]
本稿では Pairwise Label Smoothing (PLS) と呼ばれる新しいラベル平滑化手法を提案する。
クロスバリデーションサーチによって大域的に滑らかな分布質量を求める現在のLS法とは異なり、PSSはトレーニング中に各入力ペアの分布質量を自動的に学習する。
PLSはLSおよびベースラインモデルよりも有意に優れており,相対的分類誤差の最大30%を達成している。
論文 参考訳(メタデータ) (2020-12-02T22:08:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。