論文の概要: Weakly Supervised Label Smoothing

• arxiv url: http://arxiv.org/abs/2012.08575v1
• Date: Tue, 15 Dec 2020 19:36:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-07 08:15:21.043755
• Title: Weakly Supervised Label Smoothing
• Title（参考訳）: 弱教師付きラベル平滑化
• Authors: Gustavo Penha and Claudia Hauff
• Abstract要約: L2Rモデルに分類するニューラルラーニングの文脈において,広く使用されている正規化手法であるラベルスムージング(LS)について検討する。 ニューラルL2Rモデルの文脈におけるLSの研究に触発され、Weakly Supervised Label Smoothing(WSLS)と呼ばれる新しい技術を提案する。
• 参考スコア（独自算出の注目度）: 15.05158252504978
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study Label Smoothing (LS), a widely used regularization technique, in the context of neural learning to rank (L2R) models. LS combines the ground-truth labels with a uniform distribution, encouraging the model to be less confident in its predictions. We analyze the relationship between the non-relevant documents-specifically how they are sampled-and the effectiveness of LS, discussing how LS can be capturing "hidden similarity knowledge" between the relevantand non-relevant document classes. We further analyze LS by testing if a curriculum-learning approach, i.e., starting with LS and after anumber of iterations using only ground-truth labels, is beneficial. Inspired by our investigation of LS in the context of neural L2R models, we propose a novel technique called Weakly Supervised Label Smoothing (WSLS) that takes advantage of the retrieval scores of the negative sampled documents as a weak supervision signal in the process of modifying the ground-truth labels. WSLS is simple to implement, requiring no modification to the neural ranker architecture. Our experiments across three retrieval tasks-passage retrieval, similar question retrieval and conversation response ranking-show that WSLS for pointwise BERT-based rankers leads to consistent effectiveness gains. The source code is available at https://anonymous.4open.science/r/dac85d48-6f71-4261-a7d8-040da6021c52/.
• Abstract（参考訳）: ニューラルネットワークモデル(L2R)のランク付けにおいて,広く用いられている正規化手法であるラベル平滑化(LS)について検討した。 LSは、基底構造ラベルと均一な分布を組み合わせることで、予測に対する信頼性を低下させる。 本研究では,非関連文書のサンプリング方法とLSの有効性の関係を解析し,関連文書と非関連文書との「隠れ類似知識」をLSがどのように捉えているかについて議論する。 さらに、LSから始まるカリキュラム学習アプローチ、つまり、ゼロ・トゥルースラベルのみを用いて何回も繰り返していくことが有益かをテストすることで、LSをさらに分析する。 ニューラルl2rモデルの文脈におけるlsの研究に触発されて,本研究では,接地ラベルの修正過程において,負のサンプル文書の検索スコアを弱い監督信号として活用する,weakly supervised label smoothing (wsls) と呼ばれる新しい手法を提案する。 WSLSは実装が簡単で、ニューラルランサーアーキテクチャを変更する必要はない。 提案手法は,3つの検索タスク-パス検索,類似質問検索,会話応答ランキングの3つにまたがる実験により,ポイントワイドBERTによるランク付けにおけるWSLSが一貫した効率向上をもたらすことを示す。 ソースコードはhttps://anonymous.4open.science/r/dac85d48-6f71-4261-a7d8-040da6021c52/で入手できる。

関連論文リスト

• Co-training for Low Resource Scientific Natural Language Inference [65.37685198688538]
  遠隔教師付きラベルに分類器のトレーニング力学に基づいて重みを割り当てる新しいコトレーニング手法を提案する。 予測された信頼度に対する任意のしきい値に基づいてサンプルをフィルタリングするのではなく、重要重みを割り当てることにより、自動ラベル付きデータの使用を最大化する。 提案手法は、遠隔監視ベースラインに対するマクロF1の1.5%の改善と、他の強力なSSLベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-06-20T18:35:47Z)
• Linguistic Steganalysis via LLMs: Two Modes for Efficient Detection of Strongly Concealed Stego [6.99735992267331]
  LSGCと呼ばれる2つのモードを持つ新しいLSを設計する。 生成モードでは、LS-task"記述"を作成しました。 分類モードでは、LSGCはLS-taskの「記述」を削除し、"causalLM" LLMs を使用して骨組織学的特徴を抽出した。
  論文  参考訳（メタデータ） (2024-06-06T16:18:02Z)
• Latent space configuration for improved generalization in supervised autoencoder neural networks [0.0]
  所望のトポロジを持つLSを得るための2つの手法を提案する。 LS構成を知ることで、LSで類似度尺度を定義し、ラベルを予測したり、複数の入力に対して類似度を推定することができる。 提案手法を用いて衣服のテクスチャ分類を訓練したSAEは,細調整をせずに,LIP,Market1501,WildTrackのデータセットから見当たらないデータによく一般化することを示した。
  論文  参考訳（メタデータ） (2024-02-13T13:25:51Z)
• OpenLDN: Learning to Discover Novel Classes for Open-World Semi-Supervised Learning [110.40285771431687]
  半教師付き学習(SSL)は、教師付き学習のアノテーションボトルネックに対処する主要なアプローチの1つである。 最近のSSLメソッドは、ラベルなしデータの大規模なリポジトリを有効活用して、ラベル付きデータの小さなセットに依存しながら、パフォーマンスを向上させることができる。 この研究は、ペアワイズ類似度損失を利用して新しいクラスを発見するOpenLDNを導入している。
  論文  参考訳（メタデータ） (2022-07-05T18:51:05Z)
• ALASCA: Rethinking Label Smoothing for Deep Learning Under Label Noise [10.441880303257468]
  サブCl-アシファイア(ALASCA)上でのアダプティブラーベル平滑化(Adaptive LAbel smoothing)という枠組みを提案する。 ラベル平滑化(LS)は暗黙のリプシッツ正則化(LR)を引き起こすことが示唆された。 これらの導出に基づいて、中間層に適応LRを実用的に適用するために、適応LS(ALS)をサブクラス化アーキテクチャに適用する。
  論文  参考訳（メタデータ） (2022-06-15T03:37:51Z)
• L2B: Learning to Bootstrap Robust Models for Combating Label Noise [52.02335367411447]
  本稿では,Learning to Bootstrap (L2B) という,シンプルで効果的な手法を提案する。 モデルは、誤った擬似ラベルの影響を受けずに、自身の予測を使ってブートストラップを行うことができる。 これは、実際の観測されたラベルと生成されたラベル間の重みを動的に調整し、メタラーニングを通じて異なるサンプル間の重みを動的に調整することで実現される。
  論文  参考訳（メタデータ） (2022-02-09T05:57:08Z)
• Self-supervised Learning is More Robust to Dataset Imbalance [65.84339596595383]
  データセット不均衡下での自己教師型学習について検討する。 既製の自己教師型表現は、教師型表現よりもクラス不均衡に対してすでに堅牢である。 我々は、不均衡なデータセット上でSSL表現品質を一貫して改善する、再重み付け正規化手法を考案した。
  論文  参考訳（メタデータ） (2021-10-11T06:29:56Z)
• Trash to Treasure: Harvesting OOD Data with Cross-Modal Matching for Open-Set Semi-Supervised Learning [101.28281124670647]
  オープンセット半教師付き学習(Open-set SSL)では、ラベルなしデータにOOD(Out-of-distribution)サンプルを含む、難しいが実用的なシナリオを調査する。 我々は、OODデータの存在を効果的に活用し、特徴学習を増強する新しいトレーニングメカニズムを提案する。 我々のアプローチは、オープンセットSSLのパフォーマンスを大幅に向上させ、最先端技術よりも大きなマージンで性能を向上します。
  論文  参考訳（メタデータ） (2021-08-12T09:14:44Z)
• Understanding (Generalized) Label Smoothing when Learning with Noisy Labels [57.37057235894054]
  ラベルスムーシング(LS)は、ハードトレーニングラベルと一様分散ソフトラベルの両方の正の重み付け平均を使用する学習パラダイムである。 雑音ラベルを用いた学習において,一般化ラベル平滑化(GLS)の特性について理解する。
  論文  参考訳（メタデータ） (2021-06-08T07:32:29Z)
• Regularization via Adaptive Pairwise Label Smoothing [19.252319300590653]
  本稿では Pairwise Label Smoothing (PLS) と呼ばれる新しいラベル平滑化手法を提案する。 クロスバリデーションサーチによって大域的に滑らかな分布質量を求める現在のLS法とは異なり、PSSはトレーニング中に各入力ペアの分布質量を自動的に学習する。 PLSはLSおよびベースラインモデルよりも有意に優れており,相対的分類誤差の最大30%を達成している。
  論文  参考訳（メタデータ） (2020-12-02T22:08:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。