論文の概要: Self-Supervised Learning from Semantically Imprecise Data

• arxiv url: http://arxiv.org/abs/2104.10901v1
• Date: Thu, 22 Apr 2021 07:26:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-23 13:54:22.974095
• Title: Self-Supervised Learning from Semantically Imprecise Data
• Title（参考訳）: 意味的不正確なデータからの自己指導型学習
• Authors: Clemens-Alexander Brust, Bj\"orn Barz, Joachim Denzler
• Abstract要約: 動物」や「鳥」などの不正確なラベルから学ぶことは、熟練したラベル付きトレーニングデータが乏しい場合に重要な機能です。 CHILLAXはこの課題に取り組むために最近提案された方法です。 制約外挿を用いた自己教師型スキームでCHILLAXを拡張して擬似ラベルを生成する。
• 参考スコア（独自算出の注目度）: 7.24935792316121
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning from imprecise labels such as "animal" or "bird", but making precise predictions like "snow bunting" at test time is an important capability when expertly labeled training data is scarce. Contributions by volunteers or results of web crawling lack precision in this manner, but are still valuable. And crucially, these weakly labeled examples are available in larger quantities for lower cost than high-quality bespoke training data. CHILLAX, a recently proposed method to tackle this task, leverages a hierarchical classifier to learn from imprecise labels. However, it has two major limitations. First, it is not capable of learning from effectively unlabeled examples at the root of the hierarchy, e.g. "object". Second, an extrapolation of annotations to precise labels is only performed at test time, where confident extrapolations could be already used as training data. In this work, we extend CHILLAX with a self-supervised scheme using constrained extrapolation to generate pseudo-labels. This addresses the second concern, which in turn solves the first problem, enabling an even weaker supervision requirement than CHILLAX. We evaluate our approach empirically and show that our method allows for a consistent accuracy improvement of 0.84 to 1.19 percent points over CHILLAX and is suitable as a drop-in replacement without any negative consequences such as longer training times.
• Abstract（参考訳）: アニマル"や"バード"といった不正確なラベルから学習するが、テスト時に"スノーバンティング"のような正確な予測を行うことは、専門的にラベル付けされたトレーニングデータが少ない場合に重要な能力である。 ボランティアによる貢献やウェブクローリングの結果には精度がないが、それでも価値がある。 そして重要なことは、これらの弱いラベル付けされた例は、高品質のbspokeトレーニングデータよりも低コストで利用できる。 この課題に対処する手法であるCHILLAXは階層型分類器を利用して不正確なラベルから学習する。 しかし、2つの大きな制限がある。 第一に、階層の根元でラベルのない実例、例えば、効果的に学習することはできない。 「オブジェクト」。 第二に、正確なラベルへのアノテーションの補間はテスト時にのみ行われ、自信のある補間がすでにトレーニングデータとして使用できる。 本研究では,制約付き外挿を用いた自己教師型スキームでCHILLAXを拡張し,擬似ラベルを生成する。 これは第2の懸念に対処し、第1の問題を解決し、CHILLAXよりもより弱い監督要件を可能にします。 提案手法を実証的に評価した結果,CHILLAXよりも0.84～1.19パーセントの精度向上が可能であり,長期トレーニングなどの負の結果を伴わないドロップイン代替品として適していることがわかった。

関連論文リスト

• Comprehensive Benchmarking of Entropy and Margin Based Scoring Metrics for Data Selection [0.8192907805418583]
  我々は,「有用性」や「難易度」について,将来的なトレーニング事例を評価する方法を提案する。 主にエントロピーとError L2-Norm(EL2N)のスコアを実験した。 次に、これらの非同定データセットを用いてトレーニングデータ拡張実験を行い、スコアベースの選択が、ランダム選択のベースライン技術と比較して、意味的誤り率2%、ドメイン分類エラー率4%-7%の減少をもたらすことを示した。
  論文  参考訳（メタデータ） (2023-11-27T20:33:54Z)
• Boosting Semi-Supervised Learning by bridging high and low-confidence predictions [4.18804572788063]
  Pseudo-labelingは半教師あり学習(SSL)において重要な技術である ReFixMatchと呼ばれる新しい手法を提案し、これはトレーニング中にラベルなしのデータをすべて活用することを目的としている。
  論文  参考訳（メタデータ） (2023-08-15T00:27:18Z)
• Shrinking Class Space for Enhanced Certainty in Semi-Supervised Learning [59.44422468242455]
  そこで我々はShrinkMatchと呼ばれる新しい手法を提案し、不確実なサンプルを学習する。 それぞれの不確実なサンプルに対して、元の Top-1 クラスを単に含むスランク類空間を適応的に求める。 次に、スランク空間における強と弱に強化された2つのサンプル間の整合正則化を課し、識別的表現を試みます。
  論文  参考訳（メタデータ） (2023-08-13T14:05:24Z)
• Are labels informative in semi-supervised learning? -- Estimating and leveraging the missing-data mechanism [4.675583319625962]
  半教師付き学習は、ラベルのないデータを利用して機械学習モデルを改善するための強力な技術である。 これは、あるクラスが他のクラスよりもラベル付けされる可能性が高い場合に発生する、情報的ラベルの存在に影響される可能性がある。 本稿では,データ不足のメカニズムを推定し,逆確率重み付けを用いてSSLアルゴリズムを劣化させることにより,この問題に対処する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-02-15T09:18:46Z)
• Weighted Distillation with Unlabeled Examples [15.825078347452024]
  ラベルなし例による蒸留は、ラベル付きデータの量を制限する設定において、ディープニューラルネットワークをトレーニングするための一般的で強力な方法である。 本稿では, 蒸留訓練のパラダイムに合わせて, 学生の損失関数の再重み付けに基づいて, この問題に対処するための原則的アプローチを提案する。
  論文  参考訳（メタデータ） (2022-10-13T04:08:56Z)
• Debiased Pseudo Labeling in Self-Training [77.83549261035277]
  ディープニューラルネットワークは、大規模ラベル付きデータセットの助けを借りて、幅広いタスクで顕著なパフォーマンスを達成する。 ラベル付きデータの要求を軽減するため、ラベル付けされていないデータに擬似ラベルを付けることにより、学術と産業の両方で自己学習が広く使われている。 疑似ラベルの生成と利用を2つの独立した頭文字で分離するデバイアスドを提案する。
  論文  参考訳（メタデータ） (2022-02-15T02:14:33Z)
• Dash: Semi-Supervised Learning with Dynamic Thresholding [72.74339790209531]
  我々は、ラベルのない例を使ってモデルをトレーニングする半教師付き学習(SSL)アプローチを提案する。 提案手法であるDashは、ラベルなしデータ選択の観点から適応性を享受する。
  論文  参考訳（メタデータ） (2021-09-01T23:52:29Z)
• A Theoretical Analysis of Learning with Noisily Labeled Data [62.946840431501855]
  最初に、最初のエポックトレーニングで、クリーンラベルの例が先に学習されることを示しました。 次に、クリーンデータステージから学習した後、継続的なトレーニングモデルがテストエラーのさらなる改善を達成できることを示します。
  論文  参考訳（メタデータ） (2021-04-08T23:40:02Z)
• Are Fewer Labels Possible for Few-shot Learning? [81.89996465197392]
  ごく限られたデータとラベルのため、わずかなショット学習は難しい。 近年のBiT (Big Transfer) 研究は、異なる領域における大規模ラベル付きデータセットの事前トレーニングによって、少数ショット学習が大きな恩恵を受けることを示した。 本稿では,ファインチューニングにおけるクラスタリングと固有サンプルの共進化を活かし,ショット学習の削減を図る。
  論文  参考訳（メタデータ） (2020-12-10T18:59:29Z)
• Don't Wait, Just Weight: Improving Unsupervised Representations by Learning Goal-Driven Instance Weights [92.16372657233394]
  自己教師付き学習技術は、役に立たないデータから有用な表現を学習することで、パフォーマンスを向上させることができる。 ベイジアンのインスタンスの重み付けを学習することで、下流の分類精度を向上させることができることを示す。 本研究では,STL-10 と Visual Decathlon の自己教師型回転予測タスクを用いて,BetaDataWeighter の評価を行った。
  論文  参考訳（メタデータ） (2020-06-22T15:59:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。