論文の概要: Losses over Labels: Weakly Supervised Learning via Direct Loss Construction

• arxiv url: http://arxiv.org/abs/2212.06921v2
• Date: Wed, 4 Oct 2023 23:32:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-06 23:03:05.578811
• Title: Losses over Labels: Weakly Supervised Learning via Direct Loss Construction
• Title（参考訳）: ラベル上の損失: 直接損失構成による弱い教師付き学習
• Authors: Dylan Sam, J. Zico Kolter
• Abstract要約: プログラム可能な弱い監視は、機械学習のパラダイムとして成長している。 ラベルの中間ステップを経由することなく,直接損失を発生させるため,ラベルのロバスト・オーバー・ラベル(Losses over Labels, LoL)を提案する。 いくつかのベンチマークテキストおよび画像分類タスクにおいて、LoLは既存の弱い監督手法を改善していることを示す。
• 参考スコア（独自算出の注目度）: 71.11337906077483
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Owing to the prohibitive costs of generating large amounts of labeled data, programmatic weak supervision is a growing paradigm within machine learning. In this setting, users design heuristics that provide noisy labels for subsets of the data. These weak labels are combined (typically via a graphical model) to form pseudolabels, which are then used to train a downstream model. In this work, we question a foundational premise of the typical weakly supervised learning pipeline: given that the heuristic provides all ``label" information, why do we need to generate pseudolabels at all? Instead, we propose to directly transform the heuristics themselves into corresponding loss functions that penalize differences between our model and the heuristic. By constructing losses directly from the heuristics, we can incorporate more information than is used in the standard weakly supervised pipeline, such as how the heuristics make their decisions, which explicitly informs feature selection during training. We call our method Losses over Labels (LoL) as it creates losses directly from heuristics without going through the intermediate step of a label. We show that LoL improves upon existing weak supervision methods on several benchmark text and image classification tasks and further demonstrate that incorporating gradient information leads to better performance on almost every task.
• Abstract（参考訳）: 大量のラベル付きデータを生成することの禁止コストのため、プログラム的な弱い監督は機械学習におけるパラダイムの成長である。 この設定では、ユーザはデータのサブセットにノイズラベルを提供するヒューリスティックを設計する。 これらの弱いラベルは(通常、グラフィカルモデルを介して)結合されて擬似ラベルを形成し、下流モデルのトレーニングに使用される。 この研究では、典型的な弱教師付き学習パイプラインの基本前提に疑問を呈する: ヒューリスティックがすべての `label" 情報を提供することを考慮すれば、なぜ疑似ラベルを生成する必要があるのか? 代わりに、我々はヒューリスティック自体を直接、モデルとヒューリスティックの違いを罰する対応する損失関数に変換することを提案する。 ヒューリスティックスから直接損失を構築することで、ヒューリスティックスがトレーニング中に機能選択を明示的に通知する方法など、標準的な弱教師付きパイプラインで使用されるよりも多くの情報を組み込むことができる。 この手法をLosses over Labels (LoL)と呼び、ラベルの中間ステップを経由することなくヒューリスティックスから直接損失を発生させる。 複数のベンチマークテキストおよび画像分類タスクにおいて,LoLは既存の弱い監督手法を改善し,さらに勾配情報の導入により,ほぼすべてのタスクにおいて性能が向上することを示す。

関連論文リスト

• ERASE: Error-Resilient Representation Learning on Graphs for Label Noise Tolerance [53.73316938815873]
  本稿では, ERASE (Error-Resilient representation learning on graphs for lAbel noiSe tolerancE) という手法を提案する。 ERASEは、プロトタイプの擬似ラベルとプロパゲーションされた識別ラベルを組み合わせて、表現をエラーレジリエンスで更新する。 提案手法は, 広い雑音レベルにおいて, 複数のベースラインをクリアマージンで上回り, 高いスケーラビリティを享受できる。
  論文  参考訳（メタデータ） (2023-12-13T17:59:07Z)
• Label-Retrieval-Augmented Diffusion Models for Learning from Noisy Labels [61.97359362447732]
  ノイズの多いラベルからの学習は、実際のアプリケーションのための機械学習において、重要かつ長年にわたる問題である。 本稿では,生成モデルの観点からラベルノイズ問題を再構成する。 我々のモデルは、標準的な実世界のベンチマークデータセットで新しいSOTA(State-of-the-art)結果を達成する。
  論文  参考訳（メタデータ） (2023-05-31T03:01:36Z)
• All Points Matter: Entropy-Regularized Distribution Alignment for Weakly-supervised 3D Segmentation [67.30502812804271]
  擬似ラベルは、弱い教師付き3Dセグメンテーションタスクに広く使われており、学習に使えるのはスパース・グラウンド・トラス・ラベルのみである。 本稿では,生成した擬似ラベルを正規化し,擬似ラベルとモデル予測とのギャップを効果的に狭めるための新しい学習戦略を提案する。
  論文  参考訳（メタデータ） (2023-05-25T08:19:31Z)
• AutoWS: Automated Weak Supervision Framework for Text Classification [1.748907524043535]
  本稿では、ドメインエキスパートへの依存を減らしつつ、弱い監督プロセスの効率を高めるための新しい枠組みを提案する。 本手法では,ラベルクラス毎にラベル付きサンプルの小さなセットが必要であり,多数のラベル付きデータにノイズ付きラベルを割り当てるラベル付き関数のセットを自動生成する。
  論文  参考訳（メタデータ） (2023-02-07T07:12:05Z)
• Improved Adaptive Algorithm for Scalable Active Learning with Weak Labeler [89.27610526884496]
  Weak Labeler Active Cover (WL-AC)は、要求される精度を維持しながら、クエリの複雑さを低減するために、低品質の弱いラベルを堅牢に活用することができる。 受動学習と同一の精度を維持しつつラベル数を著しく削減し, 劣化したMNISTデータセット上での有効性を示す。
  論文  参考訳（メタデータ） (2022-11-04T02:52:54Z)
• SepLL: Separating Latent Class Labels from Weak Supervision Noise [4.730767228515796]
  弱い教師付き学習では、ラベル付け機能は自動的にデータサンプルにラベルを割り当て、しばしばうるさい。 本研究では,2種類の補完情報を分離し,弱いラベルから学習する手法を提案する。 我々のモデルは最先端技術と競合し、新しい最高の平均性能をもたらす。
  論文  参考訳（メタデータ） (2022-10-25T10:33:45Z)
• Semi-supervised Learning using Robust Loss [0.0]
  手動ラベル付きデータと追加ラベル付きデータの両方を活用するための半教師付きトレーニング戦略を提案する。 既存の手法とは対照的に、自動ラベル付きデータに対してロバストな損失を適用し、不均一なデータ品質を補う。 提案手法は,画像分類におけるラベルの不均一な品質を補正することにより,モデル性能の向上を図っている。
  論文  参考訳（メタデータ） (2022-03-03T05:34:32Z)
• Data Consistency for Weakly Supervised Learning [15.365232702938677]
  機械学習モデルのトレーニングには、大量の人間が注釈付けしたデータを使用する。 本稿では、雑音ラベル、すなわち弱い信号を処理する新しい弱監督アルゴリズムを提案する。 本研究では,テキストと画像の分類作業において,最先端の弱い監督手法を著しく上回っていることを示す。
  論文  参考訳（メタデータ） (2022-02-08T16:48:19Z)
• Informative Pseudo-Labeling for Graph Neural Networks with Few Labels [12.83841767562179]
  グラフニューラルネットワーク(GNN)は、グラフ上の半教師付きノード分類のための最先端の結果を得た。 非常に少数のレーベルでGNNを効果的に学習する方法の課題は、まだ解明されていない。 我々は、非常に少ないラベルを持つGNNの学習を容易にするために、InfoGNNと呼ばれる新しい情報的擬似ラベルフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-01-20T01:49:30Z)
• Instance-dependent Label-noise Learning under a Structural Causal Model [92.76400590283448]
  ラベルノイズはディープラーニングアルゴリズムの性能を劣化させる。 構造因果モデルを活用することにより,実例依存型ラベルノイズ学習のための新しい生成手法を提案する。
  論文  参考訳（メタデータ） (2021-09-07T10:42:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。