論文の概要: Generative Modeling Helps Weak Supervision (and Vice Versa)
- arxiv url: http://arxiv.org/abs/2203.12023v1
- Date: Tue, 22 Mar 2022 20:24:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-24 13:31:44.157506
- Title: Generative Modeling Helps Weak Supervision (and Vice Versa)
- Title(参考訳): ジェネレーティブモデリングは、弱視(とバイス・ヴァーサ)を助ける
- Authors: Benedikt Boecking, Willie Neiswanger, Nicholas Roberts, Stefano Ermon,
Frederic Sala, Artur Dubrawski
- Abstract要約: 本稿では,弱い監督と生成的敵ネットワークを融合したモデルを提案する。
弱い監督によるラベル推定と並行して、データの離散変数をキャプチャする。
これは、弱い教師付き合成画像と擬似ラベルによるデータ拡張を可能にする最初のアプローチである。
- 参考スコア(独自算出の注目度): 87.62271390571837
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many promising applications of supervised machine learning face hurdles in
the acquisition of labeled data in sufficient quantity and quality, creating an
expensive bottleneck. To overcome such limitations, techniques that do not
depend on ground truth labels have been developed, including weak supervision
and generative modeling. While these techniques would seem to be usable in
concert, improving one another, how to build an interface between them is not
well-understood. In this work, we propose a model fusing weak supervision and
generative adversarial networks. It captures discrete variables in the data
alongside the weak supervision derived label estimate. Their alignment allows
for better modeling of sample-dependent accuracies of the weak supervision
sources, improving the unobserved ground truth estimate. It is the first
approach to enable data augmentation through weakly supervised synthetic images
and pseudolabels. Additionally, its learned discrete variables can be inspected
qualitatively. The model outperforms baseline weak supervision label models on
a number of multiclass classification datasets, improves the quality of
generated images, and further improves end-model performance through data
augmentation with synthetic samples.
- Abstract(参考訳): 教師付き機械学習の多くの有望な応用は、ラベル付きデータの十分な量と品質取得においてハードルに直面し、高価なボトルネックを生み出している。
このような制限を克服するため、弱監督や生成モデリングなど、真実ラベルに依存しない手法が開発されている。
これらのテクニックは、互いに改善しながら、コンサートで使用することができるように思えるが、それらのインターフェースを構築する方法はよく理解されていない。
本稿では,弱い監督と生成的敵ネットワークを用いたモデルを提案する。
弱い監督によるラベル推定と共に、データの離散変数をキャプチャする。
それらのアライメントは、弱い監督源のサンプル依存の精度のより良いモデリングを可能にし、観測されていない地上の真理推定を改善する。
これは、弱い教師付き合成画像と擬似ラベルによるデータ拡張を可能にする最初のアプローチである。
さらに、学習された離散変数は定性的に検査することができる。
このモデルは、複数のマルチクラス分類データセットのベースライン弱監督ラベルモデルより優れ、生成画像の品質を改善し、さらに合成サンプルによるデータ拡張によるエンドモデル性能を向上させる。
関連論文リスト
- Data-efficient Large Vision Models through Sequential Autoregression [58.26179273091461]
限られたデータセットに基づいて,効率的な自己回帰に基づく視覚モデルを構築する。
このモデルは,高レベル・低レベルのセマンティック理解の両方にまたがる視覚的タスクにおいて,その習熟度をいかに達成するかを実証する。
我々の経験的評価は、モデルが様々なタスクに適応する際の機敏さを強調し、パラメータフットプリントの大幅な削減を図った。
論文 参考訳(メタデータ) (2024-02-07T13:41:53Z) - Graph Masked Autoencoder for Sequential Recommendation [10.319298705782058]
本稿では,自動エンコーダ付きシーケンシャルレコメンダシステム(MAERec, Graph Masked AutoEncoder-enhanced Sequence Recommender System)を提案する。
提案手法は最先端のベースラインモデルを大幅に上回り,データノイズや空間性に対するより正確な表現を学習することができる。
論文 参考訳(メタデータ) (2023-05-08T10:57:56Z) - Enhancing Multiple Reliability Measures via Nuisance-extended
Information Bottleneck [77.37409441129995]
トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。
我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。
そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
論文 参考訳(メタデータ) (2023-03-24T16:03:21Z) - Entropy optimized semi-supervised decomposed vector-quantized
variational autoencoder model based on transfer learning for multiclass text
classification and generation [3.9318191265352196]
多クラステキスト分類とテキスト生成のための半教師付き離散潜在変数モデルを提案する。
提案モデルは,量子化変圧器モデルの学習に伝達学習の概念を用いる。
実験結果から,提案モデルが最先端モデルを大幅に上回ったことが示唆された。
論文 参考訳(メタデータ) (2021-11-10T07:07:54Z) - End-to-End Weak Supervision [15.125993628007972]
下流モデルを直接学習するためのエンドツーエンドアプローチを提案する。
下流テストセットにおけるエンドモデル性能の観点から,先行作業よりも性能が向上したことを示す。
論文 参考訳(メタデータ) (2021-07-05T19:10:11Z) - Comparing Test Sets with Item Response Theory [53.755064720563]
我々は,18の事前学習トランスフォーマーモデルから予測した29のデータセットを個別のテスト例で評価した。
Quoref、HellaSwag、MC-TACOは最先端のモデルを区別するのに最適である。
また、QAMRやSQuAD2.0のようなQAデータセットに使用されるスパン選択タスク形式は、強いモデルと弱いモデルとの差別化に有効である。
論文 参考訳(メタデータ) (2021-06-01T22:33:53Z) - Negative Data Augmentation [127.28042046152954]
負のデータ拡張サンプルは、データ分散のサポートに関する情報を提供することを示す。
我々は、NDAを識別器の合成データの追加源として利用する新しいGAN訓練目標を提案する。
実験により,本手法で訓練したモデルでは,異常検出能力の向上とともに条件付き・条件付き画像生成の改善を実現している。
論文 参考訳(メタデータ) (2021-02-09T20:28:35Z) - Learning Consistent Deep Generative Models from Sparse Data via
Prediction Constraints [16.48824312904122]
我々は変分オートエンコーダやその他の深層生成モデルを学ぶための新しいフレームワークを開発する。
これら2つのコントリビューション -- 予測制約と一貫性制約 -- が,画像分類性能の有望な向上につながることを示す。
論文 参考訳(メタデータ) (2020-12-12T04:18:50Z) - Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。
そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。
最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文 参考訳(メタデータ) (2020-03-10T03:10:41Z) - Fast and Three-rious: Speeding Up Weak Supervision with Triplet Methods [24.190587751595455]
弱監督は、基底的真理アノテーションに頼ることなく機械学習モデルを構築する一般的な方法である。
既存の手法では、雑音源をモデル化するために潜時変数推定を用いる。
弱監督に高度に適用可能な潜在変数モデルのクラスについて、モデルパラメータに対する閉形式解を見つけることができることを示す。
この洞察を使ってFlyingSquidを構築します。FlyingSquidは、以前の弱い監視アプローチよりも桁違いに高速に実行される弱い監視フレームワークです。
論文 参考訳(メタデータ) (2020-02-27T07:51:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。