論文の概要: X-model: Improving Data Efficiency in Deep Learning with A Minimax Model
- arxiv url: http://arxiv.org/abs/2110.04572v1
- Date: Sat, 9 Oct 2021 13:56:48 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-12 18:24:13.582767
- Title: X-model: Improving Data Efficiency in Deep Learning with A Minimax Model
- Title（参考訳）: x-model: minimaxモデルによるディープラーニングのデータ効率向上
- Authors: Ximei Wang, Xinyang Chen, Jianmin Wang, Mingsheng Long
- Abstract要約: ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。
両世界の力を生かすために,我々は新しいX-モデルを提案する。
X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
- 参考スコア（独自算出の注目度）: 78.55482897452417
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: To mitigate the burden of data labeling, we aim at improving data efficiency
for both classification and regression setups in deep learning. However, the
current focus is on classification problems while rare attention has been paid
to deep regression, which usually requires more human effort to labeling.
Further, due to the intrinsic difference between categorical and continuous
label space, the common intuitions for classification, e.g., cluster
assumptions or pseudo labeling strategies, cannot be naturally adapted into
deep regression. To this end, we first delved into the existing data-efficient
methods in deep learning and found that they either encourage invariance to
data stochasticity (e.g., consistency regularization under different
augmentations) or model stochasticity (e.g., difference penalty for predictions
of models with different dropout). To take the power of both worlds, we propose
a novel X-model by simultaneously encouraging the invariance to {data
stochasticity} and {model stochasticity}. Further, the X-model plays a minimax
game between the feature extractor and task-specific heads to further enhance
the invariance to model stochasticity. Extensive experiments verify the
superiority of the X-model among various tasks, from a single-value prediction
task of age estimation to a dense-value prediction task of keypoint
localization, a 2D synthetic, and a 3D realistic dataset, as well as a
multi-category object recognition task.
- Abstract（参考訳）: データラベリングの負担を軽減するため,ディープラーニングにおける分類設定と回帰設定の両方において,データ効率の向上を目指す。
しかし、現在の焦点は分類問題であり、ラベル付けにより多くの人的労力を必要とする深い回帰に対して、稀な注意が払われている。
さらに、分類空間と連続ラベル空間の間に本質的な違いがあるため、分類のための共通の直観、例えばクラスター仮定や擬似ラベル戦略は、深い回帰に自然に適用できない。
この目的のために、我々はまず、ディープラーニングにおける既存のデータ効率のよい手法を考察し、データ確率性(例えば、異なる拡張条件の下での一貫性の規則化)やモデル確率性(例えば、異なるドロップアウトを持つモデルの予測に対する差分ペナルティ)への不変性を促進するかを発見した。
両世界の力を生かし,データ確率性とモデル確率性への不変性を同時に促進する新しいX-モデルを提案する。
さらに、X-モデルは、特徴抽出器とタスク固有ヘッドとの間にミニマックスゲームを行い、モデル確率性への不変性をさらに強化する。
広範囲な実験により、年齢推定の単値予測タスクからキーポイント位置推定の高密度予測タスク、2d合成と3dリアルデータセット、マルチカテゴリオブジェクト認識タスクまで、様々なタスクにおけるx-モデルの優位性が検証された。
関連論文リスト
- Learning from aggregated data with a maximum entropy model [73.63512438583375]
我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。
我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
論文 参考訳（メタデータ） (2022-10-05T09:17:27Z) - Uncertainty Estimation for Language Reward Models [5.33024001730262]
言語モデルは、テキストコーパスの教師なしトレーニングからさまざまな能力を学ぶことができる。
人間がラベル付きデータを提供するよりも選択肢を選択する方が簡単であり、事前の作業はそのような選好比較から報酬モデルをトレーニングすることで最先端のパフォーマンスを達成した。
能動的学習とリスク-逆強化学習を用いてサンプル効率とロバスト性を向上させる不確実性推定によるこれらの問題に対処することを模索する。
論文 参考訳（メタデータ） (2022-03-14T20:13:21Z) - Invariance Learning in Deep Neural Networks with Differentiable Laplace
Approximations [76.82124752950148]
我々はデータ拡張を選択するための便利な勾配法を開発した。
我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
論文 参考訳（メタデータ） (2022-02-22T02:51:11Z) - Continuously Generalized Ordinal Regression for Linear and Deep Models [41.03778663275373]
正規回帰は、クラスが順序を持ち、予測エラーが予測されたクラスが真のクラスからさらに大きくなるような分類タスクである。
本稿では,クラス固有の超平面斜面をモデル化するための新しい手法を提案する。
本手法は,順序回帰ベンチマークデータセットの完全セットに対して,標準順序ロジスティックモデルよりも大幅に優れる。
論文 参考訳（メタデータ） (2022-02-14T19:49:05Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳（メタデータ） (2022-01-11T23:01:12Z) - Entropy optimized semi-supervised decomposed vector-quantized
variational autoencoder model based on transfer learning for multiclass text
classification and generation [3.9318191265352196]
多クラステキスト分類とテキスト生成のための半教師付き離散潜在変数モデルを提案する。
提案モデルは,量子化変圧器モデルの学習に伝達学習の概念を用いる。
実験結果から,提案モデルが最先端モデルを大幅に上回ったことが示唆された。
論文 参考訳（メタデータ） (2021-11-10T07:07:54Z) - Variation-Incentive Loss Re-weighting for Regression Analysis on Biased
Data [8.115323786541078]
モデルトレーニング中のデータ歪/バイアスに対処することで回帰分析の精度を向上させることを目的としている。
回帰分析のための勾配降下モデルトレーニングを最適化するために,変分集中損失再重み付け法(VILoss)を提案する。
論文 参考訳（メタデータ） (2021-09-14T10:22:21Z) - Investigating the Relationship Between Dropout Regularization and Model
Complexity in Neural Networks [0.0]
ドロップアウト規則化は、ディープラーニングモデルのばらつきを低減するのに役立つ。
2,000のニューラルネットワークをトレーニングすることにより,ドロップアウト率とモデル複雑性の関係について検討する。
各密層に隠されたユニットの数から、最適なドロップアウト率を予測するニューラルネットワークを構築します。
論文 参考訳（メタデータ） (2021-08-14T23:49:33Z) - Contrastive Model Inversion for Data-Free Knowledge Distillation [60.08025054715192]
そこで、データ多様性を最適化可能な目的として明示的にモデル化するContrastive Model Inversionを提案します。
我々の主な観察では、同じ量のデータの制約の下では、高いデータの多様性は、通常より強いインスタンス識別を示す。
CIFAR-10, CIFAR-100, Tiny-ImageNetを用いた実験により, 生成したデータを知識蒸留に使用する場合, CMIは極めて優れた性能を示すことが示された。
論文 参考訳（メタデータ） (2021-05-18T15:13:00Z) - Scalable Marginal Likelihood Estimation for Model Selection in Deep
Learning [78.83598532168256]
階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。
本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
論文 参考訳（メタデータ） (2021-04-11T09:50:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。