論文の概要: X-model: Improving Data Efficiency in Deep Learning with A Minimax Model

• arxiv url: http://arxiv.org/abs/2110.04572v1
• Date: Sat, 9 Oct 2021 13:56:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-12 18:24:13.582767
• Title: X-model: Improving Data Efficiency in Deep Learning with A Minimax Model
• Title（参考訳）: x-model: minimaxモデルによるディープラーニングのデータ効率向上
• Authors: Ximei Wang, Xinyang Chen, Jianmin Wang, Mingsheng Long
• Abstract要約: ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。 両世界の力を生かすために,我々は新しいX-モデルを提案する。 X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
• 参考スコア（独自算出の注目度）: 78.55482897452417
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To mitigate the burden of data labeling, we aim at improving data efficiency for both classification and regression setups in deep learning. However, the current focus is on classification problems while rare attention has been paid to deep regression, which usually requires more human effort to labeling. Further, due to the intrinsic difference between categorical and continuous label space, the common intuitions for classification, e.g., cluster assumptions or pseudo labeling strategies, cannot be naturally adapted into deep regression. To this end, we first delved into the existing data-efficient methods in deep learning and found that they either encourage invariance to data stochasticity (e.g., consistency regularization under different augmentations) or model stochasticity (e.g., difference penalty for predictions of models with different dropout). To take the power of both worlds, we propose a novel X-model by simultaneously encouraging the invariance to {data stochasticity} and {model stochasticity}. Further, the X-model plays a minimax game between the feature extractor and task-specific heads to further enhance the invariance to model stochasticity. Extensive experiments verify the superiority of the X-model among various tasks, from a single-value prediction task of age estimation to a dense-value prediction task of keypoint localization, a 2D synthetic, and a 3D realistic dataset, as well as a multi-category object recognition task.
• Abstract（参考訳）: データラベリングの負担を軽減するため,ディープラーニングにおける分類設定と回帰設定の両方において,データ効率の向上を目指す。 しかし、現在の焦点は分類問題であり、ラベル付けにより多くの人的労力を必要とする深い回帰に対して、稀な注意が払われている。 さらに、分類空間と連続ラベル空間の間に本質的な違いがあるため、分類のための共通の直観、例えばクラスター仮定や擬似ラベル戦略は、深い回帰に自然に適用できない。 この目的のために、我々はまず、ディープラーニングにおける既存のデータ効率のよい手法を考察し、データ確率性(例えば、異なる拡張条件の下での一貫性の規則化)やモデル確率性(例えば、異なるドロップアウトを持つモデルの予測に対する差分ペナルティ)への不変性を促進するかを発見した。 両世界の力を生かし,データ確率性とモデル確率性への不変性を同時に促進する新しいX-モデルを提案する。 さらに、X-モデルは、特徴抽出器とタスク固有ヘッドとの間にミニマックスゲームを行い、モデル確率性への不変性をさらに強化する。 広範囲な実験により、年齢推定の単値予測タスクからキーポイント位置推定の高密度予測タスク、2d合成と3dリアルデータセット、マルチカテゴリオブジェクト認識タスクまで、様々なタスクにおけるx-モデルの優位性が検証された。

関連論文リスト

• Efficient and Generalizable Certified Unlearning: A Hessian-free Recollection Approach [8.875278412741695]
  機械学習は、特定のデータを選択的に忘れることを可能にして、データ所有者の権利を忘れないように努力する。 我々は,ベクトル加算操作のみを必要とするため,ほぼ瞬時に未学習を実現するアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-04-02T07:54:18Z)
• For Better or For Worse? Learning Minimum Variance Features With Label Augmentation [7.183341902583164]
  本研究では,データ拡張手法のラベル拡張の側面が果たす役割を解析する。 まず、ラベル拡張で訓練されたバイナリ分類データの線形モデルが、データ内の最小分散特性のみを学ぶことを証明した。 次に, 非線形モデルや一般データ分布においても, ラベルの平滑化や混合損失はモデル出力分散の関数によって低く抑えられることを示す。
  論文  参考訳（メタデータ） (2024-02-10T01:36:39Z)
• Learning Defect Prediction from Unrealistic Data [57.53586547895278]
  事前訓練されたコードのモデルは、コード理解と生成タスクに人気がある。 このようなモデルは大きい傾向があり、訓練データの総量を必要とする。 人工的に注入されたバグのある関数など、はるかに大きくてもより現実的なデータセットを持つモデルをトレーニングすることが一般的になった。 このようなデータで訓練されたモデルは、実際のプログラムでは性能が劣りながら、同様のデータでのみうまく機能する傾向にある。
  論文  参考訳（メタデータ） (2023-11-02T01:51:43Z)
• Self-Evolution Learning for Mixup: Enhance Data Augmentation on Few-Shot Text Classification Tasks [75.42002070547267]
  テキスト分類におけるデータ拡張のための自己進化学習(SE)に基づくミックスアップ手法を提案する。 モデル出力と原サンプルの1つのホットラベルを線形に補間して,新しい軟質なラベル混在を生成する,新しいインスタンス固有ラベル平滑化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-22T23:43:23Z)
• Variational Classification [51.2541371924591]
  我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。 軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。 我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
  論文  参考訳（メタデータ） (2023-05-17T17:47:19Z)
• Semi-Supervised Deep Regression with Uncertainty Consistency and Variational Model Ensembling via Bayesian Neural Networks [31.67508478764597]
  我々は,半教師付き回帰,すなわち不確実連続変分モデル組立(UCVME)に対する新しいアプローチを提案する。 整合性損失は不確実性評価を著しく改善し,不整合回帰の下では,高品質な擬似ラベルをより重要視することができる。 実験の結果,本手法は様々なタスクにおける最先端の代替手段よりも優れており,フルラベルを用いた教師付き手法と競合する可能性が示唆された。
  論文  参考訳（メタデータ） (2023-02-15T10:40:51Z)
• Flexible Model Aggregation for Quantile Regression [92.63075261170302]
  量子回帰は、予測の不確実性を定量化する必要性によって動機付けられた統計学習の基本的な問題である。 条件付き量子モデルの任意の数を集約する手法について検討する。 この論文で検討するモデルはすべて、現代のディープラーニングツールキットに適合します。
  論文  参考訳（メタデータ） (2021-02-26T23:21:16Z)
• Improving Maximum Likelihood Training for Text Generation with Density Ratio Estimation [51.091890311312085]
  本稿では,テキスト生成で遭遇する大規模なサンプル空間において,効率よく安定な自動回帰シーケンス生成モデルのトレーニング手法を提案する。 本手法は,品質と多様性の両面で,最大類似度推定や他の最先端シーケンス生成モデルよりも安定に優れている。
  論文  参考訳（メタデータ） (2020-07-12T15:31:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。