論文の概要: Generalizing Few Data to Unseen Domains Flexibly Based on Label Smoothing Integrated with Distributionally Robust Optimization
- arxiv url: http://arxiv.org/abs/2408.05082v1
- Date: Fri, 9 Aug 2024 14:13:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-12 15:37:31.456306
- Title: Generalizing Few Data to Unseen Domains Flexibly Based on Label Smoothing Integrated with Distributionally Robust Optimization
- Title（参考訳）: 分散ロバスト最適化と統合されたラベル平滑化に基づくフレキシブルな未確認領域へのデータの一般化
- Authors: Yangdi Wang, Zhi-Hai Zhang, Su Xiu Xu, Wenming Guo,
- Abstract要約: 大規模なデータセットにディープニューラルネットワーク(DNN)を適用する場合、一般的にオーバーフィッティングが発生する。
ラベル平滑化 (LS) は, 1ホットラベルと一様ラベルベクトルを混合することにより, オーバーフィッティングを防止する効果的な正規化手法である。
本稿では、LSに分散ロバスト最適化(DRO)を導入し、既存のデータ分布を柔軟に未確認領域にシフトさせる。
- 参考スコア（独自算出の注目度）: 0.9374652839580183
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Overfitting commonly occurs when applying deep neural networks (DNNs) on small-scale datasets, where DNNs do not generalize well from existing data to unseen data. The main reason resulting in overfitting is that small-scale datasets cannot reflect the situations of the real world. Label smoothing (LS) is an effective regularization method to prevent overfitting, avoiding it by mixing one-hot labels with uniform label vectors. However, LS only focuses on labels while ignoring the distribution of existing data. In this paper, we introduce the distributionally robust optimization (DRO) to LS, achieving shift the existing data distribution flexibly to unseen domains when training DNNs. Specifically, we prove that the regularization of LS can be extended to a regularization term for the DNNs parameters when integrating DRO. The regularization term can be utilized to shift existing data to unseen domains and generate new data. Furthermore, we propose an approximate gradient-iteration label smoothing algorithm (GI-LS) to achieve the findings and train DNNs. We prove that the shift for the existing data does not influence the convergence of GI-LS. Since GI-LS incorporates a series of hyperparameters, we further consider using Bayesian optimization (BO) to find the relatively optimal combinations of these hyperparameters. Taking small-scale anomaly classification tasks as a case, we evaluate GI-LS, and the results clearly demonstrate its superior performance.
- Abstract（参考訳）: 大規模なデータセットにディープニューラルネットワーク(DNN)を適用すると、一般的にオーバーフィッティングが発生する。
オーバーフィッティングをもたらす主な理由は、小規模なデータセットが現実世界の状況を反映できないことである。
ラベル平滑化 (LS) は, 1ホットラベルと一様ラベルベクトルを混合することにより, オーバーフィッティングを防止する効果的な正規化手法である。
しかし、LSはラベルのみに焦点を当て、既存のデータの分布を無視している。
本稿では、DNNのトレーニングにおいて、既存のデータ分布を柔軟に非表示領域にシフトさせることにより、分散ロバストな最適化(DRO)をLSに導入する。
具体的には、DROを統合する際に、LSの正規化をDNNパラメータの正規化項に拡張できることを示す。
正規化用語は、既存のデータを目に見えない領域に移行し、新しいデータを生成するために利用することができる。
さらに,DNNを学習するための近似勾配定位ラベル平滑化アルゴリズム(GI-LS)を提案する。
既存のデータのシフトがGI-LSの収束に影響を与えないことを示す。
GI-LSは一連のハイパーパラメータを組み込んでいるので、これらのハイパーパラメータの比較的最適な組み合わせを見つけるためにベイズ最適化(BO)を用いることも検討する。
小型の異常分類タスクを事例として,GI-LSの評価を行い,その性能について明らかにした。
関連論文リスト
- Symmetry Discovery for Different Data Types [52.2614860099811]
等価ニューラルネットワークは、そのアーキテクチャに対称性を取り入れ、より高度な一般化性能を実現する。
本稿では,タスクの入出力マッピングを近似したトレーニングニューラルネットワークによる対称性発見手法であるLieSDを提案する。
我々は,2体問題,慣性行列予測のモーメント,トップクォークタグ付けといった課題におけるLieSDの性能を検証した。
論文 参考訳（メタデータ） (2024-10-13T13:39:39Z) - Improving Pseudo-labelling and Enhancing Robustness for Semi-Supervised Domain Generalization [7.9776163947539755]
自動化医療のような現実のアプリケーションに不可欠な半スーパービジョン・ドメイン・ジェネリゼーションの問題について検討する。
モデル平均化を用いた新しい不確実性誘導擬似ラベリングを用いたSSDG手法を提案する。
我々の不確実性誘導型擬似ラベリング(UPL)は、モデル不確実性を利用して擬似ラベリング選択を改善する。
論文 参考訳（メタデータ） (2024-01-25T05:55:44Z) - SMaRt: Improving GANs with Score Matching Regularity [94.81046452865583]
生成的敵ネットワーク(GAN)は通常、基礎となる多様体が複雑である非常に多様なデータから学ぶのに苦労する。
スコアマッチングは、生成したデータポイントを実データ多様体へ持続的にプッシュする能力のおかげで、この問題に対する有望な解決策であることを示す。
スコアマッチング規則性(SMaRt)を用いたGANの最適化を提案する。
論文 参考訳（メタデータ） (2023-11-30T03:05:14Z) - LD-GAN: Low-Dimensional Generative Adversarial Network for Spectral
Image Generation with Variance Regularization [72.4394510913927]
ディープラーニング法はスペクトル画像(SI)計算タスクの最先端技術である。
GANは、データ分散から学習およびサンプリングすることで、多様な拡張を可能にする。
この種のデータの高次元性は、GANトレーニングの収束を妨げるため、GANベースのSI生成は困難である。
本稿では, オートエンコーダ訓練における低次元表現分散を制御し, GANで生成されたサンプルの多様性を高めるための統計正則化を提案する。
論文 参考訳（メタデータ） (2023-04-29T00:25:02Z) - Distributed Semi-supervised Fuzzy Regression with Interpolation
Consistency Regularization [38.16335448831723]
ファジィif-then規則と一貫性規則付き分散半教師付きファジィ回帰(DSFR)モデルを提案する。
人工と実世界の両方のデータセットに対する実験結果から、提案したDSFRモデルは最先端のDSSLアルゴリズムよりもはるかに優れた性能が得られることが示された。
論文 参考訳（メタデータ） (2022-09-18T04:46:51Z) - Integrating Random Effects in Deep Neural Networks [4.860671253873579]
深層ニューラルネットワークにおける相関データを扱うために混合モデルフレームワークを提案する。
相関構造に基づく効果をランダムな効果として扱うことにより、混合モデルは過度に適合したパラメータ推定を避けることができる。
LMMNNと呼ばれる我々のアプローチは、様々な相関シナリオにおいて、自然競合よりも性能を向上させることが実証されている。
論文 参考訳（メタデータ） (2022-06-07T14:02:24Z) - Shift-Robust GNNs: Overcoming the Limitations of Localized Graph
Training data [52.771780951404565]
Shift-Robust GNN (SR-GNN) は、バイアス付きトレーニングデータとグラフの真の推論分布の分布差を考慮に入れた設計である。
SR-GNNが他のGNNベースラインを精度良く上回り、バイアス付きトレーニングデータから生じる負の効果の少なくとも40%を排除していることを示す。
論文 参考訳（メタデータ） (2021-08-02T18:00:38Z) - ScRAE: Deterministic Regularized Autoencoders with Flexible Priors for
Clustering Single-cell Gene Expression Data [11.511172015076532]
シングルセルRNA配列(scRNA-seq)のクラスタリングは、統計的および計算上の課題を引き起こす。
正規化オートエンコーダ(RAE)ベースのディープニューラルネットワークモデルは、ロバストな低次元表現の学習において大きな成功を収めている。
単一セルRNAシークエンシングデータの効果的なクラスタリングのためのRAEフレームワーク( scRAE と呼ばれる)を提案する。
論文 参考訳（メタデータ） (2021-07-16T05:13:31Z) - Rank-R FNN: A Tensor-Based Learning Model for High-Order Data
Classification [69.26747803963907]
Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。
まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。
Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
論文 参考訳（メタデータ） (2021-04-11T16:37:32Z) - Temporal Calibrated Regularization for Robust Noisy Label Learning [60.90967240168525]
ディープニューラルネットワーク(DNN)は、大規模な注釈付きデータセットの助けを借りて、多くのタスクで大きな成功を収めている。
しかし、大規模なデータのラベル付けは非常にコストがかかりエラーが発生しやすいため、アノテーションの品質を保証することは困難である。
本稿では,従来のラベルと予測を併用したTCR(Temporal Calibrated Regularization)を提案する。
論文 参考訳（メタデータ） (2020-07-01T04:48:49Z) - Robust Self-Supervised Convolutional Neural Network for Subspace
Clustering and Classification [0.10152838128195464]
本稿では,自己管理型畳み込みサブスペースクラスタリングネットワーク(S2$ConvSCN)のロバストな定式化を提案する。
真の教師なしのトレーニング環境では、Robust $S2$ConvSCNは、4つのよく知られたデータセットで見られるデータと見えないデータの両方に対して、ベースラインバージョンをかなり上回っている。
論文 参考訳（メタデータ） (2020-04-03T16:07:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。