Fugu-MT 論文翻訳(概要): Make the Most of Your Data: Changing the Training Data Distribution to Improve In-distribution Generalization Performance

論文の概要: Make the Most of Your Data: Changing the Training Data Distribution to Improve In-distribution Generalization Performance

arxiv url: http://arxiv.org/abs/2404.17768v1
Date: Sat, 27 Apr 2024 03:30:50 GMT
ステータス: 処理完了
システム内更新日: 2024-04-30 19:20:56.694445
Title: Make the Most of Your Data: Changing the Training Data Distribution to Improve In-distribution Generalization Performance
Title（参考訳）: データを最大限に活用する - トレーニングデータ分布を変えて分散化の一般化性能を改善する
Authors: Dang Nguyen, Paymon Haddad, Eric Gan, Baharan Mirzasoleiman,
Abstract要約: 我々は、勾配降下(GD)の誘導バイアスとシャープネス認識最小化(SAM)について検討する。本研究では,(S)GD を用いたトレーニングにおいて,トレーニングデータ分布を変更することで,元のデータ分布の一般化性能を効果的に向上することを示す。
参考スコア（独自算出の注目度）: 12.472871440252105
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Can we modify the training data distribution to encourage the underlying optimization method toward finding solutions with superior generalization performance on in-distribution data? In this work, we approach this question for the first time by comparing the inductive bias of gradient descent (GD) with that of sharpness-aware minimization (SAM). By studying a two-layer CNN, we prove that SAM learns easy and difficult features more uniformly, particularly in early epochs. That is, SAM is less susceptible to simplicity bias compared to GD. Based on this observation, we propose USEFUL, an algorithm that clusters examples based on the network output early in training and upsamples examples with no easy features to alleviate the pitfalls of the simplicity bias. We show empirically that modifying the training data distribution in this way effectively improves the generalization performance on the original data distribution when training with (S)GD by mimicking the training dynamics of SAM. Notably, we demonstrate that our method can be combined with SAM and existing data augmentation strategies to achieve, to the best of our knowledge, state-of-the-art performance for training ResNet18 on CIFAR10, STL10, CINIC10, Tiny-ImageNet; ResNet34 on CIFAR100; and VGG19 and DenseNet121 on CIFAR10.
Abstract（参考訳）: 分散データ上での一般化性能の優れた解を求めるため、トレーニングデータ分布を変更して、基礎となる最適化手法を奨励できるだろうか? 本研究では,勾配降下(GD)の帰納バイアスとシャープネス認識最小化(SAM)のバイアスを比較することで,この問題に初めてアプローチする。 2層CNNを研究した結果、SAMは特に初期の時代において、より簡単で難しい特徴をより均一に学習できることが証明された。つまり、SAMはGDに比べて単純さのバイアスの影響を受けにくい。そこで本研究では,トレーニングの初期段階でネットワーク出力に基づいてサンプルをクラスタリングし,単純なバイアスの落とし穴を緩和するための簡単な機能を持たずにサンプルをサンプリングするアルゴリズムであるUSEFULを提案する。本研究では,(S)GD を用いたトレーニングにおいて,SAM のトレーニングダイナミクスを模倣することにより,トレーニングデータ分布の変更により,元のデータ分布の一般化性能が向上することを示す。 CIFAR10, STL10, CINIC10, Tiny-ImageNet, ResNet34, CIFAR100, VGG19, DenseNet121, CIFAR10におけるResNet18, DenseNet121の知識を活かして, SAMおよび既存のデータ拡張戦略と組み合わせて実現可能であることを示す。

関連論文リスト

Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文参考訳（メタデータ） (2024-03-01T03:27:08Z)
Take the Bull by the Horns: Hard Sample-Reweighted Continual Training Improves LLM Generalization [165.98557106089777]
大きな言語モデル(LLM)の能力を高めることが大きな課題だ。本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
論文参考訳（メタデータ） (2024-02-22T04:10:57Z)
Simple and effective data augmentation for compositional generalization [64.00420578048855]
MRをサンプリングし,それらを逆翻訳するデータ拡張法は,合成一般化に有効であることを示す。注目すべきは、一様分布からのサンプリングは、テスト分布からのサンプリングとほぼ同等に実行されることである。
論文参考訳（メタデータ） (2024-01-18T09:13:59Z)
Consistency Regularization for Generalizable Source-free Domain Adaptation [62.654883736925456]
ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
論文参考訳（メタデータ） (2023-08-03T07:45:53Z)
DBN-Mix: Training Dual Branch Network Using Bilateral Mixup Augmentation for Long-Tailed Visual Recognition [7.94190631530826]
累積学習を必要とせず,DBNの性能を向上させるための簡易かつ効果的な手法を開発した。提案したDBNアーキテクチャの多数派に対する偏りを緩和するクラス条件温度スケーリングを提案する。
論文参考訳（メタデータ） (2022-07-05T17:01:27Z)
Open-Sampling: Exploring Out-of-Distribution data for Re-balancing Long-tailed datasets [24.551465814633325]
深層ニューラルネットワークは通常、トレーニングデータセットが極端なクラス不均衡に苦しむ場合、パフォーマンスが良くない。近年の研究では、半教師付き方式でアウト・オブ・ディストリビューションデータによる直接トレーニングが一般化性能を損なうことが報告されている。そこで我々は,オープンセットノイズラベルを用いて学習データセットのクラス前のバランスを再調整する,オープンサンプリングと呼ばれる新しい手法を提案する。
論文参考訳（メタデータ） (2022-06-17T14:29:52Z)
POODLE: Improving Few-shot Learning via Penalizing Out-of-Distribution Samples [19.311470287767385]
そこで本研究では,対象クラス外からのラベル付きサンプルの配布外サンプルを用いて,数発の学習を改善することを提案する。提案手法は, 実装が簡単で, 特徴抽出器に非依存であり, 事前学習に要する追加コストを伴わず軽量であり, インダクティブ設定とトランスダクティブ設定の両方に適用可能である。
論文参考訳（メタデータ） (2022-06-08T18:59:21Z)
Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
論文参考訳（メタデータ） (2021-12-10T20:46:13Z)
Selective Output Smoothing Regularization: Regularize Neural Networks by Softening Output Distributions [5.725228891050467]
畳み込みニューラルネットワーク(CNN)を学習するための新しい正規化手法であるSelective Output Smoothing Regularizationを提案する。異なるサンプルからのトレーニングに対する多様な影響にインスパイアされたSelective Output Smoothing Regularizationは、モデルに不正なクラスで同等のロジットを生成するように促すことによって、パフォーマンスを改善する。このプラグアンドプレイ正規化方法は、余分な手間をかけずに、ほぼすべてのCNNベースのプロジェクトに便利に組み込むことができる。
論文参考訳（メタデータ） (2021-03-29T07:21:06Z)
Mind the Trade-off: Debiasing NLU Models without Degrading the In-distribution Performance [70.31427277842239]
信頼性正則化という新しいデバイアス化手法を導入する。モデルがバイアスを悪用するのを防ぐと同時に、トレーニングのすべての例から学ぶのに十分なインセンティブを得られるようにします。提案手法を3つのNLUタスクで評価し,前者とは対照的に,アウト・オブ・ディストリビューション・データセットの性能が向上することを示す。
論文参考訳（メタデータ） (2020-05-01T11:22:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。