論文の概要: On the Pitfalls of Learning with Limited Data: A Facial Expression
Recognition Case Study
- arxiv url: http://arxiv.org/abs/2104.02653v1
- Date: Fri, 2 Apr 2021 18:53:41 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-07 14:20:05.405997
- Title: On the Pitfalls of Learning with Limited Data: A Facial Expression
Recognition Case Study
- Title（参考訳）: 限られたデータによる学習の落とし穴について:表情認識ケーススタディ
- Authors: Miguel Rodr\'iguez Santander, Juan Hern\'andez Albarrac\'in, Ad\'in
Ram\'irez Rivera
- Abstract要約: 私達はビデオからの顔表現の認識の問題に焦点を合わせます。
4つのデータベースを異なる複雑さで,9つのディープラーニングアーキテクチャで動画分類を行った。
複雑なトレーニングセットは、トランスファーラーニングと合成生成データでトレーニングすると、より安定したテストセットによく変換されます。
- 参考スコア（独自算出の注目度）: 0.5249805590164901
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Deep learning models need large amounts of data for training. In video
recognition and classification, significant advances were achieved with the
introduction of new large databases. However, the creation of large-databases
for training is infeasible in several scenarios. Thus, existing or small
collected databases are typically joined and amplified to train these models.
Nevertheless, training neural networks on limited data is not straightforward
and comes with a set of problems. In this paper, we explore the effects of
stacking databases, model initialization, and data amplification techniques
when training with limited data on deep learning models' performance. We
focused on the problem of Facial Expression Recognition from videos. We
performed an extensive study with four databases at a different complexity and
nine deep-learning architectures for video classification. We found that (i)
complex training sets translate better to more stable test sets when trained
with transfer learning and synthetically generated data, but their performance
yields a high variance; (ii) training with more detailed data translates to
more stable performance on novel scenarios (albeit with lower performance);
(iii) merging heterogeneous data is not a straightforward improvement, as the
type of augmentation and initialization is crucial; (iv) classical data
augmentation cannot fill the holes created by joining largely separated
datasets; and (v) inductive biases help to bridge the gap when paired with
synthetic data, but this data is not enough when working with standard
initialization techniques.
- Abstract（参考訳）: ディープラーニングモデルは、トレーニングに大量のデータが必要です。
ビデオ認識と分類では、新しい大規模データベースの導入によって大きな進歩を遂げた。
しかし、トレーニング用の大規模データベースの作成は、いくつかのシナリオでは実現不可能である。
したがって、既存のあるいは小さな収集されたデータベースは通常、これらのモデルをトレーニングするために結合され、増幅されます。
それでも、限られたデータでニューラルネットワークをトレーニングするのは簡単ではありません。
本稿では,データベースの積み重ね,モデル初期化,データ増幅がディープラーニングモデルの性能に与える影響について検討する。
ビデオによる表情認識の問題に焦点をあてた。
4つのデータベースを異なる複雑さで,9つのディープラーニングアーキテクチャで動画分類を行った。
We found that (i) complex training sets translate better to more stable test sets when trained with transfer learning and synthetically generated data, but their performance yields a high variance; (ii) training with more detailed data translates to more stable performance on novel scenarios (albeit with lower performance); (iii) merging heterogeneous data is not a straightforward improvement, as the type of augmentation and initialization is crucial; (iv) classical data augmentation cannot fill the holes created by joining largely separated datasets; and (v) inductive biases help to bridge the gap when paired with synthetic data, but this data is not enough when working with standard initialization techniques.
関連論文リスト
- Efficient Grammatical Error Correction Via Multi-Task Training and
Optimized Training Schedule [55.08778142798106]
原文と修正文のアライメントを利用する補助タスクを提案する。
我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。
トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
論文 参考訳（メタデータ） (2023-11-20T14:50:12Z) - Exploring Data Redundancy in Real-world Image Classification through
Data Selection [20.389636181891515]
ディープラーニングモデルはトレーニングに大量のデータを必要とすることが多く、結果としてコストが増大する。
実世界の画像データの冗長性を調べるために,シナプスインテリジェンスと勾配ノルムに基づく2つのデータ評価指標を提案する。
オンラインおよびオフラインのデータ選択アルゴリズムは、検査されたデータ値に基づいてクラスタリングとグループ化によって提案される。
論文 参考訳（メタデータ） (2023-06-25T03:31:05Z) - On Inductive Biases for Machine Learning in Data Constrained Settings [0.0]
この論文は、データ制約された設定で表現力のあるモデルを学ぶという問題に対する異なる答えを探求する。
ニューラルネットワークを学ぶために、大きなデータセットに頼るのではなく、データ構造を反映した既知の関数によって、いくつかのモジュールを置き換えるつもりです。
我々のアプローチは「帰納的バイアス」のフードの下に置かれており、これは探索するモデルの空間を制限する手元にあるデータの仮説として定義することができる。
論文 参考訳（メタデータ） (2023-02-21T14:22:01Z) - Deep invariant networks with differentiable augmentation layers [87.22033101185201]
データ拡張ポリシーの学習方法は、保持データを必要とし、二段階最適化の問題に基づいている。
我々のアプローチは、現代の自動データ拡張技術よりも訓練が簡単で高速であることを示す。
論文 参考訳（メタデータ） (2022-02-04T14:12:31Z) - Deep Learning on a Data Diet: Finding Important Examples Early in
Training [35.746302913918484]
ビジョンデータセットでは、トレーニングの初期段階で重要な例を特定するために、単純なスコアを使用することができる。
グラディエントノルメッド(GraNd)と誤差L2-ノルム(EL2N)という2つのスコアを提案する。
論文 参考訳（メタデータ） (2021-07-15T02:12:20Z) - Synthesizing Irreproducibility in Deep Networks [2.28438857884398]
現代のディープネットワークは非生産性に苦しむ(非決定性または不特定化とも呼ばれる)
単一の非線形性や非常に単純なデータやモデルであっても、不再現性が生じることを示す。
モデルの複雑さと非線形性の選択は、深いモデルを再現不能にする上で重要な役割を果たす。
論文 参考訳（メタデータ） (2021-02-21T21:51:28Z) - Relation-Guided Representation Learning [53.60351496449232]
本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。
私たちのフレームワークは、サンプル間の関係をよく保存します。
サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
論文 参考訳（メタデータ） (2020-07-11T10:57:45Z) - Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。
我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。
そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
論文 参考訳（メタデータ） (2020-05-18T09:36:51Z) - Deep transfer learning for improving single-EEG arousal detection [63.52264764099532]
2つのデータセットは、単一のEEGモデルでパフォーマンスが低下する原因となる、まったく同じ設定を含んでいない。
単チャンネル脳波データのためのアーキテクチャを構築するために,ベースラインモデルをトレーニングし,最初の2層を置き換える。
細調整戦略を用いて,本モデルはベースラインモデルと同等の性能を示し,同等の単一チャネルモデルよりも大幅に優れていた。
論文 参考訳（メタデータ） (2020-04-10T16:51:06Z) - DeGAN : Data-Enriching GAN for Retrieving Representative Samples from a
Trained Classifier [58.979104709647295]
我々は、トレーニングされたネットワークの将来の学習タスクのために、利用可能なデータの豊富さと関連するデータの欠如の間のギャップを埋める。
利用可能なデータは、元のトレーニングデータセットまたは関連するドメインデータセットの不均衡なサブセットである可能性があるため、代表サンプルを検索するために使用します。
関連ドメインからのデータを活用して最先端のパフォーマンスを実現することを実証する。
論文 参考訳（メタデータ） (2019-12-27T02:05:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。