論文の概要: On the combined effect of class imbalance and concept complexity in deep
learning
- arxiv url: http://arxiv.org/abs/2107.14194v1
- Date: Thu, 29 Jul 2021 17:30:00 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-30 13:12:54.773409
- Title: On the combined effect of class imbalance and concept complexity in deep
learning
- Title（参考訳）: 深層学習におけるクラス不均衡と概念複雑性の複合効果について
- Authors: Kushankur Ghosh, Colin Bellinger, Roberto Corizzo, Bartosz Krawczyk,
Nathalie Japkowicz
- Abstract要約: 本稿では,従来の機械学習システムでは困難であったような環境下でのディープラーニングシステムの振る舞いについて考察する。
深いアーキテクチャは構造的な概念の複雑さに役立ちますが、単純な人工ドメインで重複する課題には役立ちません。
オーバーフィッティングが人工ドメインよりも大きな関心事である現実世界の画像ドメインでは、より深いアーキテクチャの利点は明らかではない。
- 参考スコア（独自算出の注目度）: 11.178586036657798
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Structural concept complexity, class overlap, and data scarcity are some of
the most important factors influencing the performance of classifiers under
class imbalance conditions. When these effects were uncovered in the early
2000s, understandably, the classifiers on which they were demonstrated belonged
to the classical rather than Deep Learning categories of approaches. As Deep
Learning is gaining ground over classical machine learning and is beginning to
be used in critical applied settings, it is important to assess systematically
how well they respond to the kind of challenges their classical counterparts
have struggled with in the past two decades. The purpose of this paper is to
study the behavior of deep learning systems in settings that have previously
been deemed challenging to classical machine learning systems to find out
whether the depth of the systems is an asset in such settings. The results in
both artificial and real-world image datasets (MNIST Fashion, CIFAR-10) show
that these settings remain mostly challenging for Deep Learning systems and
that deeper architectures seem to help with structural concept complexity but
not with overlap challenges in simple artificial domains. Data scarcity is not
overcome by deeper layers, either. In the real-world image domains, where
overfitting is a greater concern than in the artificial domains, the advantage
of deeper architectures is less obvious: while it is observed in certain cases,
it is quickly cancelled as models get deeper and perform worse than their
shallower counterparts.
- Abstract（参考訳）: 構造的概念の複雑さ、クラス重なり、データ不足は、クラス不均衡条件下での分類器の性能に影響を与える最も重要な要素である。
これらの効果が2000年代初頭に明らかにされたとき、証明された分類器は、ディープラーニングのアプローチのカテゴリではなく、古典派に属していた。
ディープラーニングは、古典的機械学習に根ざしており、批判的な応用環境での利用が始まっているため、彼らが過去20年間、古典的機械学習と戦ってきた課題に、いかにうまく対応できるかを体系的に評価することが重要である。
本研究の目的は,従来,古典的機械学習システムにとって困難であった設定における深層学習システムの挙動を調べ,その奥行きがそのような設定の資産であるかどうかを明らかにすることである。
人工的および実世界のイメージデータセット(MNIST Fashion, CIFAR-10)の結果は、これらの設定がディープラーニングシステムでは難しいままであり、より深いアーキテクチャは構造的概念の複雑さに寄与するが、単純な人工ドメインでは重複しない。
データ不足も深いレイヤによって克服されない。
実世界の画像ドメインでは、オーバーフィッティングが人工ドメインよりも大きな関心事となるが、より深いアーキテクチャの利点は明らかではない。
関連論文リスト
- Breaking the Curse of Dimensionality in Deep Neural Networks by Learning
Invariant Representations [1.9580473532948401]
この論文は、これらのモデルのアーキテクチャとそれらが処理するデータ内の固有の構造との関係を研究することによって、ディープラーニングの理論的基礎を探求する。
ディープラーニングアルゴリズムの有効性を駆動するものは何か,いわゆる次元の呪いに勝てるのか,と問う。
本手法は,実験的な研究と物理に触発された玩具モデルを組み合わせることによって,深層学習に実証的なアプローチをとる。
論文 参考訳（メタデータ） (2023-10-24T19:50:41Z) - Towards Understanding Mixture of Experts in Deep Learning [95.27215939891511]
ニューラルネットワーク学習におけるMoE層の性能向上について検討する。
この結果から,基礎となる問題のクラスタ構造と専門家の非線形性は,MoEの成功に欠かせないことが示唆された。
論文 参考訳（メタデータ） (2022-08-04T17:59:10Z) - Fault-Tolerant Deep Learning: A Hierarchical Perspective [12.315753706063324]
我々は、フォールトトレラントなディープラーニング設計アプローチに関する総合的な調査を行う。
モデル層, アーキテクチャ層, 回路層, クロス層からのアプローチについて検討する。
論文 参考訳（メタデータ） (2022-04-05T02:31:18Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳（メタデータ） (2021-04-29T14:31:09Z) - Learning Contact Dynamics using Physically Structured Neural Networks [81.73947303886753]
ディープニューラルネットワークと微分方程式の接続を用いて、オブジェクト間の接触ダイナミクスを表現するディープネットワークアーキテクチャのファミリを設計する。
これらのネットワークは,ノイズ観測から不連続な接触事象をデータ効率良く学習できることを示す。
以上の結果から,タッチフィードバックの理想化形態は,この学習課題を扱いやすくするための重要な要素であることが示唆された。
論文 参考訳（メタデータ） (2021-02-22T17:33:51Z) - Recent advances in deep learning theory [104.01582662336256]
本稿では,近年のディープラーニング理論の進歩をレビューし,整理する。
文献は,(1)深層学習の一般化可能性を分析する複雑性とキャパシティに基づくアプローチ,(2)勾配降下とその変種をモデル化するための微分方程式とその力学系,(3)動的システムの軌道を駆動する損失景観の幾何学的構造,(5)ネットワークアーキテクチャにおけるいくつかの特別な構造の理論的基礎,の6つのグループに分類される。
論文 参考訳（メタデータ） (2020-12-20T14:16:41Z) - Model-Based Deep Learning [155.063817656602]
信号処理、通信、制御は伝統的に古典的な統計モデリング技術に依存している。
ディープニューラルネットワーク(DNN)は、データから操作を学ぶ汎用アーキテクチャを使用し、優れたパフォーマンスを示す。
私たちは、原理数学モデルとデータ駆動システムを組み合わせて両方のアプローチの利点を享受するハイブリッド技術に興味があります。
論文 参考訳（メタデータ） (2020-12-15T16:29:49Z) - Adaptive Hierarchical Decomposition of Large Deep Networks [4.272649614101117]
データセットが大きくなるにつれて、既存のディープラーニングアーキテクチャが一般的な人間によって認識可能な50以上のクラスを扱うように拡張できるかどうかという自然な疑問がある。
本稿では,単一大規模ネットワークの代替として,より小さなディープネットワーク群を自動解析し,構成するフレームワークを提案する。
結果として、より小さなネットワークは、高度にスケーラブルで、並列であり、訓練もより実践的であり、より高い分類精度を達成する。
論文 参考訳（メタデータ） (2020-07-17T21:04:50Z) - Understanding Deep Architectures with Reasoning Layer [60.90906477693774]
本研究では,アルゴリズムの収束,安定性,感度といった特性が,エンドツーエンドモデルの近似と一般化能力と密接に関連していることを示す。
私たちの理論は、深いアーキテクチャを推論層で設計するための有用なガイドラインを提供することができます。
論文 参考訳（メタデータ） (2020-06-24T00:26:35Z) - Learn Class Hierarchy using Convolutional Neural Networks [0.9569316316728905]
画像の階層的分類のための新しいアーキテクチャを提案し、クロスエントロピー損失関数と中心損失を組み合わせた深層線形層を導入する。
階層型分類器は,コンピュータビジョンタスクへの応用を見出す従来の分類手法の利点を示す。
論文 参考訳（メタデータ） (2020-05-18T12:06:43Z) - Introducing Fuzzy Layers for Deep Learning [5.209583609264815]
ディープラーニングにはファジィレイヤという,新たなレイヤを導入しています。
従来、ニューラルネットワークのネットワークアーキテクチャは、入力層、隠された層の組み合わせ、出力層から構成されていた。
本稿では,ファジィ手法によって表現される強力な集約特性を活用するために,ファジィ層をディープラーニングアーキテクチャに導入することを提案する。
論文 参考訳（メタデータ） (2020-02-21T19:33:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。