論文の概要: Nested Learning For Multi-Granular Tasks
- arxiv url: http://arxiv.org/abs/2007.06402v1
- Date: Mon, 13 Jul 2020 14:27:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-10 22:39:48.124507
- Title: Nested Learning For Multi-Granular Tasks
- Title（参考訳）: マルチグラニュラータスクのためのネスト学習
- Authors: Rapha\"el Achddou, J.Matias di Martino, Guillermo Sapiro
- Abstract要約: 元のトレーニングディストリビューションからないサンプルに、粗悪に一般化する。
標準ディープニューラルネットワーク(DNN)は通常、特定のタスクに対してエンドツーエンドでトレーニングされる。
ネスト学習の概念として,入力の階層的表現を得る方法を紹介する。
ネスト学習は、標準のエンドツーエンド方式でトレーニングされた同じネットワークよりも優れていることを示す。
- 参考スコア（独自算出の注目度）: 24.600419295290504
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Standard deep neural networks (DNNs) are commonly trained in an end-to-end
fashion for specific tasks such as object recognition, face identification, or
character recognition, among many examples. This specificity often leads to
overconfident models that generalize poorly to samples that are not from the
original training distribution. Moreover, such standard DNNs do not allow to
leverage information from heterogeneously annotated training data, where for
example, labels may be provided with different levels of granularity.
Furthermore, DNNs do not produce results with simultaneous different levels of
confidence for different levels of detail, they are most commonly an all or
nothing approach. To address these challenges, we introduce the concept of
nested learning: how to obtain a hierarchical representation of the input such
that a coarse label can be extracted first, and sequentially refine this
representation, if the sample permits, to obtain successively refined
predictions, all of them with the corresponding confidence. We explicitly
enforce this behavior by creating a sequence of nested information bottlenecks.
Looking at the problem of nested learning from an information theory
perspective, we design a network topology with two important properties. First,
a sequence of low dimensional (nested) feature embeddings are enforced. Then we
show how the explicit combination of nested outputs can improve both the
robustness and the accuracy of finer predictions. Experimental results on
Cifar-10, Cifar-100, MNIST, Fashion-MNIST, Dbpedia, and Plantvillage
demonstrate that nested learning outperforms the same network trained in the
standard end-to-end fashion.
- Abstract（参考訳）: 標準ディープニューラルネットワーク(DNN)は、オブジェクト認識、顔識別、文字認識などの特定のタスクに対して、エンドツーエンドで一般的に訓練されている。
この特異性はしばしば、元のトレーニング分布からでないサンプルにあまり一般化しない過信モデルをもたらす。
さらに、このような標準的なDNNでは、例えばラベルに異なるレベルの粒度を付与するなど、異種アノテートされたトレーニングデータの情報を利用できない。
さらに、DNNは、異なるレベルの詳細に対して、同時に異なるレベルの信頼度を持つ結果を生成しない。
これらの課題に対処するために,まず粗いラベルを抽出できるように入力の階層的表現をどのように獲得するか,そして,サンプルが許せばその表現を逐次的に洗練し,逐次的に洗練された予測を得るか,といったネスト学習の概念を導入する。
ネストした情報のボトルネックのシーケンスを作成することで、この動作を明示的に実施します。
情報理論の観点からネスト学習の問題を考えると、2つの重要な特性を持つネットワークトポロジーを設計する。
まず、低次元(ネステッド)な特徴埋め込みの列を強制する。
次に,ネスト出力の明示的な組み合わせにより,より詳細な予測のロバスト性と精度が向上することを示す。
cifar-10, cifar-100, mnist, fashion-mnist, dbpedia, plantvillageの実験結果は、ネスト学習が標準的なエンドツーエンドでトレーニングされたネットワークよりも優れていることを示している。
関連論文リスト
- Mutual Exclusivity Training and Primitive Augmentation to Induce
Compositionality [84.94877848357896]
最近のデータセットは、標準的なシーケンス・ツー・シーケンスモデルにおける体系的な一般化能力の欠如を露呈している。
本稿では,セq2seqモデルの振る舞いを分析し,相互排他バイアスの欠如と全例を記憶する傾向の2つの要因を同定する。
広範に使用されている2つの構成性データセット上で、標準的なシーケンス・ツー・シーケンスモデルを用いて、経験的改善を示す。
論文 参考訳（メタデータ） (2022-11-28T17:36:41Z) - Mutual Information Learned Classifiers: an Information-theoretic
Viewpoint of Training Deep Learning Classification Systems [9.660129425150926]
クロスエントロピー損失は、重度のオーバーフィッティング動作を示すモデルを見つけるのに容易である。
本稿では,既存のDNN分類器のクロスエントロピー損失最小化が,基礎となるデータ分布の条件エントロピーを本質的に学習することを証明する。
ラベルと入力の相互情報を学習することで、DNN分類器を訓練する相互情報学習フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-03T15:09:19Z) - Learning to Imagine: Diversify Memory for Incremental Learning using
Unlabeled Data [69.30452751012568]
本研究では,多様な特徴を適応的に生成することで,経験を多様化する学習可能な特徴生成装置を開発する。
生成したサンプルを前例とセマンティックに整合させるために,意味的コントラスト学習を導入する。
提案手法は, 余分な推論コストを伴わず, 2つのベンチマークで最先端の手法より優れている。
論文 参考訳（メタデータ） (2022-04-19T15:15:18Z) - Compare learning: bi-attention network for few-shot learning [6.559037166322981]
距離学習と呼ばれる数ショットの学習手法の1つは、画像のペアが同じカテゴリに属しているかどうかを判断するために、まず遠距離計量を学習することで、この課題に対処する。
本稿では, インスタンスの埋め込みの類似性を正確に, グローバルかつ効率的に測定できる, Bi-attention Network という新しい手法を提案する。
論文 参考訳（メタデータ） (2022-03-25T07:39:10Z) - Rethinking Nearest Neighbors for Visual Classification [56.00783095670361]
k-NNは、トレーニングセット内のテストイメージとトップk隣人間の距離を集約する遅延学習手法である。
我々は,教師付き手法と自己監督型手法のいずれでも,事前学習した視覚表現を持つk-NNを2つのステップで採用する。
本研究は,幅広い分類タスクに関する広範な実験により,k-NN統合の汎用性と柔軟性を明らかにした。
論文 参考訳（メタデータ） (2021-12-15T20:15:01Z) - Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。
種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。
共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
論文 参考訳（メタデータ） (2020-10-01T17:51:49Z) - Temporal Calibrated Regularization for Robust Noisy Label Learning [60.90967240168525]
ディープニューラルネットワーク(DNN)は、大規模な注釈付きデータセットの助けを借りて、多くのタスクで大きな成功を収めている。
しかし、大規模なデータのラベル付けは非常にコストがかかりエラーが発生しやすいため、アノテーションの品質を保証することは困難である。
本稿では,従来のラベルと予測を併用したTCR(Temporal Calibrated Regularization)を提案する。
論文 参考訳（メタデータ） (2020-07-01T04:48:49Z) - One Versus all for deep Neural Network Incertitude (OVNNI)
quantification [12.734278426543332]
本稿では,データの疫学的不確実性を容易に定量化するための新しい手法を提案する。
本手法は,1つのクラス対他のクラス(OVA)を分類するために訓練されたDNNのアンサンブルの予測と,オール対オール(AVA)分類を実行するために訓練された標準DNNの予測とを混合して構成する。
論文 参考訳（メタデータ） (2020-06-01T14:06:12Z) - Learning What Makes a Difference from Counterfactual Examples and
Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。
我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。
このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文 参考訳（メタデータ） (2020-04-20T02:47:49Z) - One-vs-Rest Network-based Deep Probability Model for Open Set
Recognition [6.85316573653194]
インテリジェントな自己学習システムは、既知の例と未知の例を区別することができるべきである。
1-vs-restネットワークは、よく使われるSoftMaxレイヤよりも、未知の例に対して、より有益な隠れ表現を提供することができる。
提案した確率モデルは、オープンセットの分類シナリオにおいて最先端の手法よりも優れていた。
論文 参考訳（メタデータ） (2020-04-17T05:24:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。