論文の概要: CODA: Constructivism Learning for Instance-Dependent Dropout
Architecture Construction
- arxiv url: http://arxiv.org/abs/2106.08444v1
- Date: Tue, 15 Jun 2021 21:32:28 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-17 17:19:13.726517
- Title: CODA: Constructivism Learning for Instance-Dependent Dropout
Architecture Construction
- Title(参考訳): CODA: インスタンス依存のドロップアウトアーキテクチャ構築のための構成学習
- Authors: Xiaoli Li
- Abstract要約: インスタンス依存型ドロップアウトアーキテクチャ(CODA)のための構成論的学習を提案する。
理論に基づいて、一様プロセス混合モデルというより良いドロップアウトテクニックを設計しました。
我々は,提案手法を実世界の5つのデータセット上で評価し,その性能を他の最先端のドロップアウト手法と比較した。
- 参考スコア(独自算出の注目度): 3.2238887070637805
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Dropout is attracting intensive research interest in deep learning as an
efficient approach to prevent overfitting. Recently incorporating structural
information when deciding which units to drop out produced promising results
comparing to methods that ignore the structural information. However, a major
issue of the existing work is that it failed to differentiate among instances
when constructing the dropout architecture. This can be a significant
deficiency for many applications. To solve this issue, we propose
Constructivism learning for instance-dependent Dropout Architecture (CODA),
which is inspired from a philosophical theory, constructivism learning.
Specially, based on the theory we have designed a better drop out technique,
Uniform Process Mixture Models, using a Bayesian nonparametric method Uniform
process. We have evaluated our proposed method on 5 real-world datasets and
compared the performance with other state-of-the-art dropout techniques. The
experimental results demonstrated the effectiveness of CODA.
- Abstract(参考訳): dropoutは、過剰フィットを防ぐための効率的なアプローチとして、ディープラーニングに対する集中的な研究関心を集めている。
近年,どのユニットをドロップアウトするかを決めると,構造情報を無視する手法と比較して有望な結果が得られた。
しかし、既存の作業で大きな問題は、ドロップアウトアーキテクチャを構築する際にインスタンス間で区別がつかなかったことだ。
これは多くのアプリケーションにとって重大な欠陥となる可能性がある。
この問題を解決するために,本論文では,構成主義学習という哲学理論から着想を得た,インスタンス依存ドロップアウトアーキテクチャ(coda)のための構成主義学習を提案する。
特に, この理論に基づき, ベイズ非パラメトリック法の一様過程を用いて, より優れたドロップアウト法, 一様過程混合モデルを設計した。
提案手法を実世界の5つのデータセット上で評価し,他の最先端のドロップアウト手法と比較した。
実験結果はCODAの有効性を示した。
関連論文リスト
- Distilling Privileged Multimodal Information for Expression Recognition
using Optimal Transport [48.93868076986549]
本稿では、エントロピー規則化されたOTが構造的な暗黒知識を蒸留する最適輸送(OT)に基づく新しい構造的KD機構を提案する。
痛み推定と覚醒価予測の2つの異なる問題について実験を行った。
論文 参考訳(メタデータ) (2024-01-27T19:44:15Z) - Depth-agnostic Single Image Dehazing [12.51359372069387]
本研究では, 深度に依存しないデータセット(DA-HAZE)を生成することで, ヘイズ密度とシーン深度の関係を分離する, 単純かつ斬新な合成法を提案する。
実験によると、DA-HAZEでトレーニングされたモデルは、SOTSとDA-SOTSの相違が少なく、実世界のベンチマークで大幅に改善されている。
我々は、専用に設計されたブロックが組み込まれているデハジングのために、U-Netベースのアーキテクチャを再考する。
論文 参考訳(メタデータ) (2024-01-14T06:33:11Z) - Boosting the Cross-Architecture Generalization of Dataset Distillation
through an Empirical Study [66.73949280109126]
データセット蒸留のクロスアーキテクチャ一般化は、その実用的重要性を弱める。
EvaLuation with distillation Feature (ELF)を提案する。
大規模な実験を行うことで、ALFが現在のDD法のクロスアーキテクチャ一般化を十分に強化できることを示す。
論文 参考訳(メタデータ) (2023-12-09T15:41:42Z) - Lightweight Diffusion Models with Distillation-Based Block Neural
Architecture Search [55.41583104734349]
拡散蒸留に基づくブロックワイドニューラルネットワークサーチ(NAS)により拡散モデルの構造的冗長性を自動的に除去することを提案する。
事前訓練を受けた教師がより多い場合、DiffNASを利用して、教師よりもパフォーマンスが良い最小限のアーキテクチャを探索する。
従来のブロックワイズNAS法とは異なり、DiffNASはブロックワイズ局所探索戦略と、関節ダイナミックロスを伴う再訓練戦略を含んでいる。
論文 参考訳(メタデータ) (2023-11-08T12:56:59Z) - One-for-All: Bridge the Gap Between Heterogeneous Architectures in
Knowledge Distillation [69.65734716679925]
知識蒸留は,教師が指導する学習手法を通じて,モデル性能を向上させる上で,極めて効果的な手法であることが証明されている。
既存の蒸留法のほとんどは、教師と生徒のモデルが同じモデルファミリーに属するという前提で設計されている。
我々は, ヘテロジニアスアーキテクチャ間の蒸留性能を大幅に向上させる, OFA-KDという, 単純で効果的な一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元
論文 参考訳(メタデータ) (2023-10-30T11:13:02Z) - A Discrepancy Aware Framework for Robust Anomaly Detection [51.710249807397695]
本稿では,DAF(Disdisrepancy Aware Framework)を提案する。
本手法は,デコーダの欠陥同定に外見に依存しないキューを利用して,その合成外観への依存を緩和する。
単純な合成戦略の下では,既存の手法を大きなマージンで上回り,また,最先端のローカライゼーション性能も達成している。
論文 参考訳(メタデータ) (2023-10-11T15:21:40Z) - The Staged Knowledge Distillation in Video Classification: Harmonizing
Student Progress by a Complementary Weakly Supervised Framework [21.494759678807686]
ビデオ分類における知識蒸留のための弱教師付き学習フレームワークを提案する。
本手法は,サブステージ学習の概念を利用して,学生のサブステージの組み合わせと,それに対応するサブステージの相関に基づく知識を抽出する。
提案手法は,ビデオデータに対するラベル効率学習の今後の研究の可能性を秘めている。
論文 参考訳(メタデータ) (2023-07-11T12:10:42Z) - A Survey on Dropout Methods and Experimental Verification in
Recommendation [34.557554809126415]
オーバーフィッティング(Overfitting)は、機械学習において一般的な問題であり、モデルがテストデータで不十分なパフォーマンスを保ちながら、トレーニングデータに非常によく適合していることを意味する。
オーバーフィッティングを扱う様々な方法の中で、ドロップアウトは代表的な方法の1つである。
ランダムにニューロンを落とすことから神経構造を落とすことまで、ドロップアウトはモデルの性能を改善することに成功している。
論文 参考訳(メタデータ) (2022-04-05T07:08:21Z) - Efficient Sub-structured Knowledge Distillation [52.5931565465661]
定式化においてよりシンプルで,既存のアプローチよりもはるかに効率的にトレーニングできるアプローチを提案する。
教師モデルから学生モデルへの知識の伝達は、出力空間全体ではなく、すべてのサブ構造上の予測を局所的に一致させることで行う。
論文 参考訳(メタデータ) (2022-03-09T15:56:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。