論文の概要: CODA: Constructivism Learning for Instance-Dependent Dropout Architecture Construction

• arxiv url: http://arxiv.org/abs/2106.08444v1
• Date: Tue, 15 Jun 2021 21:32:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-17 17:19:13.726517
• Title: CODA: Constructivism Learning for Instance-Dependent Dropout Architecture Construction
• Title（参考訳）: CODA: インスタンス依存のドロップアウトアーキテクチャ構築のための構成学習
• Authors: Xiaoli Li
• Abstract要約: インスタンス依存型ドロップアウトアーキテクチャ(CODA)のための構成論的学習を提案する。 理論に基づいて、一様プロセス混合モデルというより良いドロップアウトテクニックを設計しました。 我々は,提案手法を実世界の5つのデータセット上で評価し,その性能を他の最先端のドロップアウト手法と比較した。
• 参考スコア（独自算出の注目度）: 3.2238887070637805
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Dropout is attracting intensive research interest in deep learning as an efficient approach to prevent overfitting. Recently incorporating structural information when deciding which units to drop out produced promising results comparing to methods that ignore the structural information. However, a major issue of the existing work is that it failed to differentiate among instances when constructing the dropout architecture. This can be a significant deficiency for many applications. To solve this issue, we propose Constructivism learning for instance-dependent Dropout Architecture (CODA), which is inspired from a philosophical theory, constructivism learning. Specially, based on the theory we have designed a better drop out technique, Uniform Process Mixture Models, using a Bayesian nonparametric method Uniform process. We have evaluated our proposed method on 5 real-world datasets and compared the performance with other state-of-the-art dropout techniques. The experimental results demonstrated the effectiveness of CODA.
• Abstract（参考訳）: dropoutは、過剰フィットを防ぐための効率的なアプローチとして、ディープラーニングに対する集中的な研究関心を集めている。 近年,どのユニットをドロップアウトするかを決めると,構造情報を無視する手法と比較して有望な結果が得られた。 しかし、既存の作業で大きな問題は、ドロップアウトアーキテクチャを構築する際にインスタンス間で区別がつかなかったことだ。 これは多くのアプリケーションにとって重大な欠陥となる可能性がある。 この問題を解決するために,本論文では,構成主義学習という哲学理論から着想を得た,インスタンス依存ドロップアウトアーキテクチャ(coda)のための構成主義学習を提案する。 特に, この理論に基づき, ベイズ非パラメトリック法の一様過程を用いて, より優れたドロップアウト法, 一様過程混合モデルを設計した。 提案手法を実世界の5つのデータセット上で評価し,他の最先端のドロップアウト手法と比較した。 実験結果はCODAの有効性を示した。

関連論文リスト

• LT-DARTS: An Architectural Approach to Enhance Deep Long-Tailed Learning [5.214135587370722]
  我々はLong-Tailed Differential Architecture Search (LT-DARTS)を紹介する。 長いデータに対して優れたパフォーマンスを示すアーキテクチャコンポーネントを探索するために、広範な実験を行います。 これにより、検索プロセスを通じて得られたアーキテクチャが優れたコンポーネントを組み込むことが保証される。
  論文  参考訳（メタデータ） (2024-11-09T07:19:56Z)
• Towards Robust Out-of-Distribution Generalization: Data Augmentation and Neural Architecture Search Approaches [4.577842191730992]
  我々は、ディープラーニングのための堅牢なOoD一般化への道を探る。 まず,認識に必須でない特徴間の素早い相関を解消するための,新しい効果的なアプローチを提案する。 次に,OoDシナリオにおけるニューラルアーキテクチャ探索の強化問題について検討する。
  論文  参考訳（メタデータ） (2024-10-25T20:50:32Z)
• Can LLMs Separate Instructions From Data? And What Do We Even Mean By That? [60.50127555651554]
  大規模言語モデル(LLM)は、多くの実用的なアプリケーションにおいて印象的な結果を示すが、基本的な安全性機能は欠如している。 これにより、間接的なプロンプトインジェクションのような操作に脆弱になり、一般に安全クリティカルなタスクには適さない。 モデル出力から計算可能な命令データ分離の形式的尺度と経験的変量を導入する。
  論文  参考訳（メタデータ） (2024-03-11T15:48:56Z)
• Depth-agnostic Single Image Dehazing [12.51359372069387]
  本研究では, 深度に依存しないデータセット(DA-HAZE)を生成することで, ヘイズ密度とシーン深度の関係を分離する, 単純かつ斬新な合成法を提案する。 実験によると、DA-HAZEでトレーニングされたモデルは、SOTSとDA-SOTSの相違が少なく、実世界のベンチマークで大幅に改善されている。 我々は、専用に設計されたブロックが組み込まれているデハジングのために、U-Netベースのアーキテクチャを再考する。
  論文  参考訳（メタデータ） (2024-01-14T06:33:11Z)
• Boosting the Cross-Architecture Generalization of Dataset Distillation through an Empirical Study [52.83643622795387]
  データセット蒸留のクロスアーキテクチャ一般化は、その実用的重要性を弱める。 EvaLuation with distillation Feature (ELF)を提案する。 大規模な実験を行うことで、ALFが現在のDD法のクロスアーキテクチャ一般化を十分に強化できることを示す。
  論文  参考訳（メタデータ） (2023-12-09T15:41:42Z)
• Lightweight Diffusion Models with Distillation-Based Block Neural Architecture Search [55.41583104734349]
  拡散蒸留に基づくブロックワイドニューラルネットワークサーチ(NAS)により拡散モデルの構造的冗長性を自動的に除去することを提案する。 事前訓練を受けた教師がより多い場合、DiffNASを利用して、教師よりもパフォーマンスが良い最小限のアーキテクチャを探索する。 従来のブロックワイズNAS法とは異なり、DiffNASはブロックワイズ局所探索戦略と、関節ダイナミックロスを伴う再訓練戦略を含んでいる。
  論文  参考訳（メタデータ） (2023-11-08T12:56:59Z)
• One-for-All: Bridge the Gap Between Heterogeneous Architectures in Knowledge Distillation [69.65734716679925]
  知識蒸留は,教師が指導する学習手法を通じて,モデル性能を向上させる上で,極めて効果的な手法であることが証明されている。 既存の蒸留法のほとんどは、教師と生徒のモデルが同じモデルファミリーに属するという前提で設計されている。 我々は, ヘテロジニアスアーキテクチャ間の蒸留性能を大幅に向上させる, OFA-KDという, 単純で効果的な一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元
  論文  参考訳（メタデータ） (2023-10-30T11:13:02Z)
• A Discrepancy Aware Framework for Robust Anomaly Detection [51.710249807397695]
  本稿では,DAF(Disdisrepancy Aware Framework)を提案する。 本手法は,デコーダの欠陥同定に外見に依存しないキューを利用して,その合成外観への依存を緩和する。 単純な合成戦略の下では,既存の手法を大きなマージンで上回り,また,最先端のローカライゼーション性能も達成している。
  論文  参考訳（メタデータ） (2023-10-11T15:21:40Z)
• A Survey on Dropout Methods and Experimental Verification in Recommendation [34.557554809126415]
  オーバーフィッティング(Overfitting)は、機械学習において一般的な問題であり、モデルがテストデータで不十分なパフォーマンスを保ちながら、トレーニングデータに非常によく適合していることを意味する。 オーバーフィッティングを扱う様々な方法の中で、ドロップアウトは代表的な方法の1つである。 ランダムにニューロンを落とすことから神経構造を落とすことまで、ドロップアウトはモデルの性能を改善することに成功している。
  論文  参考訳（メタデータ） (2022-04-05T07:08:21Z)
• Efficient Sub-structured Knowledge Distillation [52.5931565465661]
  定式化においてよりシンプルで,既存のアプローチよりもはるかに効率的にトレーニングできるアプローチを提案する。 教師モデルから学生モデルへの知識の伝達は、出力空間全体ではなく、すべてのサブ構造上の予測を局所的に一致させることで行う。
  論文  参考訳（メタデータ） (2022-03-09T15:56:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。