論文の概要: Towards Improving Robustness Against Common Corruptions using Mixture of
Class Specific Experts
- arxiv url: http://arxiv.org/abs/2311.10177v1
- Date: Thu, 16 Nov 2023 20:09:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-22 15:40:42.366056
- Title: Towards Improving Robustness Against Common Corruptions using Mixture of
Class Specific Experts
- Title（参考訳）: クラス特定専門家の混在による共用破壊に対するロバスト性向上に向けて
- Authors: Shashank Kotyan and Danilo Vasconcellos Vargas
- Abstract要約: 本稿では,クラス特化エキスパートアーキテクチャの混合として知られる新しいパラダイムを紹介する。
提案したアーキテクチャは、一般的なニューラルネットワーク構造に関連する脆弱性を軽減することを目的としている。
- 参考スコア（独自算出の注目度）: 10.27974860479791
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural networks have demonstrated significant accuracy across various
domains, yet their vulnerability to subtle input alterations remains a
persistent challenge. Conventional methods like data augmentation, while
effective to some extent, fall short in addressing unforeseen corruptions,
limiting the adaptability of neural networks in real-world scenarios. In
response, this paper introduces a novel paradigm known as the Mixture of
Class-Specific Expert Architecture. The approach involves disentangling feature
learning for individual classes, offering a nuanced enhancement in scalability
and overall performance. By training dedicated network segments for each class
and subsequently aggregating their outputs, the proposed architecture aims to
mitigate vulnerabilities associated with common neural network structures. The
study underscores the importance of comprehensive evaluation methodologies,
advocating for the incorporation of benchmarks like the common corruptions
benchmark. This inclusion provides nuanced insights into the vulnerabilities of
neural networks, especially concerning their generalization capabilities and
robustness to unforeseen distortions. The research aligns with the broader
objective of advancing the development of highly robust learning systems
capable of nuanced reasoning across diverse and challenging real-world
scenarios. Through this contribution, the paper aims to foster a deeper
understanding of neural network limitations and proposes a practical approach
to enhance their resilience in the face of evolving and unpredictable
conditions.
- Abstract（参考訳）: ニューラルネットワークは様々な領域でかなりの精度を示してきたが、微妙な入力変更に対する脆弱性は依然として持続的な課題である。
データ拡張のような従来の方法は、ある程度有効ではあるが、予期せぬ腐敗に対処するには不足し、現実世界のシナリオにおけるニューラルネットワークの適応性を制限する。
そこで,本稿では,クラス固有のエキスパートアーキテクチャの混合として知られる新しいパラダイムを提案する。
このアプローチでは、個々のクラスで機能学習を分離し、スケーラビリティと全体的なパフォーマンスの微妙な向上を提供する。
各クラスの専用ネットワークセグメントをトレーニングし、その後出力を集約することにより、提案されたアーキテクチャは、共通のニューラルネットワーク構造に関連する脆弱性を軽減することを目指している。
この研究は包括的な評価手法の重要性を強調し、共通腐敗ベンチマークのようなベンチマークの導入を提唱している。
この包含は、ニューラルネットワークの脆弱性、特にその一般化能力と予期せぬ歪みに対する堅牢性に関する微妙な洞察を提供する。
この研究は、多様で挑戦的な現実世界のシナリオにまたがる推論をニュアンスできる、高度に堅牢な学習システムの開発を進めるという、より広い目標と一致している。
この貢献を通じて、ニューラルネットワークの限界をより深く理解し、進化的かつ予測不能な状況に直面したレジリエンスを高めるための実践的なアプローチを提案する。
関連論文リスト
- Beyond Dropout: Robust Convolutional Neural Networks Based on Local Feature Masking [6.189613073024831]
本研究では、畳み込みニューラルネットワーク(CNN)の性能向上を目的とした、革新的なローカル特徴マスキング(LFM)戦略を紹介する。
トレーニング期間中、我々はCNNの浅い層にランダムな特徴マスキングを戦略的に組み込む。
LFMは、ある意味的特徴の欠如を補うために残りの特徴を活用することで、ネットワークを補完する。
論文 参考訳（メタデータ） (2024-07-18T16:25:16Z) - Feature Contamination: Neural Networks Learn Uncorrelated Features and Fail to Generalize [5.642322814965062]
分散シフトの下で一般化される学習表現は、堅牢な機械学習モデルを構築する上で重要である。
ニューラルネットワークを教師ネットワークから得られる表現に明示的に適合させることさえ、学生ネットワークの一般化には不十分であることを示す。
論文 参考訳（メタデータ） (2024-06-05T15:04:27Z) - Conserve-Update-Revise to Cure Generalization and Robustness Trade-off
in Adversarial Training [21.163070161951868]
敵の訓練は、敵の攻撃に対するニューラルネットワークの堅牢性を改善する。
特定のレイヤを選択的に更新し、他のレイヤを保存することで、ネットワークの学習能力を大幅に向上させることができることを示す。
重みの選択的保存, 更新, 修正を行うために, 勾配プロミネンス基準を利用した新しいトレーニングフレームワークCUREを提案する。
論文 参考訳（メタデータ） (2024-01-26T15:33:39Z) - A Survey on Transferability of Adversarial Examples across Deep Neural Networks [53.04734042366312]
逆の例では、機械学習モデルを操作して誤った予測を行うことができます。
敵の例の転送可能性により、ターゲットモデルの詳細な知識を回避できるブラックボックス攻撃が可能となる。
本研究は, 対角移動可能性の展望を考察した。
論文 参考訳（メタデータ） (2023-10-26T17:45:26Z) - Rank Diminishing in Deep Neural Networks [71.03777954670323]
ニューラルネットワークのランクは、層をまたがる情報を測定する。
これは機械学習の幅広い領域にまたがる重要な構造条件の例である。
しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
論文 参考訳（メタデータ） (2022-06-13T12:03:32Z) - Residual Error: a New Performance Measure for Adversarial Robustness [85.0371352689919]
ディープラーニングの広く普及を制限する大きな課題は、敵の攻撃に対する脆弱さである。
本研究は,ディープニューラルネットワークの対角強靭性を評価するための新しい性能尺度である残留誤差の概念を提示する。
画像分類を用いた実験結果から,提案手法の有効性と有効性を示した。
論文 参考訳（メタデータ） (2021-06-18T16:34:23Z) - Anomaly Detection on Attributed Networks via Contrastive Self-Supervised
Learning [50.24174211654775]
本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。
このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。
高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
論文 参考訳（メタデータ） (2021-02-27T03:17:20Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z) - Improving Adversarial Robustness by Enforcing Local and Global
Compactness [19.8818435601131]
敵の訓練は、広範囲の攻撃に一貫して抵抗する最も成功した方法である。
本稿では,局所的・言語的コンパクト性とクラスタリングの仮定を強制する分散分散化ネットワークを提案する。
実験の結果,提案するコンポーネントによる対人訓練の強化は,ネットワークの堅牢性をさらに向上させる可能性が示唆された。
論文 参考訳（メタデータ） (2020-07-10T00:43:06Z) - Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。
本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。
我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
論文 参考訳（メタデータ） (2020-06-16T18:45:20Z) - Exploiting the Full Capacity of Deep Neural Networks while Avoiding
Overfitting by Targeted Sparsity Regularization [1.3764085113103217]
オーバーフィッティングは、比較的小さなデータセットでディープニューラルネットワークをトレーニングする際の最も一般的な問題の1つである。
オーバーフィッティング対策として, 新規な対象空間可視化と正規化戦略を提案する。
論文 参考訳（メタデータ） (2020-02-21T11:38:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。