論文の概要: Improving Out-of-Distribution Data Handling and Corruption Resistance via Modern Hopfield Networks

• arxiv url: http://arxiv.org/abs/2408.11309v1
• Date: Wed, 21 Aug 2024 03:26:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-22 18:38:57.966707
• Title: Improving Out-of-Distribution Data Handling and Corruption Resistance via Modern Hopfield Networks
• Title（参考訳）: 近代ホップフィールドネットワークによるアウト・オブ・ディストリビューションデータ処理と耐故障性の改善
• Authors: Saleh Sargolzaei, Luis Rueda,
• Abstract要約: 本研究は,コンピュータビジョンモデルによるアウト・オブ・ディストリビューションデータ処理能力の向上における,Modern Hopfield Networks (MHN) の可能性を探るものである。 我々は,MHNをベースラインモデルに統合し,ロバスト性を高めることを提案する。 本研究は,MNIST-Cデータセットのモデル性能を一貫して向上することを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This study explores the potential of Modern Hopfield Networks (MHN) in improving the ability of computer vision models to handle out-of-distribution data. While current computer vision models can generalize to unseen samples from the same distribution, they are susceptible to minor perturbations such as blurring, which limits their effectiveness in real-world applications. We suggest integrating MHN into the baseline models to enhance their robustness. This integration can be implemented during the test time for any model and combined with any adversarial defense method. Our research shows that the proposed integration consistently improves model performance on the MNIST-C dataset, achieving a state-of-the-art increase of 13.84% in average corruption accuracy, a 57.49% decrease in mean Corruption Error (mCE), and a 60.61% decrease in relative mCE compared to the baseline model. Additionally, we investigate the capability of MHN to converge to the original non-corrupted data. Notably, our method does not require test-time adaptation or augmentation with corruptions, underscoring its practical viability for real-world deployment. (Source code publicly available at: https://github.com/salehsargolzaee/Hopfield-integrated-test)
• Abstract（参考訳）: 本研究は,コンピュータビジョンモデルによるアウト・オブ・ディストリビューションデータ処理能力の向上における,Modern Hopfield Networks (MHN) の可能性を探るものである。 現在のコンピュータビジョンモデルは、同じ分布から見えないサンプルを一般化することができるが、ブラーリングのような小さな摂動の影響を受けやすいため、現実のアプリケーションではその効果が制限される。 我々は,MHNをベースラインモデルに統合し,ロバスト性を高めることを提案する。 この統合は、あらゆるモデルのテスト時間中に実装でき、あらゆる敵防衛手法と組み合わせることができる。 提案手法は,MNIST-Cデータセットのモデル性能を継続的に改善し,平均劣化精度が13.84%向上し,平均破壊誤差(mCE)が57.49%低下し,ベースラインモデルと比較して相対mCEが60.61%低下したことを示す。 さらに、MHNが元の非破壊データに収束する能力についても検討する。 特に,本手法では,実世界展開における実運用性について,テスト時の適応や汚職の増大は不要である。 (公開コードはhttps://github.com/salehsargolzaee/Hopfield-integrated-test)

関連論文リスト

• Dynamic Batch Norm Statistics Update for Natural Robustness [5.366500153474747]
  本稿では,汚職検出モデルとBN統計更新からなる統合フレームワークを提案する。 CIFAR10-CとImageNet-Cの精度は8%, 4%向上した。
  論文  参考訳（メタデータ） (2023-10-31T17:20:30Z)
• Maintaining Stability and Plasticity for Predictive Churn Reduction [8.971668467496055]
  我々は,累積モデル組合せ (AMC) という解を提案する。 AMCは一般的な手法であり、モデルやデータ特性に応じてそれぞれ独自の利点を持ついくつかの事例を提案する。
  論文  参考訳（メタデータ） (2023-05-06T20:56:20Z)
• Tailoring Language Generation Models under Total Variation Distance [55.89964205594829]
  ニューラルネットワーク生成の標準パラダイムは、最適化方法として最大推定(MLE)を採用する。 言語生成に適用するための実践的境界を開発する。 本稿では,TVD推定のトレードオフのバランスをとるためのTaiLr の目標について紹介する。
  論文  参考訳（メタデータ） (2023-02-26T16:32:52Z)
• MEMO: Test Time Robustness via Adaptation and Augmentation [131.28104376280197]
  テスト時間ロバスト化の問題、すなわちモデルロバスト性を改善するためにテストインプットを用いて検討する。 最近の先行研究ではテスト時間適応法が提案されているが、それぞれ追加の仮定を導入している。 モデルが確率的で適応可能な任意のテスト環境で使用できるシンプルなアプローチを提案する。
  論文  参考訳（メタデータ） (2021-10-18T17:55:11Z)
• Newer is not always better: Rethinking transferability metrics, their peculiarities, stability and performance [5.650647159993238]
  小さなカスタマイズされたデータセット上で、大規模で事前訓練された画像と言語モデルの微調整が人気を集めている。 共分散推定における統計的問題により,Hスコアの性能が低下することが示唆された。 そこで我々は,そのような設定における相対的精度に対する相関性能を補正し,評価することを推奨する。
  論文  参考訳（メタデータ） (2021-10-13T17:24:12Z)
• Test-time Batch Statistics Calibration for Covariate Shift [66.7044675981449]
  我々は,推論中に深層モデルを新しい環境に適応させることを提案する。 バッチ統計の校正に$alpha$-BNの一般的な定式化を提案する。 また、統合テスト時間適応フレームワークCoreを形成するための新しい損失関数も提示する。
  論文  参考訳（メタデータ） (2021-10-06T08:45:03Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• Model-based Policy Optimization with Unsupervised Model Adaptation [37.09948645461043]
  本研究では,不正確なモデル推定による実データとシミュレーションデータのギャップを埋めて,より良いポリシ最適化を実現する方法について検討する。 本稿では,教師なしモデル適応を導入したモデルベース強化学習フレームワークAMPOを提案する。 提案手法は,一連の連続制御ベンチマークタスクにおけるサンプル効率の観点から,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2020-10-19T14:19:42Z)
• Revisiting Batch Normalization for Improving Corruption Robustness [85.20742045853738]
  モデルロバスト性を改善するために, モデルロバスト性を改善するために, バッチ正規化統計の修正を提案する。 モデルを再トレーニングすることなく、BN統計をいくつかの表現サンプル上で単純に推定し、適応させることで、大きなマージンによる腐敗の堅牢性を向上させることが判明した。
  論文  参考訳（メタデータ） (2020-10-07T19:56:47Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。