論文の概要: Self-Supervised Dynamic Networks for Covariate Shift Robustness

• arxiv url: http://arxiv.org/abs/2006.03952v1
• Date: Sat, 6 Jun 2020 19:37:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-24 21:50:43.545314
• Title: Self-Supervised Dynamic Networks for Covariate Shift Robustness
• Title（参考訳）: 共変量シフトロバストネスのための自己監督動的ネットワーク
• Authors: Tomer Cohen, Noy Shulman, Hai Morgenstern, Roey Mechrez, and Erez Farhan
• Abstract要約: Self-Supervised Dynamic Networks (SSDN) は、自己教師ネットワークがメインネットワークの重みを予測できる入力依存のメカニズムである。 本稿では,画像分類問題における提案手法の概念的および実証的利点について述べる。
• 参考スコア（独自算出の注目度）: 9.542023122304098
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As supervised learning still dominates most AI applications, test-time performance is often unexpected. Specifically, a shift of the input covariates, caused by typical nuisances like background-noise, illumination variations or transcription errors, can lead to a significant decrease in prediction accuracy. Recently, it was shown that incorporating self-supervision can significantly improve covariate shift robustness. In this work, we propose Self-Supervised Dynamic Networks (SSDN): an input-dependent mechanism, inspired by dynamic networks, that allows a self-supervised network to predict the weights of the main network, and thus directly handle covariate shifts at test-time. We present the conceptual and empirical advantages of the proposed method on the problem of image classification under different covariate shifts, and show that it significantly outperforms comparable methods.
• Abstract（参考訳）: 教師付き学習が依然としてほとんどのAIアプリケーションを支配しているため、テスト時のパフォーマンスはしばしば予期しない。 特に、背景雑音、照明変動、転写エラーなどの典型的な迷惑によって引き起こされる入力共変量の変化は、予測精度を著しく低下させる可能性がある。 近年,自己スーパービジョンを取り入れることで,共変量シフトのロバスト性が著しく向上することが示された。 本研究では、動的ネットワークにインスパイアされた入力依存機構であるセルフスーパービジョン動的ネットワーク(SSDN)を提案し、本ネットワークの重みを自己教師ネットワークが予測し、テスト時に共変量シフトを直接処理できるようにする。 本稿では,共変量シフトの異なる画像分類問題に対する提案手法の概念的・実証的利点を示し,比較法を有意に上回っていることを示す。

関連論文リスト

• Beyond Pruning Criteria: The Dominant Role of Fine-Tuning and Adaptive Ratios in Neural Network Robustness [7.742297876120561]
  ディープニューラルネットワーク(DNN)は、画像認識や自然言語処理といったタスクに優れています。 従来のプルーニング手法は、微妙な摂動に耐えるネットワークの能力を損なう。 本稿では,プライドネットワークの性能決定要因として,従来の重み付け重み付けの重視に挑戦する。
  論文  参考訳（メタデータ） (2024-10-19T18:35:52Z)
• Improving Network Interpretability via Explanation Consistency Evaluation [56.14036428778861]
  本稿では、より説明可能なアクティベーションヒートマップを取得し、同時にモデル性能を向上させるフレームワークを提案する。 具体的には、モデル学習において、トレーニングサンプルを適応的に重み付けするために、新しいメトリクス、すなわち説明整合性を導入する。 そこで,本フレームワークは,これらのトレーニングサンプルに深い注意を払ってモデル学習を促進する。
  論文  参考訳（メタデータ） (2024-08-08T17:20:08Z)
• Leveraging Low-Rank and Sparse Recurrent Connectivity for Robust Closed-Loop Control [63.310780486820796]
  繰り返し接続のパラメータ化が閉ループ設定のロバスト性にどのように影響するかを示す。 パラメータが少ないクローズドフォーム連続時間ニューラルネットワーク(CfCs)は、フルランクで完全に接続されたニューラルネットワークよりも優れています。
  論文  参考訳（メタデータ） (2023-10-05T21:44:18Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Addressing Mistake Severity in Neural Networks with Semantic Knowledge [0.0]
  ほとんどの堅牢なトレーニング技術は、摂動入力のモデル精度を改善することを目的としている。 強靭性の代替形態として、ニューラルネットワークが挑戦的な状況で犯した誤りの深刻度を低減することを目的としている。 我々は、現在の対人訓練手法を活用して、トレーニングプロセス中に標的の対人攻撃を発生させる。 その結果,本手法は,標準モデルや逆トレーニングモデルと比較して,誤り重大性に対して優れた性能を示した。
  論文  参考訳（メタデータ） (2022-11-21T22:01:36Z)
• Improved and Interpretable Defense to Transferred Adversarial Examples by Jacobian Norm with Selective Input Gradient Regularization [31.516568778193157]
  ディープニューラルネットワーク(DNN)の堅牢性を改善するために、AT(Adversarial Training)がよく用いられる。 本研究では,ジャコビアンノルムと選択的入力勾配正規化(J-SIGR)に基づくアプローチを提案する。 実験により、提案したJ-SIGRは、転送された敵攻撃に対するロバスト性を向上し、ニューラルネットワークからの予測が容易に解釈できることが示されている。
  論文  参考訳（メタデータ） (2022-07-09T01:06:41Z)
• Hindsight Network Credit Assignment: Efficient Credit Assignment in Networks of Discrete Stochastic Units [2.28438857884398]
  本稿では,個別単位のネットワークを対象とした新しい学習アルゴリズムであるHNCAを提案する。 HNCAは、ネットワーク内の直近の子供に影響を与える程度に基づいて、各ユニットにクレジットを割り当てる。 我々は,HNCAを拡張して,その関数がエージェントに知られている単位のネットワークの出力のより一般的な関数を最適化する方法を示す。
  論文  参考訳（メタデータ） (2021-10-14T20:18:38Z)
• Bayesian Attention Belief Networks [59.183311769616466]
  注意に基づくニューラルネットワークは、幅広いタスクにおいて最先端の結果を得た。 本稿では,非正規化注意重みをモデル化してデコーダネットワークを構築するベイズ的注意信念ネットワークについて紹介する。 提案手法は, 精度, 不確実性推定, ドメイン間の一般化, 敵攻撃において, 決定論的注意と最先端の注意よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-09T17:46:22Z)
• Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
  小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。 我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
  論文  参考訳（メタデータ） (2021-02-23T20:59:30Z)
• Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations [52.493315075385325]
  重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。 そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
  論文  参考訳（メタデータ） (2020-08-07T02:55:28Z)
• Defense Through Diverse Directions [24.129270094757587]
  我々は,強い対向性を実現するための新しいベイズニューラルネットワーク手法を開発した。 ネットワークが入力を均等に分散するように促すことによって、ネットワークは局所的かつ脆い機能の影響を受けにくくなっていることを実証する。 いくつかのベンチマークデータセットに経験的ロバスト性を示す。
  論文  参考訳（メタデータ） (2020-03-24T01:22:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。