論文の概要: SelfNorm and CrossNorm for Out-of-Distribution Robustness

• arxiv url: http://arxiv.org/abs/2102.02811v1
• Date: Thu, 4 Feb 2021 18:59:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-05 16:40:55.188574
• Title: SelfNorm and CrossNorm for Out-of-Distribution Robustness
• Title（参考訳）: 分散ロバスト性のためのSelfNormとCrossNorm
• Authors: Zhiqiang Tang, Yunhe Gao, Yi Zhu, Zhi Zhang, Mu Li, Dimitris Metaxas
• Abstract要約: 本稿では,OODの一般化を促進するために,SelfNormとCrossNormの2つの正規化手法を提案する。 異なるドメイン(ビジョンと言語)、タスク(分類とセグメンテーション)、セッティング(教師付きおよび半教師付き)の実験は、その効果を示す。
• 参考スコア（独自算出の注目度）: 11.373698562303888
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Normalization techniques are crucial in stabilizing and accelerating the training of deep neural networks. However, they are mainly designed for the independent and identically distributed (IID) data, not satisfying many real-world out-of-distribution (OOD) situations. Unlike most previous works, this paper presents two normalization methods, SelfNorm and CrossNorm, to promote OOD generalization. SelfNorm uses attention to recalibrate statistics (channel-wise mean and variance), while CrossNorm exchanges the statistics between feature maps. SelfNorm and CrossNorm can complement each other in OOD generalization, though exploring different directions in statistics usage. Extensive experiments on different domains (vision and language), tasks (classification and segmentation), and settings (supervised and semi-supervised) show their effectiveness.
• Abstract（参考訳）: 正規化技術はディープニューラルネットワークのトレーニングの安定化と加速に不可欠である。 しかし、それらは主に独立で同一の分散(IID)データのために設計されており、多くの現実世界の分散(OOD)状況を満たしていません。 従来と異なり,本論文ではOOD一般化を促進するために,SelfNormとCrossNormの2つの正規化手法を提案する。 SelfNormは、統計(チャネル平均と分散)を再検討するのに対して、CrossNormは特徴マップ間で統計を交換する。 SelfNormとCrossNormは、統計利用のさまざまな方向を探索しながら、OOD一般化で互いに補完することができます。 異なる領域(視覚と言語)、タスク(分類とセグメンテーション)、および設定(監督および半監督)に関する広範な実験は、それらの有効性を示しています。

関連論文リスト

• Positive and Unlabeled Data: Model, Estimation, Inference, and Classification [10.44075062541605]
  本研究では、二重指数傾斜モデル(DETM)による正・ラベルなし(PU)データへの新たなアプローチを提案する。 従来の手法は、完全にランダム(SCAR)PUデータでのみ適用されるため、しばしば不足する。 我々のDEMの二重構造は、ランダムPUデータで選択されたより複雑で未探索な構造を効果的に許容する。
  論文  参考訳（メタデータ） (2024-07-13T00:57:04Z)
• Towards out-of-distribution generalization in large-scale astronomical surveys: robust networks learn similar representations [3.653721769378018]
  ニューラルネットワーク表現の類似度尺度である Centered Kernel Alignment (CKA) を用いて、表現類似度と性能の関係について検討する。 モデルが分散シフトに対して堅牢である場合、OODデータ上に層間でかなり異なる表現を生成することが分かりました。 本稿では,CKAを誘導バイアスとして取り入れることで,モデル設計,トレーニング戦略,OOD問題を緩和する上での類似性表現の可能性について論じる。
  論文  参考訳（メタデータ） (2023-11-29T19:00:05Z)
• DIVERSIFY: A General Framework for Time Series Out-of-distribution Detection and Generalization [58.704753031608625]
  時系列は、機械学習研究における最も困難なモダリティの1つである。 時系列上でのOODの検出と一般化は、その非定常性によって悩まされる傾向がある。 時系列の動的分布のOOD検出と一般化のためのフレームワークであるDIVERSIFYを提案する。
  論文  参考訳（メタデータ） (2023-08-04T12:27:11Z)
• Generalizability of Adversarial Robustness Under Distribution Shifts [57.767152566761304]
  本研究は, 実証的, 証明された敵対的堅牢性間の相互作用と, ドメインの一般化を両立させるための第一歩を踏み出した。 複数のドメインでロバストモデルをトレーニングし、その正確性とロバスト性を評価する。 本研究は, 現実の医療応用をカバーするために拡張され, 敵の増大は, クリーンデータ精度に最小限の影響を伴って, 強靭性の一般化を著しく促進する。
  論文  参考訳（メタデータ） (2022-09-29T18:25:48Z)
• Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution Detection [55.028065567756066]
  Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。 本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。 バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。 We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
  論文  参考訳（メタデータ） (2022-06-26T16:00:22Z)
• Generalizable Person Re-Identification via Self-Supervised Batch Norm Test-Time Adaption [63.7424680360004]
  Batch Norm Test-time Adaption (BNTA)は、BNパラメータを適応的に更新するための自己教師型戦略を適用する、新しいre-idフレームワークである。 BNTAは、推論前にラベル付けされていないターゲットデータ内のドメイン認識情報を探索し、BNによって正規化された特徴分布を変調してターゲットドメインに適応させる。
  論文  参考訳（メタデータ） (2022-03-01T18:46:32Z)
• Uncertainty Modeling for Out-of-Distribution Generalization [56.957731893992495]
  特徴統計を適切に操作することで、ディープラーニングモデルの一般化能力を向上させることができると論じる。 一般的な手法では、特徴統計を学習した特徴から測定された決定論的値とみなすことが多い。 我々は、学習中に合成された特徴統計を用いて、領域シフトの不確かさをモデル化することにより、ネットワークの一般化能力を向上させる。
  論文  参考訳（メタデータ） (2022-02-08T16:09:12Z)
• Adversarially Adaptive Normalization for Single Domain Generalization [71.80587939738672]
  一般化正規化アプローチ,適応標準化と再スケーリング正規化(ASR-Norm)を提案する。 ASR-Normは、ニューラルネットワークを介して標準化と再スケーリングの統計学を学ぶ。 ASR-Normは最先端のADAアプローチに一貫した改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2021-06-01T23:58:23Z)
• DualNorm-UNet: Incorporating Global and Local Statistics for Robust Medical Image Segmentation [29.368070780337415]
  バッチ正規化(BN)は,ネットワークトレーニングを加速する鍵となる要素の一つであり,医用画像解析分野で広く採用されている。 本稿では,意味クラス情報を正規化層に組み込むことにより,異なる領域に対応するアクティベーションを異なる方法で変調できるようにする。 本手法は正規化における意味的知識を活用し,頑健なセグメンテーション結果に対してより識別的特徴を与える。
  論文  参考訳（メタデータ） (2021-03-29T18:09:56Z)
• Joint Distribution across Representation Space for Out-of-Distribution Detection [16.96466730536722]
  本稿では,各隠蔽層から生成した潜伏特性を表現空間間の連成分布として利用し,分布内データに対する新たな展望を示す。 まず,隠れ層ごとに分布しない潜在特性に基づいてガウス混合モデル(GMM)を構築し,その後,推定トレースの遷移確率を介してGMMを接続する。
  論文  参考訳（メタデータ） (2021-03-23T06:39:29Z)
• NestedVAE: Isolating Common Factors via Weak Supervision [45.366986365879505]
  我々は、バイアス低減の課題と、ドメイン間で共通する分離要因の関係を同定する。 共通因子を分離するために、潜伏変数モデルの理論と情報ボトルネック理論を組み合わせる。 共有重みを持つ2つの外部VAEは入力を再構成し、潜伏空間を推論し、一方、ネストされたVAEはペア化された画像の潜伏表現から1つの画像の潜伏表現を再構成しようとする。
  論文  参考訳（メタデータ） (2020-02-26T15:49:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。