論文の概要: When Neural Networks Fail to Generalize? A Model Sensitivity Perspective

• arxiv url: http://arxiv.org/abs/2212.00850v1
• Date: Thu, 1 Dec 2022 20:15:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-05 15:56:52.028762
• Title: When Neural Networks Fail to Generalize? A Model Sensitivity Perspective
• Title（参考訳）: ニューラルネットワークが一般化に失敗したとき? モデル感度の視点
• Authors: Jiajin Zhang, Hanqing Chao, Amit Dhurandhar, Pin-Yu Chen, Ali Tajer, Yangyang Xu, Pingkun Yan
• Abstract要約: ドメイン一般化 (Domain Generalization, DG) は、異なる分布の下で見えないドメインでうまく機能するようにモデルを訓練することを目的としている。 本稿では,より現実的で,より困難なシナリオである単一領域一般化(Single-DG)について考察する。 我々は「モデル感度」と命名する一般化と強く相関するモデルの性質を経験的に確認する。 本稿では、高感度の周波数をターゲットとした拡張画像を生成するために、スペクトル逆データ拡張(SADA)の新たな戦略を提案する。
• 参考スコア（独自算出の注目度）: 82.36758565781153
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Domain generalization (DG) aims to train a model to perform well in unseen domains under different distributions. This paper considers a more realistic yet more challenging scenario,namely Single Domain Generalization (Single-DG), where only a single source domain is available for training. To tackle this challenge, we first try to understand when neural networks fail to generalize? We empirically ascertain a property of a model that correlates strongly with its generalization that we coin as "model sensitivity". Based on our analysis, we propose a novel strategy of Spectral Adversarial Data Augmentation (SADA) to generate augmented images targeted at the highly sensitive frequencies. Models trained with these hard-to-learn samples can effectively suppress the sensitivity in the frequency space, which leads to improved generalization performance. Extensive experiments on multiple public datasets demonstrate the superiority of our approach, which surpasses the state-of-the-art single-DG methods.
• Abstract（参考訳）: ドメイン一般化(Domain Generalization, DG)は、異なる分布の下で見えないドメインでうまく機能するようにモデルを訓練することを目的としている。 本稿では、単一のソースドメインのみをトレーニングできる単一ドメイン一般化(Single-DG)という、より現実的でより困難なシナリオについて考察する。 この課題に対処するために、ニューラルネットワークが一般化に失敗したときの理解を最初に試みる。 我々は「モデル感度」と命名する一般化と強く相関するモデルの性質を経験的に確認する。 そこで本研究では,高感度の周波数をターゲットとした拡張画像を生成するために,SADA(Spectral Adversarial Data Augmentation)の新たな戦略を提案する。 これらの難学習サンプルを用いて訓練されたモデルは、周波数空間の感度を効果的に抑制し、一般化性能を向上させる。 複数の公開データセットに対する大規模な実験は、最先端の単一DG手法を超えるアプローチの優位性を示している。

関連論文リスト

• Activate and Reject: Towards Safe Domain Generalization under Category Shift [71.95548187205736]
  カテゴリーシフト(DGCS)下における領域一般化の実践的問題について検討する。 未知のクラスサンプルを同時に検出し、ターゲットドメイン内の既知のクラスサンプルを分類することを目的としている。 従来のDGと比較すると,1)ソースクラスのみを用いたトレーニングにおいて,未知の概念を学習する方法,2)ソーストレーニングされたモデルを未知の環境に適応する方法,の2つの新しい課題に直面している。
  論文  参考訳（メタデータ） (2023-10-07T07:53:12Z)
• Spectral Adversarial MixUp for Few-Shot Unsupervised Domain Adaptation [72.70876977882882]
  臨床応用においては、トレーニング画像(ソース領域)とテスト画像(ターゲット領域)が異なる分布下にある場合、ドメインシフトは一般的な問題である。 本稿では,Few-Shot Unsupervised Domain Adaptation (FSUDA) の新たな手法を提案する。
  論文  参考訳（メタデータ） (2023-09-03T16:02:01Z)
• CNN Feature Map Augmentation for Single-Source Domain Generalization [6.053629733936548]
  ドメイン・ジェネリゼーション(DG)はここ数年で大きな注目を集めている。 DGの目標は、トレーニング中に利用可能なものと異なるデータ分散を提示した場合、引き続き正常に機能するモデルを作成することだ。 単一ソースDG画像分類設定における畳み込みニューラルネットワークアーキテクチャの代替正則化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-26T08:48:17Z)
• Augmentation-based Domain Generalization for Semantic Segmentation [2.179313476241343]
  教師なしドメイン適応(UDA)とドメイン一般化(DG)は、目に見えないドメインに対するディープニューラルネットワーク(DNN)の一般化の欠如に対処することを目的としている。 本稿では,ボケ,ノイズ,色ジッタなど,シンプルなルールベースの画像拡張によるドメイン内および外部の一般化機能について検討する。 我々の実験は、複数の異なる拡張の組み合わせが単一拡張よりも優れているという一般的な科学的基準を確認した。
  論文  参考訳（メタデータ） (2023-04-24T14:26:53Z)
• Domain Generalization with Adversarial Intensity Attack for Medical Image Segmentation [27.49427483473792]
  実世界のシナリオでは、トレーニング中に露出していない新しいドメインや異なるドメインのデータに遭遇することが一般的である。 ドメイン一般化(Domain Generalization, DG)は、モデルがこれまで見つからなかったドメインからのデータを扱うことを可能にする、有望な方向である。 本稿では,敵対的トレーニングを活用して無限のスタイルでトレーニングデータを生成する,AdverIN(Adversarial Intensity Attack)と呼ばれる新しいDG手法を提案する。
  論文  参考訳（メタデータ） (2023-04-05T19:40:51Z)
• Improving Generalization with Domain Convex Game [32.07275105040802]
  ドメインの一般化は、複数のソースドメインを持つモデルを学習することで、ディープニューラルネットワークの貧弱な一般化能力を緩和する傾向がある。 DG の古典的な解は領域拡大であり、その一般的な信念は、ソース領域の多様化は分布外一般化に導かれるということである。 モデル一般化と領域の多様性の相関は厳密には正ではなく,ドメイン拡張の有効性を制限している。
  論文  参考訳（メタデータ） (2023-03-23T14:27:49Z)
• Normalization Perturbation: A Simple Domain Generalization Method for Real-World Domain Shifts [133.99270341855728]
  実世界のドメインスタイルは環境の変化やセンサノイズによって大きく変化する可能性がある。 深層モデルはトレーニングドメインスタイルしか知らない。 このドメインスタイルのオーバーフィット問題を解決するために,正規化摂動を提案する。
  論文  参考訳（メタデータ） (2022-11-08T17:36:49Z)
• On-Device Domain Generalization [93.79736882489982]
  ドメインの一般化はデバイス上の機械学習アプリケーションにとって重要である。 知識蒸留がこの問題の解決の有力な候補であることがわかった。 本研究では,教師が配布外データをどのように扱えるかを学生に教えることを目的とした,配布外知識蒸留(OKD)という簡単なアイデアを提案する。
  論文  参考訳（メタデータ） (2022-09-15T17:59:31Z)
• Federated and Generalized Person Re-identification through Domain and Feature Hallucinating [88.77196261300699]
  人物再識別(re-ID)におけるフェデレーションドメイン一般化(FedDG)の問題について検討する。 一般化された局所的・グローバルなモデルを学ぶための多様な特徴を創出する手法として,DFH (Domain and Feature Hallucinating) を提案する。 提案手法は4つの大規模re-IDベンチマークにおいてFedDGの最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-03-05T09:15:13Z)
• Learning to Learn Single Domain Generalization [18.72451358284104]
  本稿では,このアウト・オブ・ディストリビューション(OOD)一般化問題を解くために,逆領域拡張という新しい手法を提案する。 鍵となる考え方は、敵の訓練を活用して「現実的」だが「混み合う」人口を作り出すことである。 高速で望ましいドメイン拡張を容易にするため、メタラーニング方式でモデルトレーニングを行い、Wasserstein Auto-Encoder (WAE) を用いて、広く使われている最悪のケース制約を緩和する。
  論文  参考訳（メタデータ） (2020-03-30T04:39:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。