論文の概要: Back-to-Bones: Rediscovering the Role of Backbones in Domain Generalization

• arxiv url: http://arxiv.org/abs/2209.01121v1
• Date: Fri, 2 Sep 2022 15:30:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-05 12:08:59.314045
• Title: Back-to-Bones: Rediscovering the Role of Backbones in Domain Generalization
• Title（参考訳）: Back-to-Bones: ドメインの一般化におけるバックボーンの役割の再発見
• Authors: Simone Angarano, Mauro Martini, Francesco Salvetti, Vittorio Mazzia, Marcello Chiaberge
• Abstract要約: ドメイン一般化は、学習外分布に一般化する深層学習モデルの能力を研究する。 近年の研究では、DGの再現可能なベンチマークが提供され、既存のアルゴリズムに対する経験的リスク最小化(ERM)の有効性が指摘されている。
• 参考スコア（独自算出の注目度）: 1.6799377888527687
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Domain Generalization (DG) studies the capability of a deep learning model to generalize to out-of-training distributions. In the last decade, literature has been massively filled with a collection of training methodologies that claim to obtain more abstract and robust data representations to tackle domain shifts. Recent research has provided a reproducible benchmark for DG, pointing out the effectiveness of naive empirical risk minimization (ERM) over existing algorithms. Nevertheless, researchers persist in using the same outdated feature extractors, and no attention has been given to the effects of different backbones yet. In this paper, we start back to backbones proposing a comprehensive analysis of their intrinsic generalization capabilities, so far ignored by the research community. We evaluate a wide variety of feature extractors, from standard residual solutions to transformer-based architectures, finding an evident linear correlation between large-scale single-domain classification accuracy and DG capability. Our extensive experimentation shows that by adopting competitive backbones in conjunction with effective data augmentation, plain ERM outperforms recent DG solutions and achieves state-of-the-art accuracy. Moreover, our additional qualitative studies reveal that novel backbones give more similar representations to same-class samples, separating different domains in the feature space. This boost in generalization capabilities leaves marginal room for DG algorithms and suggests a new paradigm for investigating the problem, placing backbones in the spotlight and encouraging the development of consistent algorithms on top of them.
• Abstract（参考訳）: ドメイン一般化(DG)は、学習外分布に一般化するディープラーニングモデルの能力を研究する。 過去10年間、文学はドメインシフトに取り組むためにより抽象的でロバストなデータ表現を得ると主張するトレーニング方法論のコレクションで溢れています。 近年の研究では、DGの再現可能なベンチマークが提供され、既存のアルゴリズムに対する経験的リスク最小化(ERM)の有効性が指摘されている。 それにもかかわらず、研究者は古い特徴抽出器の使用を継続し、異なるバックボーンの効果にはまだ注意が払われていない。 本稿では,本研究コミュニティがこれまで無視していた本質的一般化能力の包括的分析を提案するバックボーンに回帰する。 標準残差解からトランスフォーマーベースのアーキテクチャまで,多種多様な特徴抽出器を評価し,大規模単一ドメイン分類精度とdg能力との間に明らかな線形相関を見いだした。 広範な実験により,効率的なデータ拡張と競合するバックボーンの採用により,平易なermが最近のdgソリューションを上回り,最先端の精度を実現していることが示された。 さらに、追加の質的研究により、新しいバックボーンが同一クラスサンプルに類似した表現を与え、特徴空間内の異なるドメインを分離できることが判明した。 この一般化能力の向上は、DGアルゴリズムの限界余地を残し、問題を調査するための新しいパラダイムを提案し、バックボーンをスポットライトに配置し、その上に一貫したアルゴリズムの開発を促進する。

関連論文リスト

• Disentangling Masked Autoencoders for Unsupervised Domain Generalization [57.56744870106124]
  教師なしの領域一般化は急速に注目されているが、まだ十分に研究されていない。 Disentangled Masked Auto (DisMAE) は、本質的な特徴を忠実に示す不整合表現を発見することを目的としている。 DisMAEは、セマンティックで軽量な変分エンコーダを備えた非対称なデュアルブランチアーキテクチャを共同で訓練する。
  論文  参考訳（メタデータ） (2024-07-10T11:11:36Z)
• Back to Basics: A Simple Recipe for Improving Out-of-Domain Retrieval in Dense Encoders [63.28408887247742]
  得られたモデルにおいて,より優れた一般化能力を得るために,トレーニング手順の改善が可能であるかを検討する。 我々は、高密度エンコーダをトレーニングするための簡単なレシピを推奨する: LoRAのようなパラメータ効率のよいMSMARCOのトレーニング。
  論文  参考訳（メタデータ） (2023-11-16T10:42:58Z)
• Towards Reliable Domain Generalization: A New Dataset and Evaluations [45.68339440942477]
  我々は手書き文字認識(HCCR)のための新しい領域一般化タスクを提案する。 提案したPaHCCデータセット上で18のDG手法を評価し,既存の手法の性能がまだ不十分であることを示す。 私たちのデータセットと評価は、コミュニティに新たな視点をもたらし、より実質的な進歩をもたらします。
  論文  参考訳（メタデータ） (2023-09-12T11:29:12Z)
• Improving Generalization with Domain Convex Game [32.07275105040802]
  ドメインの一般化は、複数のソースドメインを持つモデルを学習することで、ディープニューラルネットワークの貧弱な一般化能力を緩和する傾向がある。 DG の古典的な解は領域拡大であり、その一般的な信念は、ソース領域の多様化は分布外一般化に導かれるということである。 モデル一般化と領域の多様性の相関は厳密には正ではなく,ドメイン拡張の有効性を制限している。
  論文  参考訳（メタデータ） (2023-03-23T14:27:49Z)
• When Neural Networks Fail to Generalize? A Model Sensitivity Perspective [82.36758565781153]
  ドメイン一般化 (Domain Generalization, DG) は、異なる分布の下で見えないドメインでうまく機能するようにモデルを訓練することを目的としている。 本稿では,より現実的で,より困難なシナリオである単一領域一般化(Single-DG)について考察する。 我々は「モデル感度」と命名する一般化と強く相関するモデルの性質を経験的に確認する。 本稿では、高感度の周波数をターゲットとした拡張画像を生成するために、スペクトル逆データ拡張(SADA)の新たな戦略を提案する。
  論文  参考訳（メタデータ） (2022-12-01T20:15:15Z)
• On Certifying and Improving Generalization to Unseen Domains [87.00662852876177]
  ドメインの一般化は、テスト時に遭遇した見知らぬドメインのパフォーマンスが高いモデルを学ぶことを目的としています。 いくつかのベンチマークデータセットを使用して、DGアルゴリズムを包括的に評価することは困難である。 我々は,任意のDG手法の最悪の性能を効率的に証明できる普遍的な認証フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-24T16:29:43Z)
• Reappraising Domain Generalization in Neural Networks [8.06370138649329]
  機械学習アルゴリズムのドメイン一般化(DG)は、複数のトレーニング分布からドメインに依存しない仮説を学習する能力として定義される。 経験的リスク最小化(ERM)ベースラインは,既存のDG手法を一貫して上回っていることがわかった。 そこで我々は,各クラスに対してランダムにドメインを選択して,それをテスト用として保持する,クラスワイズDGの定式化を提案する。
  論文  参考訳（メタデータ） (2021-10-15T10:06:40Z)
• COLUMBUS: Automated Discovery of New Multi-Level Features for Domain Generalization via Knowledge Corruption [12.555885317622131]
  ここでは、ソースドメインの集合で訓練されたモデルが、データに触れることなく、目に見えないドメインでうまく一般化されることを期待する領域一般化問題に対処する。 コロンバス(Columbus)は、最も関連性の高い入力とマルチレベルのデータ表現を対象とする汚職によって、新機能の発見を強制する手法である。
  論文  参考訳（メタデータ） (2021-09-09T14:52:05Z)
• Semi-Supervised Domain Generalization with Stochastic StyleMatch [90.98288822165482]
  実世界のアプリケーションでは、アノテーションのコストが高いため、各ソースドメインから利用可能なラベルはわずかです。 本研究では,より現実的で実践的な半教師付き領域一般化について検討する。 提案手法であるStyleMatchは,擬似ラベルに基づく最先端の半教師付き学習手法であるFixMatchに着想を得たものである。
  論文  参考訳（メタデータ） (2021-06-01T16:00:08Z)
• Generalizable Person Re-identification with Relevance-aware Mixture of Experts [45.13716166680772]
  我々はRaMoE(Relevance-Aware Mixed of Expert)と呼ばれる新しい手法を提案する。 RaMoEは、効率的な投票に基づく混合メカニズムを使用して、モデル一般化を改善するために、ソースドメインの様々な特性を動的に活用する。 対象ドメインの学習時の視認性を考慮し,新たな学習学習アルゴリズムと関係アライメント損失を組み合わせることで,投票ネットワークを更新する手法を提案する。
  論文  参考訳（メタデータ） (2021-05-19T14:19:34Z)
• Cross-Domain Facial Expression Recognition: A Unified Evaluation Benchmark and Adversarial Graph Learning [85.6386289476598]
  我々は,クロスドメイン全体的特徴共適応のための新しい逆グラフ表現適応(AGRA)フレームワークを開発した。 我々は,いくつかの一般的なベンチマークで広範囲かつ公平な評価を行い,提案したAGRAフレームワークが従来の最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-03T15:00:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。