論文の概要: Back-to-Bones: Rediscovering the Role of Backbones in Domain Generalization

• arxiv url: http://arxiv.org/abs/2209.01121v1
• Date: Fri, 2 Sep 2022 15:30:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-05 12:08:59.314045
• Title: Back-to-Bones: Rediscovering the Role of Backbones in Domain Generalization
• Title（参考訳）: Back-to-Bones: ドメインの一般化におけるバックボーンの役割の再発見
• Authors: Simone Angarano, Mauro Martini, Francesco Salvetti, Vittorio Mazzia, Marcello Chiaberge
• Abstract要約: ドメイン一般化は、学習外分布に一般化する深層学習モデルの能力を研究する。 近年の研究では、DGの再現可能なベンチマークが提供され、既存のアルゴリズムに対する経験的リスク最小化(ERM)の有効性が指摘されている。
• 参考スコア（独自算出の注目度）: 1.6799377888527687
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Domain Generalization (DG) studies the capability of a deep learning model to generalize to out-of-training distributions. In the last decade, literature has been massively filled with a collection of training methodologies that claim to obtain more abstract and robust data representations to tackle domain shifts. Recent research has provided a reproducible benchmark for DG, pointing out the effectiveness of naive empirical risk minimization (ERM) over existing algorithms. Nevertheless, researchers persist in using the same outdated feature extractors, and no attention has been given to the effects of different backbones yet. In this paper, we start back to backbones proposing a comprehensive analysis of their intrinsic generalization capabilities, so far ignored by the research community. We evaluate a wide variety of feature extractors, from standard residual solutions to transformer-based architectures, finding an evident linear correlation between large-scale single-domain classification accuracy and DG capability. Our extensive experimentation shows that by adopting competitive backbones in conjunction with effective data augmentation, plain ERM outperforms recent DG solutions and achieves state-of-the-art accuracy. Moreover, our additional qualitative studies reveal that novel backbones give more similar representations to same-class samples, separating different domains in the feature space. This boost in generalization capabilities leaves marginal room for DG algorithms and suggests a new paradigm for investigating the problem, placing backbones in the spotlight and encouraging the development of consistent algorithms on top of them.
• Abstract（参考訳）: ドメイン一般化(DG)は、学習外分布に一般化するディープラーニングモデルの能力を研究する。 過去10年間、文学はドメインシフトに取り組むためにより抽象的でロバストなデータ表現を得ると主張するトレーニング方法論のコレクションで溢れています。 近年の研究では、DGの再現可能なベンチマークが提供され、既存のアルゴリズムに対する経験的リスク最小化(ERM)の有効性が指摘されている。 それにもかかわらず、研究者は古い特徴抽出器の使用を継続し、異なるバックボーンの効果にはまだ注意が払われていない。 本稿では,本研究コミュニティがこれまで無視していた本質的一般化能力の包括的分析を提案するバックボーンに回帰する。 標準残差解からトランスフォーマーベースのアーキテクチャまで,多種多様な特徴抽出器を評価し,大規模単一ドメイン分類精度とdg能力との間に明らかな線形相関を見いだした。 広範な実験により,効率的なデータ拡張と競合するバックボーンの採用により,平易なermが最近のdgソリューションを上回り,最先端の精度を実現していることが示された。 さらに、追加の質的研究により、新しいバックボーンが同一クラスサンプルに類似した表現を与え、特徴空間内の異なるドメインを分離できることが判明した。 この一般化能力の向上は、DGアルゴリズムの限界余地を残し、問題を調査するための新しいパラダイムを提案し、バックボーンをスポットライトに配置し、その上に一貫したアルゴリズムの開発を促進する。

関連論文リスト

• A Posterior Sampling Framework for Interactive Decision Making [101.5329678997916]
  対話型意思決定の一般的な枠組みの下で, サンプル高能率強化学習(RL)について検討した。 本稿では,探索とエクスプロイトの基本的なトレードオフを特徴付ける,新しい複雑性尺度である一般化エルダー係数(GEC)を提案する。 低 GEC の RL 問題は非常にリッチなクラスであり、これは低ベルマン楕円体次元問題、双線型クラス、低証人ランク問題、PO-双線型クラス、一般化正規PSR を仮定する。
  論文  参考訳（メタデータ） (2022-11-03T16:42:40Z)
• On Certifying and Improving Generalization to Unseen Domains [87.00662852876177]
  ドメインの一般化は、テスト時に遭遇した見知らぬドメインのパフォーマンスが高いモデルを学ぶことを目的としています。 いくつかのベンチマークデータセットを使用して、DGアルゴリズムを包括的に評価することは困難である。 我々は,任意のDG手法の最悪の性能を効率的に証明できる普遍的な認証フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-24T16:29:43Z)
• Finding lost DG: Explaining domain generalization via model complexity [14.989945319823999]
  本稿では,ドメインの一般化性能に制約のないDGに限定した,学習理論の新たな一般化を提案する。 我々は、既存の方法の有効性や欠如は、経験的リスク予測器と複雑性トレードオフによって決定されていると推測する。
  論文  参考訳（メタデータ） (2022-02-01T17:08:29Z)
• A Novel Mix-normalization Method for Generalizable Multi-source Person Re-identification [49.548815417844786]
  人物再識別(Re-ID)は、監督されたシナリオにおいて大きな成功を収めた。 モデルがソースドメインに過度に適合するため、教師付きモデルを任意の未確認領域に直接転送することは困難である。 ドメイン・アウェア・ミックス正規化(DMN)とドメイン・ウェア・センター正規化(DCR)からなるMixNormを提案する。
  論文  参考訳（メタデータ） (2022-01-24T18:09:38Z)
• Reappraising Domain Generalization in Neural Networks [8.06370138649329]
  機械学習アルゴリズムのドメイン一般化(DG)は、複数のトレーニング分布からドメインに依存しない仮説を学習する能力として定義される。 経験的リスク最小化(ERM)ベースラインは,既存のDG手法を一貫して上回っていることがわかった。 そこで我々は,各クラスに対してランダムにドメインを選択して,それをテスト用として保持する,クラスワイズDGの定式化を提案する。
  論文  参考訳（メタデータ） (2021-10-15T10:06:40Z)
• COLUMBUS: Automated Discovery of New Multi-Level Features for Domain Generalization via Knowledge Corruption [12.555885317622131]
  ここでは、ソースドメインの集合で訓練されたモデルが、データに触れることなく、目に見えないドメインでうまく一般化されることを期待する領域一般化問題に対処する。 コロンバス(Columbus)は、最も関連性の高い入力とマルチレベルのデータ表現を対象とする汚職によって、新機能の発見を強制する手法である。
  論文  参考訳（メタデータ） (2021-09-09T14:52:05Z)
• Dual Reweighting Domain Generalization for Face Presentation Attack Detection [40.63170532438904]
  ドメイン一般化(DG)に基づく対面的アンチスポーフィング(英語版)アプローチは、目に見えないシナリオに対する堅牢性から注目されている。 以前の方法は、トレーニングプロセス中に複数のドメインから各サンプルを無差別に処理する。 本稿では, サンプル間の相対的重要性を反復的に重み付けし, 一般化をさらに改善する新しいデュアルリヘアリングドメイン一般化フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-30T15:24:34Z)
• f-Domain-Adversarial Learning: Theory and Algorithms [82.97698406515667]
  教師なしのドメイン適応は、トレーニング中、ターゲットドメイン内のラベルなしデータにアクセス可能な、多くの機械学習アプリケーションで使用されている。 領域適応のための新しい一般化法を導出し、f-発散体の変分的特徴に基づく分布間の相違性の新しい尺度を利用する。
  論文  参考訳（メタデータ） (2021-06-21T18:21:09Z)
• Semi-Supervised Domain Generalization with Stochastic StyleMatch [90.98288822165482]
  実世界のアプリケーションでは、アノテーションのコストが高いため、各ソースドメインから利用可能なラベルはわずかです。 本研究では,より現実的で実践的な半教師付き領域一般化について検討する。 提案手法であるStyleMatchは,擬似ラベルに基づく最先端の半教師付き学習手法であるFixMatchに着想を得たものである。
  論文  参考訳（メタデータ） (2021-06-01T16:00:08Z)
• Learning Domain Invariant Representations for Generalizable Person Re-Identification [71.35292121563491]
  ReID(Generalizable person Re-Identification)は、最近のコンピュータビジョンコミュニティで注目を集めている。 DIR-ReID(Domain Invariant Representations for Generalizable Person Re-Identification)という新しい一般化フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-29T18:59:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。