論文の概要: Open Domain Generalization with a Single Network by Regularization Exploiting Pre-trained Features

• arxiv url: http://arxiv.org/abs/2312.05141v1
• Date: Fri, 8 Dec 2023 16:22:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-11 14:35:27.628386
• Title: Open Domain Generalization with a Single Network by Regularization Exploiting Pre-trained Features
• Title（参考訳）: 事前学習した特徴の正規化による単一ネットワークによるオープンドメインの一般化
• Authors: Inseop Chung, KiYoon Yoo, Nojun Kwak
• Abstract要約: Open Domain Generalization(ODG)は、分散シフトとカテゴリシフトを扱うため、困難なタスクである。 これまでの作業では複数のソース特化ネットワークを使用しており、コストが高い。 本稿では,単一ネットワークのみを用いてODGを処理できる手法を提案する。
• 参考スコア（独自算出の注目度）: 37.518025833882334
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Open Domain Generalization (ODG) is a challenging task as it not only deals with distribution shifts but also category shifts between the source and target datasets. To handle this task, the model has to learn a generalizable representation that can be applied to unseen domains while also identify unknown classes that were not present during training. Previous work has used multiple source-specific networks, which involve a high computation cost. Therefore, this paper proposes a method that can handle ODG using only a single network. The proposed method utilizes a head that is pre-trained by linear-probing and employs two regularization terms, each targeting the regularization of feature extractor and the classification head, respectively. The two regularization terms fully utilize the pre-trained features and collaborate to modify the head of the model without excessively altering the feature extractor. This ensures a smoother softmax output and prevents the model from being biased towards the source domains. The proposed method shows improved adaptability to unseen domains and increased capability to detect unseen classes as well. Extensive experiments show that our method achieves competitive performance in several benchmarks. We also justify our method with careful analysis of the effect on the logits, features, and the head.
• Abstract（参考訳）: Open Domain Generalization(ODG)は、分散シフトだけでなく、ソースとターゲットデータセット間のカテゴリシフトを扱うため、難しいタスクである。 このタスクを処理するために、モデルは、未知のドメインに適用できる一般化可能な表現を学習し、トレーニング中に存在しない未知のクラスを特定する必要がある。 これまでの研究では、高い計算コストを伴う複数のソース固有のネットワークを使用してきた。 そこで本研究では,単一ネットワークのみを用いてODGを処理できる手法を提案する。 提案手法では,線形プローブにより事前学習された頭部を用い,特徴抽出器と分類ヘッドの正規化をそれぞれターゲットとした2つの正規化用語を用いる。 2つの正規化項は、事前訓練された特徴を十分に活用し、特徴抽出器を過度に変更することなくモデルの先頭を変更する。 これにより、よりスムーズなソフトマックス出力が保証され、モデルのソースドメインへのバイアスを防ぐことができる。 提案手法は、未確認領域への適応性の向上と未確認クラスの検出能力の向上を示す。 広範な実験により,本手法はいくつかのベンチマークで性能が向上した。 また,ロジット,特徴,頭部への影響を慎重に分析することで,本手法を正当化する。

関連論文リスト

• Generalize or Detect? Towards Robust Semantic Segmentation Under Multiple Distribution Shifts [56.57141696245328]
  斬新なクラスとドメインの両方が存在するようなオープンワールドシナリオでは、理想的なセグメンテーションモデルは安全のために異常なクラスを検出する必要がある。 既存の方法はドメインレベルとセマンティックレベルの分散シフトを区別するのに苦労することが多い。
  論文  参考訳（メタデータ） (2024-11-06T11:03:02Z)
• Uncertainty-guided Contrastive Learning for Single Source Domain Generalisation [15.907643838530655]
  本稿では,Contrastive Uncertainty Domain Generalisation Network(CUDGNet)と呼ばれる新しいモデルを紹介する。 鍵となるアイデアは、架空のドメインジェネレータを通じて、入力空間とラベル空間の両方のソース容量を増大させることである。 また,提案手法は,1つのフォワードパスからジェネレータサブネットワークを経由した推論時間における効率的な不確実性推定も提供する。
  論文  参考訳（メタデータ） (2024-03-12T10:47:45Z)
• Activate and Reject: Towards Safe Domain Generalization under Category Shift [71.95548187205736]
  カテゴリーシフト(DGCS)下における領域一般化の実践的問題について検討する。 未知のクラスサンプルを同時に検出し、ターゲットドメイン内の既知のクラスサンプルを分類することを目的としている。 従来のDGと比較すると,1)ソースクラスのみを用いたトレーニングにおいて,未知の概念を学習する方法,2)ソーストレーニングされたモデルを未知の環境に適応する方法,の2つの新しい課題に直面している。
  論文  参考訳（メタデータ） (2023-10-07T07:53:12Z)
• NormAUG: Normalization-guided Augmentation for Domain Generalization [60.159546669021346]
  ディープラーニングのためのNormAUG(Normalization-guided Augmentation)と呼ばれるシンプルで効果的な手法を提案する。 本手法は特徴レベルで多様な情報を導入し,主経路の一般化を改善する。 テスト段階では、アンサンブル戦略を利用して、モデルの補助経路からの予測を組み合わせ、さらなる性能向上を図る。
  論文  参考訳（メタデータ） (2023-07-25T13:35:45Z)
• Single Domain Generalization via Normalised Cross-correlation Based Convolutions [14.306250516592304]
  単一ドメインの一般化は、単一のソースからのデータを使用して堅牢なモデルをトレーニングすることを目的としている。 本稿では、重みと入力特徴パッチの間の正規化相互相関を計算するXCNormという演算子を提案する。 この演算子で構成されるディープニューラルネットワークは、一般的な意味分布シフトに対して堅牢であることを示す。
  論文  参考訳（メタデータ） (2023-07-12T04:15:36Z)
• Source-Free Domain Adaptation via Distribution Estimation [106.48277721860036]
  ドメイン適応は、ラベル付きソースドメインから学んだ知識を、データ分散が異なるラベル付きターゲットドメインに転送することを目的としています。 近年,ソースフリードメイン適応 (Source-Free Domain Adaptation, SFDA) が注目されている。 本研究では,SFDA-DEと呼ばれる新しいフレームワークを提案し,ソース分布推定によるSFDAタスクに対処する。
  論文  参考訳（メタデータ） (2022-04-24T12:22:19Z)
• Instance Level Affinity-Based Transfer for Unsupervised Domain Adaptation [74.71931918541748]
  ILA-DAと呼ばれる適応中のソースからターゲットへの転送に対するインスタンス親和性に基づく基準を提案する。 まず、ソースとターゲットをまたいだ類似および異種サンプルを抽出し、マルチサンプルのコントラスト損失を利用してドメインアライメントプロセスを駆動する信頼性が高く効率的な手法を提案する。 ILA-DAの有効性は、様々なベンチマークデータセットに対する一般的なドメイン適応手法よりも精度が一貫した改善を観察することによって検証する。
  論文  参考訳（メタデータ） (2021-04-03T01:33:14Z)
• Robust Domain-Free Domain Generalization with Class-aware Alignment [4.442096198968069]
  ドメインフリードメイン一般化(DFDG)は、目に見えないテストドメインでより良い一般化性能を実現するモデル非依存の方法である。 DFDGは新しい戦略を用いてドメイン不変なクラス差別的特徴を学習する。 時系列センサと画像分類公開データセットの両方で競合性能を得る。
  論文  参考訳（メタデータ） (2021-02-17T17:46:06Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。