論文の概要: Rethinking the Evaluation Protocol of Domain Generalization

• arxiv url: http://arxiv.org/abs/2305.15253v2
• Date: Sat, 23 Mar 2024 07:14:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-27 03:48:07.931619
• Title: Rethinking the Evaluation Protocol of Domain Generalization
• Title（参考訳）: ドメイン・ジェネリゼーションの評価プロトコルの再考
• Authors: Han Yu, Xingxuan Zhang, Renzhe Xu, Jiashuo Liu, Yue He, Peng Cui,
• Abstract要約: ドメインの一般化は、複数のトレーニングドメインから学んだ共通知識を活用して、見当たらないテストドメインに一般化することで、アウト・オブ・ディストリビューションの一般化の課題を解決することを目的としている。 本稿では,現在の評価プロトコルの2つの側面から,テストデータ情報漏洩のリスクについて検討する。 我々は,現在管理されている事前訓練を使わずに,自己指導型事前訓練やスクラッチから訓練を行うよう,現在のプロトコルの変更を提案する。
• 参考スコア（独自算出の注目度）: 47.99427909350008
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Domain generalization aims to solve the challenge of Out-of-Distribution (OOD) generalization by leveraging common knowledge learned from multiple training domains to generalize to unseen test domains. To accurately evaluate the OOD generalization ability, it is required that test data information is unavailable. However, the current domain generalization protocol may still have potential test data information leakage. This paper examines the risks of test data information leakage from two aspects of the current evaluation protocol: supervised pretraining on ImageNet and oracle model selection. We propose modifications to the current protocol that we should employ self-supervised pretraining or train from scratch instead of employing the current supervised pretraining, and we should use multiple test domains. These would result in a more precise evaluation of OOD generalization ability. We also rerun the algorithms with the modified protocol and introduce new leaderboards to encourage future research in domain generalization with a fairer comparison.
• Abstract（参考訳）: ドメインの一般化は、複数のトレーニングドメインから学んだ共通知識を活用して、不明なテストドメインに一般化することで、アウト・オブ・ディストリビューション(OOD)の一般化の課題を解決することを目的としている。 OOD一般化能力を正確に評価するには、テストデータ情報が利用できない必要がある。 しかし、現在のドメイン一般化プロトコルは、テストデータ情報漏洩の可能性がある。 本稿では,現在の評価プロトコルの2つの側面,すなわち ImageNet と Oracle モデルの選択に対する教師付き事前トレーニングから,テストデータ情報漏洩のリスクについて検討する。 我々は、現在の教師付き事前訓練を使わずに、自己教師付き事前訓練やスクラッチから訓練を行うよう、現在のプロトコルに修正を加え、複数のテストドメインを使用するように提案する。 これらはOOD一般化能力をより正確に評価する結果となる。 また、修正されたプロトコルでアルゴリズムを再実行し、新しいリーダーボードを導入し、より公平な比較でドメインの一般化における将来の研究を促進する。

関連論文リスト

• Rethinking Affect Analysis: A Protocol for Ensuring Fairness and Consistency [24.737468736951374]
  本稿では,データベース分割のための統一プロトコルを提案する。 我々は、(人種、性別、年齢の観点から)詳細な統計アノテーション、評価指標、および表現認識のための共通のフレームワークを提供する。 また、新しいプロトコルでメソッドを再実行し、より公平な比較で影響認識の今後の研究を促進するための新しいリーダーボードを導入します。
  論文  参考訳（メタデータ） (2024-08-04T23:21:46Z)
• Activate and Reject: Towards Safe Domain Generalization under Category Shift [71.95548187205736]
  カテゴリーシフト(DGCS)下における領域一般化の実践的問題について検討する。 未知のクラスサンプルを同時に検出し、ターゲットドメイン内の既知のクラスサンプルを分類することを目的としている。 従来のDGと比較すると,1)ソースクラスのみを用いたトレーニングにおいて,未知の概念を学習する方法,2)ソーストレーニングされたモデルを未知の環境に適応する方法,の2つの新しい課題に直面している。
  論文  参考訳（メタデータ） (2023-10-07T07:53:12Z)
• Rehearsal-Free Domain Continual Face Anti-Spoofing: Generalize More and Forget Less [30.737133780202985]
  Face Anti-Spoofing (FAS) は、最近、継続的な学習環境下で研究されている。 既存のメソッドでは、リハーサルのために前のデータを格納するために余分なリプレイバッファが必要です。 ドメイン継続学習のための最初のリハーサルのない手法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T12:22:53Z)
• Test-time Training for Data-efficient UCDR [22.400837122986175]
  ユニバーサルクロスドメイン検索プロトコルはこの分野のパイオニアである。 本研究では,一般化された検索問題をデータ効率で探索する。
  論文  参考訳（メタデータ） (2022-08-19T07:50:04Z)
• Beyond Value: CHECKLIST for Testing Inferences in Planning-Based RL [20.360392791376707]
  強化学習(RL)エージェントは、テストシナリオの分布よりも期待値を通じて一般的に評価される。 学習した遷移モデルと値関数を用いてオンライン木探索による決定を行うRLエージェントのテストを検討する。 本稿では,複雑なリアルタイム戦略ゲームを行うために訓練されたエージェントを評価するアプローチを用いて,知識のあるAI研究者が関与するユーザスタディを提案する。
  論文  参考訳（メタデータ） (2022-06-04T18:16:05Z)
• Generalizable Person Re-Identification via Self-Supervised Batch Norm Test-Time Adaption [63.7424680360004]
  Batch Norm Test-time Adaption (BNTA)は、BNパラメータを適応的に更新するための自己教師型戦略を適用する、新しいre-idフレームワークである。 BNTAは、推論前にラベル付けされていないターゲットデータ内のドメイン認識情報を探索し、BNによって正規化された特徴分布を変調してターゲットドメインに適応させる。
  論文  参考訳（メタデータ） (2022-03-01T18:46:32Z)
• Unsupervised Domain Generalization for Person Re-identification: A Domain-specific Adaptive Framework [50.88463458896428]
  ドメイン一般化(DG)は近年,人物再同定(ReID)において注目されている。 既存のメソッドは通常、ソースドメインにラベルを付ける必要があります。 本稿では、単純で効率的なドメイン固有適応化フレームワークを提案し、適応正規化モジュールで実現する。
  論文  参考訳（メタデータ） (2021-11-30T02:35:51Z)
• TAL: Two-stream Adaptive Learning for Generalizable Person Re-identification [115.31432027711202]
  我々は、ドメイン固有性とドメイン不変性の両方が、re-idモデルの一般化能力の向上に不可欠であると主張する。 これら2種類の情報を同時にモデル化するために,2ストリーム適応学習 (TAL) を命名した。 我々のフレームワークは、単一ソースとマルチソースの両方のドメイン一般化タスクに適用できる。
  論文  参考訳（メタデータ） (2021-11-29T01:27:42Z)
• On the Value of Out-of-Distribution Testing: An Example of Goodhart's Law [78.10523907729642]
  VQA-CPは視覚的質問応答の標準OODベンチマークとなっている。 ほとんどの公表された手法は、OOD分割の構成に関する明示的な知識に依存している。 ランダムに回答を生成できる手法を含む、恥ずかしいほど単純な手法が、いくつかの質問タイプで芸術の状態を超越していることを示す。
  論文  参考訳（メタデータ） (2020-05-19T06:45:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。