論文の概要: In Search of Forgotten Domain Generalization

• arxiv url: http://arxiv.org/abs/2410.08258v1
• Date: Thu, 10 Oct 2024 17:50:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 04:26:09.211135
• Title: In Search of Forgotten Domain Generalization
• Title（参考訳）: 忘れられたドメインの一般化をめざして
• Authors: Prasanna Mayilvahanan, Roland S. Zimmermann, Thaddäus Wiedemer, Evgenia Rusak, Attila Juhos, Matthias Bethge, Wieland Brendel,
• Abstract要約: Out-of-Domain (OOD) 一般化は、1つ以上のドメインでトレーニングされたモデルが見えないドメインに一般化する能力である。 コンピュータビジョンのImageNet時代において、モデルのOOD性能を測定するための評価セットは、スタイルに関して厳密にOODであるように設計されていた。 基礎モデルや拡張Webスケールデータセットの出現は、この評価プロセスを邪魔している。
• 参考スコア（独自算出の注目度）: 20.26519807919284
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Out-of-Domain (OOD) generalization is the ability of a model trained on one or more domains to generalize to unseen domains. In the ImageNet era of computer vision, evaluation sets for measuring a model's OOD performance were designed to be strictly OOD with respect to style. However, the emergence of foundation models and expansive web-scale datasets has obfuscated this evaluation process, as datasets cover a broad range of domains and risk test domain contamination. In search of the forgotten domain generalization, we create large-scale datasets subsampled from LAION -- LAION-Natural and LAION-Rendition -- that are strictly OOD to corresponding ImageNet and DomainNet test sets in terms of style. Training CLIP models on these datasets reveals that a significant portion of their performance is explained by in-domain examples. This indicates that the OOD generalization challenges from the ImageNet era still prevail and that training on web-scale data merely creates the illusion of OOD generalization. Furthermore, through a systematic exploration of combining natural and rendition datasets in varying proportions, we identify optimal mixing ratios for model generalization across these domains. Our datasets and results re-enable meaningful assessment of OOD robustness at scale -- a crucial prerequisite for improving model robustness.
• Abstract（参考訳）: Out-of-Domain (OOD) 一般化は、1つ以上のドメインでトレーニングされたモデルが見えないドメインに一般化する能力である。 コンピュータビジョンのImageNet時代において、モデルのOOD性能を測定するための評価セットは、スタイルに関して厳密にOODであるように設計されていた。 しかし、基盤モデルや拡張Webスケールデータセットの出現は、幅広い領域をカバーするデータセットとリスクテスト領域の汚染により、この評価プロセスを妨げている。 忘れられたドメインの一般化を探すために、私たちはLAION(LAION-NaturalとLAION-Rendition)からサブサンプルされた大規模なデータセットを作成します。 これらのデータセット上でCLIPモデルをトレーニングすると、パフォーマンスのかなりの部分がドメイン内の例によって説明されることが明らかになった。 これは,画像ネット時代のOOD一般化の課題がいまだ一般的であり,WebスケールデータのトレーニングがOOD一般化の錯覚を生んでいることを示唆している。 さらに,自然と再帰のデータセットを様々な割合で組み合わせる体系的な探索を通じて,これらの領域をまたいだモデル一般化のための最適混合比を同定する。 私たちのデータセットと結果は、スケールでのOODロバストネスの有意義な評価 -- モデルロバストネスを改善するための重要な前提条件です。

関連論文リスト

• SOOD-ImageNet: a Large-Scale Dataset for Semantic Out-Of-Distribution Image Classification and Semantic Segmentation [6.21476985578569]
  コンピュータビジョンにおけるアウト・オブ・ディストリビューション(OOD)検出は重要な研究領域である。 SOOD-ImageNetは56のクラスにまたがる1.6万の画像からなる新しいデータセットである。 OOD条件下でのイメージ分類やセマンティックセグメンテーションなどの一般的なコンピュータビジョンタスクのために設計されている。
  論文  参考訳（メタデータ） (2024-09-02T09:37:39Z)
• Feature Protection For Out-of-distribution Generalization [24.072876186625855]
  事前訓練された特徴の保護は、より厳密に調整されたモデルが一般化に結びつくことを示す。 事前訓練された特徴の保護は,OODの一般化に対してより堅牢な微調整モデルをもたらすことを示す。
  論文  参考訳（メタデータ） (2024-05-25T03:00:06Z)
• Reliability in Semantic Segmentation: Can We Use Synthetic Data? [69.28268603137546]
  セマンティックセグメンテーションモデルの現実的信頼性を総合的に評価するために、合成データを具体的に生成する方法を初めて示す。 この合成データは、事前訓練されたセグメンタの堅牢性を評価するために使用される。 セグメンタのキャリブレーションとOOD検出能力を向上するために,我々のアプローチをどのように活用できるかを実証する。
  論文  参考訳（メタデータ） (2023-12-14T18:56:07Z)
• GEO-Bench: Toward Foundation Models for Earth Monitoring [139.77907168809085]
  6つの分類と6つのセグメンテーションタスクからなるベンチマークを提案する。 このベンチマークは、さまざまな地球観測タスクの進行の原動力となる。
  論文  参考訳（メタデータ） (2023-06-06T16:16:05Z)
• GREAT Score: Global Robustness Evaluation of Adversarial Perturbation using Generative Models [60.48306899271866]
  GREATスコア(GREAT Score)と呼ばれる新しいフレームワークを提案する。 我々は,ロバストベンチにおける攻撃ベースモデルと比較し,高い相関性を示し,GREATスコアのコストを大幅に削減した。 GREAT Scoreは、プライバシーに敏感なブラックボックスモデルのリモート監査に使用することができる。
  論文  参考訳（メタデータ） (2023-04-19T14:58:27Z)
• SimSCOOD: Systematic Analysis of Out-of-Distribution Generalization in Fine-tuned Source Code Models [58.78043959556283]
  本研究は,Low-Rank Adaptation (LoRA)ファインチューニング手法を含む,異なる微調整手法によるモデルの挙動について検討する。 解析の結果、LoRAファインチューニングは様々なシナリオにおけるフルファインチューニングよりも、OODの一般化性能が大幅に向上していることが判明した。
  論文  参考訳（メタデータ） (2022-10-10T16:07:24Z)
• OOD-Probe: A Neural Interpretation of Out-of-Domain Generalization [18.129450295108423]
  探索モジュールを用いて,OODシステムをより微細な粒度で評価するフレキシブルなフレームワークを提案する。 表現は常にドメインに関する情報をエンコードしている。 高い探索結果は、ドメインの一般化性能と相関し、OOD一般化システムの開発におけるさらなる方向性をもたらす。
  論文  参考訳（メタデータ） (2022-08-25T21:58:01Z)
• Benchmarking the Robustness of Instance Segmentation Models [3.1287804585804073]
  本稿では,実世界の画像の破損や領域外画像の収集に関して,インスタンス分割モデルの包括的評価を行う。 領域外画像評価は、実世界のアプリケーションにおいて重要な側面であるモデルの一般化能力を示している。 具体的には、最先端のネットワークアーキテクチャ、ネットワークバックボーン、正規化レイヤ、スクラッチからトレーニングされたモデル、ImageNet事前訓練ネットワークが含まれる。
  論文  参考訳（メタデータ） (2021-09-02T17:50:07Z)
• Context-Conditional Adaptation for Recognizing Unseen Classes in Unseen Domains [48.17225008334873]
  我々は,COCOA (COntext Conditional Adaptive) Batch-Normalization と統合された特徴生成フレームワークを提案する。 生成されたビジュアル機能は、基礎となるデータ分散をよりよくキャプチャすることで、テスト時に見つからないクラスやドメインに一般化できます。 確立した大規模ベンチマークであるDomainNetに対する我々のアプローチを徹底的に評価し、分析する。
  論文  参考訳（メタデータ） (2021-07-15T17:51:16Z)
• Enhancing the Generalization for Intent Classification and Out-of-Domain Detection in SLU [70.44344060176952]
  インテント分類は、音声言語理解(SLU)における主要な課題である 近年の研究では、余分なデータやラベルを使用することで、OOD検出性能が向上することが示されている。 本稿では、IND意図分類とOOD検出の両方をサポートしながら、INDデータのみを用いてモデルを訓練することを提案する。
  論文  参考訳（メタデータ） (2021-06-28T08:27:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。