論文の概要: Domain Feature Collapse: Implications for Out-of-Distribution Detection and Solutions

• arxiv url: http://arxiv.org/abs/2512.04034v1
• Date: Wed, 03 Dec 2025 18:17:49 GMT
• ステータス: 情報取得中
• システム内更新日: 2025-12-04 12:06:44.05894
• Title: Domain Feature Collapse: Implications for Out-of-Distribution Detection and Solutions
• Title（参考訳）: ドメインの特徴の崩壊:アウト・オブ・ディストリビューションの検出と解決策
• Authors: Hong Yang, Devroop Kar, Qi Yu, Alex Ororbia, Travis Desell,
• Abstract要約: 単一ドメインデータの教師あり学習が必然的にドメイン機能の崩壊を引き起こすことを実証する。 単一ドメインでトレーニングされたモデルは、ドメイン機能を捨てながら、クラス固有の機能のみに依存するように学習する。 I(x_d; z) > 0 をドメインフィルタリング(事前訓練された表現を使って)で保存することで、障害モードが解決されることを示す。
• 参考スコア（独自算出の注目度）: 17.681748253240947
• License:
• Abstract: Why do state-of-the-art OOD detection methods exhibit catastrophic failure when models are trained on single-domain datasets? We provide the first theoretical explanation for this phenomenon through the lens of information theory. We prove that supervised learning on single-domain data inevitably produces domain feature collapse -- representations where I(x_d; z) = 0, meaning domain-specific information is completely discarded. This is a fundamental consequence of information bottleneck optimization: models trained on single domains (e.g., medical images) learn to rely solely on class-specific features while discarding domain features, leading to catastrophic failure when detecting out-of-domain samples (e.g., achieving only 53% FPR@95 on MNIST). We extend our analysis using Fano's inequality to quantify partial collapse in practical scenarios. To validate our theory, we introduce Domain Bench, a benchmark of single-domain datasets, and demonstrate that preserving I(x_d; z) > 0 through domain filtering (using pretrained representations) resolves the failure mode. While domain filtering itself is conceptually straightforward, its effectiveness provides strong empirical evidence for our information-theoretic framework. Our work explains a puzzling empirical phenomenon, reveals fundamental limitations of supervised learning in narrow domains, and has broader implications for transfer learning and when to fine-tune versus freeze pretrained models.
• Abstract（参考訳）: モデルが単一ドメインデータセットでトレーニングされた場合、なぜ最先端のOOD検出方法が破滅的な失敗を示すのか? 情報理論のレンズを通して、この現象を初めて理論的に説明する。 I(x_d; z) = 0 の場合の表現は、ドメイン固有の情報が完全に破棄されることを意味する。 単一のドメイン(例えば医療画像)でトレーニングされたモデルは、ドメインの特徴を捨てながらクラス固有の機能にのみ依存するように学習し、ドメイン外サンプルを検出する際に破滅的な失敗を引き起こす(例えば、MNISTでは53% FPR@95しか達成していない)。 ファノの不等式を用いて解析を拡張し、実用シナリオにおける部分的崩壊を定量化する。 この理論を検証するために、単ドメインデータセットのベンチマークであるDomain Benchを導入し、(事前訓練された表現を用いて)ドメインフィルタリングによるI(x_d; z) > 0の保存が障害モードを解決することを示した。 ドメインフィルタリング自体は概念的には単純ですが、その有効性は私たちの情報理論フレームワークに強力な実証的な証拠を提供します。 本研究は,狭い領域における教師あり学習の基本的限界を明らかにし,伝達学習や,事前学習モデルと凍結モデルとの微調整を行う時期について説明する。

関連論文リスト

• What's in a Latent? Leveraging Diffusion Latent Space for Domain Generalization [10.079844840768054]
  ドメインの一般化は、新しい、目に見えないデータ分布に一般化できるモデルを開発することを目的としている。 モデルアーキテクチャと事前学習の目的が機能豊かさに与える影響について検討する。 我々のフレームワークは、最大4%以上のテスト精度向上により、未確認領域への一般化を改善する。
  論文  参考訳（メタデータ） (2025-03-09T17:29:01Z)
• DIGIC: Domain Generalizable Imitation Learning by Causal Discovery [69.13526582209165]
  因果性は機械学習と組み合わせて、ドメインの一般化のための堅牢な表現を生成する。 我々は、実証データ分布を活用して、ドメインの一般化可能なポリシーの因果的特徴を発見するために、異なる試みを行っている。 DIGICと呼ばれる新しいフレームワークを設計し、実演データ分布から専門家行動の直接的な原因を見出すことにより因果的特徴を識別する。
  論文  参考訳（メタデータ） (2024-02-29T07:09:01Z)
• SALUDA: Surface-based Automotive Lidar Unsupervised Domain Adaptation [62.889835139583965]
  我々は、ソースデータとターゲットデータに基づいて、暗黙の基盤となる表面表現を同時に学習する教師なし補助タスクを導入する。 両方のドメインが同じ遅延表現を共有しているため、モデルは2つのデータソース間の不一致を許容せざるを得ない。 実験の結果,本手法は実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-実-
  論文  参考訳（メタデータ） (2023-04-06T17:36:23Z)
• Domain-aware Triplet loss in Domain Generalization [0.0]
  ドメインシフトは、テストとトレーニングデータの分布の相違によって引き起こされる。 ドメイン一般化のためのドメイン認識三重項損失を設計し、モデルが類似のセマンティックな特徴をクラスタリングするのを助ける。 本アルゴリズムは,埋め込み空間におけるドメイン情報を分散するように設計されている。
  論文  参考訳（メタデータ） (2023-03-01T14:02:01Z)
• Improving Domain Generalization with Domain Relations [77.63345406973097]
  本稿では、モデルがトレーニングされたドメインと異なる新しいドメインに適用されたときに発生するドメインシフトに焦点を当てる。 ドメイン固有モデルを学習するためのD$3$Gという新しい手法を提案する。 以上の結果から,D$3$Gは最先端の手法より一貫して優れていた。
  論文  参考訳（メタデータ） (2023-02-06T08:11:16Z)
• Self-balanced Learning For Domain Generalization [64.99791119112503]
  ドメインの一般化は、モデルが未知の統計を持つ対象のドメインに一般化できるように、マルチドメインのソースデータの予測モデルを学ぶことを目的としている。 既存のアプローチのほとんどは、ソースデータがドメインとクラスの両方の観点からバランスよく調整されているという前提の下で開発されている。 本稿では,多領域ソースデータの分布の違いによるバイアスを軽減するために,損失の重み付けを適応的に学習する自己均衡型領域一般化フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-31T03:17:54Z)
• Domain-Class Correlation Decomposition for Generalizable Person Re-Identification [34.813965300584776]
  個人の再識別では、ドメインとクラスは相関する。 このドメイン・クラス間の相関関係により、ドメインの敵対的学習はクラスに関する特定の情報を失うことが示される。 我々のモデルは、大規模ドメイン一般化Re-IDベンチマークにおいて最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2021-06-29T09:45:03Z)
• Representation via Representations: Domain Generalization via Adversarially Learned Invariant Representations [14.751829773340537]
  複数の「研究」(または領域)から不変表現を学習するための敵対的検閲手法について検討する。 医学的な予測のような多くの文脈において、人口の多い地域での研究からの領域の一般化は、アルゴリズム的公正性に関する以前の研究では予想されていなかった、異なる風味の公平性を提供する。
  論文  参考訳（メタデータ） (2020-06-20T02:35:03Z)
• Self-training Avoids Using Spurious Features Under Domain Shift [54.794607791641745]
  教師なし領域適応においては、条件付きエントロピー最小化と擬似ラベル処理は、既存の理論で解析されたものよりもドメインシフトがはるかに大きい場合であっても行われる。 ドメインシフトが大きくなる可能性のある特定の設定を特定・分析するが、特定のスパイラルな特徴はソースドメインのラベルと相関するが、ターゲットの独立なラベルである。
  論文  参考訳（メタデータ） (2020-06-17T17:51:42Z)
• Explainable Deep Classification Models for Domain Generalization [94.43131722655617]
  説明は、深い分類網が決定を下す視覚的証拠の領域として定義される。 トレーニング戦略は周期的な正当性に基づくフィードバックを強制し、モデルが地中真実に直接対応する画像領域に焦点を合わせることを奨励する。
  論文  参考訳（メタデータ） (2020-03-13T22:22:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。