論文の概要: Beyond the Class Subspace: Teacher-Guided Training for Reliable Out-of-Distribution Detection in Single-Domain Models

• arxiv url: http://arxiv.org/abs/2603.11269v1
• Date: Wed, 11 Mar 2026 19:59:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-13 14:46:25.618693
• Title: Beyond the Class Subspace: Teacher-Guided Training for Reliable Out-of-Distribution Detection in Single-Domain Models
• Title（参考訳）: クラスサブスペースを超えて:教師指導による単一ドメインモデルにおける信頼性の高いアウト・オブ・ディストリビューション検出訓練
• Authors: Hong Yang, Devroop Kar, Qi Yu, Travis Desell, Alex Ororbia,
• Abstract要約: 教師あり学習では,特徴を低ランクのクラス部分空間に圧縮し,ドメインシフト信号を運ぶ方向を抑える。 DSCでは、距離とロジットに基づくOODスコアがドメインシフトに対する感度を失うという理論が提示される。 次に,教師誘導訓練(TGT)を導入し,凍結した多ドメイン教師からクラス抑制された残留構造を学習中に生徒に蒸留する。
• 参考スコア（独自算出の注目度）: 17.681748253240947
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Out-of-distribution (OOD) detection methods perform well on multi-domain benchmarks, yet many practical systems are trained on single-domain data. We show that this regime induces a geometric failure mode, Domain-Sensitivity Collapse (DSC): supervised training compresses features into a low-rank class subspace and suppresses directions that carry domain-shift signal. We provide theory showing that, under DSC, distance- and logit-based OOD scores lose sensitivity to domain shift. We then introduce Teacher-Guided Training (TGT), which distills class-suppressed residual structure from a frozen multi-domain teacher (DINOv2) into the student during training. The teacher and auxiliary head are discarded after training, adding no inference overhead. Across eight single-domain benchmarks, TGT yields large far-OOD FPR@95 reductions for distance-based scorers: MDS improves by 11.61 pp, ViM by 10.78 pp, and kNN by 12.87 pp (ResNet-50 average), while maintaining or slightly improving in-domain OOD and classification accuracy.
• Abstract（参考訳）: アウト・オブ・ディストリビューション(OOD)検出法はマルチドメインのベンチマークでよく機能するが、多くの実用的なシステムは単一ドメインのデータで訓練されている。 教師付きトレーニングは,特徴量を低ランクのクラス部分空間に圧縮し,領域シフト信号を運ぶ方向を抑制する。 DSCでは、距離とロジットに基づくOODスコアがドメインシフトに対する感度を失うという理論が提示される。 次に,TGT(Teacher-Guided Training)を導入し,凍結したマルチドメイン教師(DINOv2)からクラス抑制残留構造を抽出した。 教師と副長は訓練後に廃棄され、推論オーバーヘッドは加えない。 MDSは11.61pp、ViMは10.78pp、kNNは12.87pp(ResNet-50平均)で改善され、ドメイン内のOODと分類精度は若干改善されている。

関連論文リスト

• PSDNorm: Test-Time Temporal Normalization for Deep Learning in Sleep Staging [63.05435596565677]
  我々は,モンジュマッピングと時間文脈を利用したPSDNormを提案し,信号の深層学習モデルにおける特徴写像の正規化を行う。 PSDNormは、BatchNormよりも4倍のデータ効率が高く、目に見えない左のデータセットで最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-03-06T16:20:25Z)
• Is Large-Scale Pretraining the Secret to Good Domain Generalization? [69.80606575323691]
  マルチソース・ドメイン・ジェネリゼーション(Multi-Source Domain Generalization, DG)は、複数のソース・ドメインをトレーニングし、未確認のターゲット・ドメインに対して高い分類性能を達成するタスクである。 最近の手法では、Webスケールの事前訓練されたバックボーンの堅牢な機能と、ソースデータから学んだ新機能を組み合わせることで、ベンチマーク結果を劇的に改善している。 評価されたDGメソッドはすべてDomainBed-OOPで苦労し、最近のメソッドはDomainBed-IPで優れています。
  論文  参考訳（メタデータ） (2024-12-03T21:43:11Z)
• Enhancing Out-of-Distribution Detection with Multitesting-based Layer-wise Feature Fusion [11.689517005768046]
  アウト・オブ・ディストリビューション(Out-of-distriion)サンプルは、トレーニング分布と比較して、局所的またはグローバルな特徴の変化を示す可能性がある。 本稿では,新しいフレームワーク,Multitesting-based Layer-wise Out-of-Distribution (OOD) を提案する。 本手法は, ベースライン法と比較して, 分布外検出の性能を効果的に向上させる。
  論文  参考訳（メタデータ） (2024-03-16T04:35:04Z)
• How to Overcome Curse-of-Dimensionality for Out-of-Distribution Detection? [29.668859994222238]
  OOD検出のための新しいフレームワークSubspace Nearest Neighbor (SNN)を提案する。 トレーニングにおいて,本手法は次元の最も関連性の高い部分集合を利用してモデルとその特徴表現を正規化する。 現在の最良の距離ベースの手法と比較して、SNNはCIFAR-100ベンチマークで平均FPR95を15.96%削減している。
  論文  参考訳（メタデータ） (2023-12-22T06:04:09Z)
• AdaSent: Efficient Domain-Adapted Sentence Embeddings for Few-Shot Classification [53.84663977283108]
  事前学習文(SEs)に基づく文章分類は効率的で堅牢で効果的である。 本稿では, DAPT から SEPT を分離する AdaSent を提案する。 AdaSent は DAPT による PLM 上での完全 SEPT の性能にマッチするか、上回るが、トレーニングコストは大幅に削減される。
  論文  参考訳（メタデータ） (2023-11-01T10:00:15Z)
• Robust Mean Teacher for Continual and Gradual Test-Time Adaptation [5.744133015573047]
  経時的テスト時間適応(TTA)は、単一のドメインシフトだけでなく、一連のシフトも考慮している。 我々は,TTAの設定において,平均教師の整合性損失として対称的クロスエントロピーが適していることを示す。 提案手法は, 連続的, 段階的評価ベンチマークにおいて, RMT (Robust mean teacher) の有効性を実証する。
  論文  参考訳（メタデータ） (2022-11-23T16:14:45Z)
• How to Exploit Hyperspherical Embeddings for Out-of-Distribution Detection? [22.519572587827213]
  CIDERは、OOD検出に超球面埋め込みを利用する表現学習フレームワークである。 CIDERは優れたパフォーマンスを確立し、FPR95では19.36%で最新のライバルを上回った。
  論文  参考訳（メタデータ） (2022-03-08T23:44:01Z)
• Adaptive Risk Minimization: Learning to Adapt to Domain Shift [109.87561509436016]
  ほとんどの機械学習アルゴリズムの基本的な前提は、トレーニングとテストデータは、同じ基礎となる分布から引き出されることである。 本研究では,学習データをドメインに構造化し,複数のテスト時間シフトが存在する場合の領域一般化の問題点について考察する。 本稿では、適応リスク最小化(ARM)の枠組みを紹介し、モデルがトレーニング領域に適応することを学ぶことで、効果的な適応のために直接最適化される。
  論文  参考訳（メタデータ） (2020-07-06T17:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。