論文の概要: HYPO: Hyperspherical Out-of-Distribution Generalization

• arxiv url: http://arxiv.org/abs/2402.07785v3
• Date: Sun, 03 Nov 2024 08:00:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:38:11.733446
• Title: HYPO: Hyperspherical Out-of-Distribution Generalization
• Title（参考訳）: HYPO:超球面分布の一般化
• Authors: Haoyue Bai, Yifei Ming, Julian Katz-Samuels, Yixuan Li,
• Abstract要約: 超球面空間におけるドメイン不変表現を確実に学習する新しいフレームワークを提案する。 特に,超球面学習アルゴリズムは,クラス内変動とクラス間分離原理によって導かれる。 我々は,本手法が競争基準より優れ,優れた性能を発揮することを実証する。
• 参考スコア（独自算出の注目度）: 35.02297657453378
• License:
• Abstract: Out-of-distribution (OOD) generalization is critical for machine learning models deployed in the real world. However, achieving this can be fundamentally challenging, as it requires the ability to learn invariant features across different domains or environments. In this paper, we propose a novel framework HYPO (HYPerspherical OOD generalization) that provably learns domain-invariant representations in a hyperspherical space. In particular, our hyperspherical learning algorithm is guided by intra-class variation and inter-class separation principles -- ensuring that features from the same class (across different training domains) are closely aligned with their class prototypes, while different class prototypes are maximally separated. We further provide theoretical justifications on how our prototypical learning objective improves the OOD generalization bound. Through extensive experiments on challenging OOD benchmarks, we demonstrate that our approach outperforms competitive baselines and achieves superior performance. Code is available at https://github.com/deeplearning-wisc/hypo.
• Abstract（参考訳）: アウト・オブ・ディストリビューション(OOD)の一般化は、現実世界にデプロイされた機械学習モデルにとって重要である。 しかし、異なるドメインや環境にまたがって不変の機能を学ぶ能力を必要とするため、これを実現することは基本的に困難である。 本稿では,超球面空間における領域不変表現を証明的に学習する新しいフレームワークHYPO(HYPerspherical OOD generalization)を提案する。 特に、我々の超球面学習アルゴリズムは、クラス内変異とクラス間分離原則によって導かれる -- 同じクラス(異なるトレーニング領域全体)のフィーチャがクラスプロトタイプと密接に一致していることを保証する一方で、異なるクラスプロトタイプが最大に分離されている。 さらに、我々の原型学習目的がOOD一般化境界をどのように改善するかに関する理論的正当性を提供する。 OODベンチマークの挑戦実験を通じて、我々のアプローチが競争基準よりも優れ、優れたパフォーマンスを実現することを実証した。 コードはhttps://github.com/deeplearning-wisc/hypo.comで入手できる。

関連論文リスト

• ODRL: A Benchmark for Off-Dynamics Reinforcement Learning [59.72217833812439]
  我々は、オフダイナミックスRL法を評価するための最初のベンチマークであるODRLを紹介する。 ODRLには、4つの実験的な設定が含まれており、ソースドメインとターゲットドメインはオンラインまたはオフラインにすることができる。 我々は、様々な力学シフトにまたがる普遍的な優位性を持つ手法が存在しないことを示す広範なベンチマーク実験を行った。
  論文  参考訳（メタデータ） (2024-10-28T05:29:38Z)
• CRoFT: Robust Fine-Tuning with Concurrent Optimization for OOD Generalization and Open-Set OOD Detection [42.33618249731874]
  トレーニングデータにおけるエネルギースコアの最大化は、ドメイン一貫性のあるヘッセンの分類損失につながることを示す。 我々は,両タスクの同時最適化を可能にする統合された微調整フレームワークを開発した。
  論文  参考訳（メタデータ） (2024-05-26T03:28:59Z)
• Self-Supervised Learning for Covariance Estimation [3.04585143845864]
  推論時に局所的に適用されるニューラルネットワークをグローバルに学習することを提案する。 アーキテクチャは、一般的な注目メカニズムに基づいている。 基礎モデルとして事前訓練し、レーダーやハイパースペクトル画像の適応目標検出など、様々な下流タスクに再利用することができる。
  論文  参考訳（メタデータ） (2024-03-13T16:16:20Z)
• Choosing Wisely and Learning Deeply: Selective Cross-Modality Distillation via CLIP for Domain Generalization [12.311957227670598]
  ドメイン一般化(Domain Generalization, DG)は、複数のドメインにまたがるモデルをトレーニングし、見えないドメインでテストする。 ドメイン一般化のための選択的クロスモーダル蒸留法(Selective Cross-Modality Distillation for Domain Generalization, SCMD)を提案する。 SCMDは大規模な視覚言語モデル、特にCLIPの機能を活用して、より効率的なモデルをトレーニングする。 SCMDのパフォーマンスを様々なベンチマークで評価し、ResNet50に最先端のパフォーマンスを提供する権限を与えます。
  論文  参考訳（メタデータ） (2023-11-26T00:06:12Z)
• CLIPood: Generalizing CLIP to Out-of-Distributions [73.86353105017076]
  対照的に、CLIP(Language-image Pre-training)モデルでは、印象的なゼロショット能力を示しているが、下流タスクにおけるCLIPのさらなる適応は、OODのパフォーマンスを好ましくない劣化させる。 ドメインシフトとオープンクラスの両方が見えないテストデータ上で発生する可能性があるOOD状況にCLIPモデルを適用するための微調整手法であるCLIPoodを提案する。 さまざまなOODシナリオによるさまざまなデータセットの実験は、CLIPoodが既存の一般化テクニックを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2023-02-02T04:27:54Z)
• The Open-World Lottery Ticket Hypothesis for OOD Intent Classification [68.93357975024773]
  我々はOODに対するモデル過信の根本的な原因を明かした。 Lottery Ticket仮説も,オープンワールドシナリオに拡張しています。
  論文  参考訳（メタデータ） (2022-10-13T14:58:35Z)
• Style Interleaved Learning for Generalizable Person Re-identification [69.03539634477637]
  DG ReIDトレーニングのための新しいスタイルインターリーブラーニング(IL)フレームワークを提案する。 従来の学習戦略とは異なり、ILには2つの前方伝播と1つの後方伝播が組み込まれている。 我々のモデルはDG ReIDの大規模ベンチマークにおいて最先端の手法を一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2022-07-07T07:41:32Z)
• Dual Path Structural Contrastive Embeddings for Learning Novel Objects [6.979491536753043]
  近年の研究では、優れた特徴空間の情報を取得することが、少数のタスクにおいて良好なパフォーマンスを達成するための効果的な解決法であることが示されている。 特徴表現と分類器を学習するタスクを分離する,単純だが効果的なパラダイムを提案する。 提案手法は, インダクティブ推論とトランスダクティブ推論のいずれにおいても, 標準および一般化された少数ショット問題に対して有望な結果が得られる。
  論文  参考訳（メタデータ） (2021-12-23T04:43:31Z)
• Trajectory-wise Multiple Choice Learning for Dynamics Generalization in Reinforcement Learning [137.39196753245105]
  本稿では,動的一般化のためのマルチヘッドダイナミックスモデルを学習するモデルベース強化学習アルゴリズムを提案する。 文脈学習は,過去の経験から得られる動的情報からコンテキスト潜在ベクトルにエンコードする。 提案手法は,最先端のRL法と比較して,様々な制御タスクにおいて優れたゼロショット一般化性能を示す。
  論文  参考訳（メタデータ） (2020-10-26T03:20:42Z)
• Learning to Learn Single Domain Generalization [18.72451358284104]
  本稿では,このアウト・オブ・ディストリビューション(OOD)一般化問題を解くために,逆領域拡張という新しい手法を提案する。 鍵となる考え方は、敵の訓練を活用して「現実的」だが「混み合う」人口を作り出すことである。 高速で望ましいドメイン拡張を容易にするため、メタラーニング方式でモデルトレーニングを行い、Wasserstein Auto-Encoder (WAE) を用いて、広く使われている最悪のケース制約を緩和する。
  論文  参考訳（メタデータ） (2020-03-30T04:39:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。