論文の概要: Minimizing Embedding Distortion for Robust Out-of-Distribution Performance

• arxiv url: http://arxiv.org/abs/2409.07582v1
• Date: Wed, 11 Sep 2024 19:22:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-13 18:42:28.872722
• Title: Minimizing Embedding Distortion for Robust Out-of-Distribution Performance
• Title（参考訳）: ロバストなアウト・オブ・ディストリビューション性能のための埋め込み歪みの最小化
• Authors: Tom Shaked, Yuval Goldman, Oran Shayer,
• Abstract要約: 我々は、タスクの微調整プロセスに組み込むことができる「類似性損失」と呼ばれる新しいアプローチを導入する。 衛星画像における画像分類と顔認識の2つの課題について検討した。
• 参考スコア（独自算出の注目度）: 1.0923877073891446
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Foundational models, trained on vast and diverse datasets, have demonstrated remarkable capabilities in generalizing across different domains and distributions for various zero-shot tasks. Our work addresses the challenge of retaining these powerful generalization capabilities when adapting foundational models to specific downstream tasks through fine-tuning. To this end, we introduce a novel approach we call "similarity loss", which can be incorporated into the fine-tuning process of any task. By minimizing the distortion of fine-tuned embeddings from the pre-trained embeddings, our method strikes a balance between task-specific adaptation and preserving broad generalization abilities. We evaluate our approach on two diverse tasks: image classification on satellite imagery and face recognition, focusing on open-class and domain shift scenarios to assess out-of-distribution (OOD) performance. We demonstrate that this approach significantly improves OOD performance while maintaining strong in-distribution (ID) performance.
• Abstract（参考訳）: 膨大な多様なデータセットに基づいてトレーニングされた基礎モデルは、さまざまなドメインとさまざまなゼロショットタスクの分散をまたいで一般化する驚くべき能力を示してきた。 我々の研究は、微調整による特定の下流タスクに基礎モデルを適用する際に、これらの強力な一般化能力を維持するという課題に対処する。 この目的のために、我々は「類似性損失」と呼ぶ新しい手法を導入し、タスクの微調整プロセスに組み込むことができる。 予め訓練した埋め込みから微調整した埋め込みの歪みを最小限に抑えることで,タスク固有の適応と広範囲な一般化能力のバランスをとることができる。 衛星画像のイメージ分類と顔認識の2つのタスクについて,オープンクラスとドメインシフトのシナリオに着目し,アウト・オブ・ディストリビューション(OOD)の性能を評価する。 我々は,この手法が強力な分散内分散(ID)性能を維持しつつ,OOD性能を著しく向上させることを実証した。

関連論文リスト

• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Coupling Fairness and Pruning in a Single Run: a Bi-level Optimization Perspective [17.394732703591462]
  本研究では, プルーニングマスクと重み更新処理を公平性制約で協調的に最適化する枠組みを提案する。 このフレームワークは、単一実行時の公平性を確保しながら、パフォーマンスを維持するモデルを圧縮するように設計されている。 我々の経験的分析は、我々のフレームワークといくつかの主流プルーニング戦略を対比し、モデルフェアネス、パフォーマンス、効率の維持における我々の方法の優位性を強調している。
  論文  参考訳（メタデータ） (2023-12-15T20:08:53Z)
• ENInst: Enhancing Weakly-supervised Low-shot Instance Segmentation [23.621454800084724]
  我々は,新しいクラスを効果的に扱うためのアノテーション効率のよい訓練手法である,弱教師付きローショットインスタンスセグメンテーションに対処する。 私たちのENInstは、既存の完全に教師されたいくつかのショットモデルに匹敵するパフォーマンスを達成する上で、7.5倍の効率を実現しています。
  論文  参考訳（メタデータ） (2023-02-20T05:15:23Z)
• Feature Diversity Learning with Sample Dropout for Unsupervised Domain Adaptive Person Re-identification [0.0]
  本稿では,ノイズの多い擬似ラベルを限定することで,より優れた一般化能力を持つ特徴表現を学習する手法を提案する。 我々は,古典的な相互学習アーキテクチャの下で,FDL(Feature Diversity Learning)と呼ばれる新しい手法を提案する。 実験の結果,提案するFDL-SDは,複数のベンチマークデータセット上での最先端性能を実現することがわかった。
  論文  参考訳（メタデータ） (2022-01-25T10:10:48Z)
• Uni-Perceiver: Pre-training Unified Architecture for Generic Perception for Zero-shot and Few-shot Tasks [73.63892022944198]
  我々はUni-Perceiverという汎用認識アーキテクチャを提案する。 様々なモダリティやタスクを、統一されたモデリングと共有パラメータで処理します。 その結果、チューニングなしで事前学習したモデルは、新しいタスクでも合理的なパフォーマンスを達成できることがわかった。
  論文  参考訳（メタデータ） (2021-12-02T18:59:50Z)
• Variational Disentanglement for Domain Generalization [68.85458536180437]
  本稿では,変分拡散ネットワーク(VDN)という効果的なフレームワークを提供することにより,領域一般化の課題に取り組むことを提案する。 VDNは、ドメイン固有の機能とタスク固有の機能を切り離し、タスク固有のフィーチャは、見えないが関連するテストデータにより良い一般化が期待できる。
  論文  参考訳（メタデータ） (2021-09-13T09:55:32Z)
• Efficient Reinforcement Learning in Resource Allocation Problems Through Permutation Invariant Multi-task Learning [6.247939901619901]
  特定の環境では、利用可能なデータはマルチタスク学習の形式で劇的に向上できることを示す。 我々は,この条件下でのサンプル効率の利得に結びついた理論的性能を提供する。 これは、適切なニューラルネットワークアーキテクチャの設計と優先順位付けされたタスクサンプリング戦略を含む、マルチタスク学習への新しいアプローチを動機付ける。
  論文  参考訳（メタデータ） (2021-02-18T14:13:02Z)
• Style Normalization and Restitution for DomainGeneralization and Adaptation [88.86865069583149]
  効果的なドメイン一般化モデルは、一般化および判別可能な特徴表現を学習することが期待される。 本稿では,ネットワークの高一般化と識別能力を確保するために,新しいスタイル正規化・再構成モジュール(SNR)を設計する。
  論文  参考訳（メタデータ） (2021-01-03T09:01:39Z)
• Spectrum-Guided Adversarial Disparity Learning [52.293230153385124]
  本稿では,新たなエンド・ツー・エンドの知識指向学習フレームワークを提案する。 2つの競合符号化分布を用いてクラス条件付きクラス内不一致を表現し、学習された不一致を識別することで精製された潜伏符号を学習する。 4つのHARベンチマークデータセットに対する実験により,提案手法の頑健性と,最先端の手法による一般化が実証された。
  論文  参考訳（メタデータ） (2020-07-14T05:46:27Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。