論文の概要: Preserving Silent Features for Domain Generalization

• arxiv url: http://arxiv.org/abs/2401.03170v1
• Date: Sat, 6 Jan 2024 09:11:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-09 20:16:22.389733
• Title: Preserving Silent Features for Domain Generalization
• Title（参考訳）: ドメイン一般化のためのサイレント特徴の保存
• Authors: Chujie Zhao, Tianren Zhang, Feng Chen
• Abstract要約: 自己教師付きコントラスト学習事前学習モデルは、DG設定で同じデータセット上で事前訓練された教師付きモデルよりも優れた一般化性能を示す。 本稿では,STEP(Silent Feature Preservation)と呼ばれる簡易かつ効果的な手法を提案し,自己教師付きコントラスト学習事前学習モデルの一般化性能を向上させる。
• 参考スコア（独自算出の注目度）: 6.568921669414849
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Domain generalization (DG) aims to improve the generalization ability of the model trained on several known training domains over unseen test domains. Previous work has shown that self-supervised contrastive pre-training improves the robustness of the model on downstream tasks. However, in this paper, we find that self-supervised models do not exhibit better generalization performance than supervised models pre-trained on the same dataset in the DG setting. We argue that this is owing to the fact that the richer intra-class discriminative features extracted by self-supervised contrastive learning, which we term silent features, are suppressed during supervised fine-tuning. These silent features are likely to contain features that are more generalizable on the test domain. In this work, we model and analyze this feature suppression phenomenon and theoretically prove that preserving silent features can achieve lower expected test domain risk under certain conditions. In light of this, we propose a simple yet effective method termed STEP (Silent Feature Preservation) to improve the generalization performance of the self-supervised contrastive learning pre-trained model by alleviating the suppression of silent features during the supervised fine-tuning process. Experimental results show that STEP exhibits state-of-the-art performance on standard DG benchmarks with significant distribution shifts.
• Abstract（参考訳）: ドメイン一般化(dg)は、いくつかの既知のトレーニングドメインでトレーニングされたモデルの一般化能力を改善することを目的としている。 前回の研究では、自己教師付きコントラストプレトレーニングが下流タスクにおけるモデルのロバスト性を改善することが示されている。 しかし,本論文では,自己教師付きモデルでは,DG設定において同じデータセット上で事前訓練された教師付きモデルよりも,より優れた一般化性能が得られていない。 これは, 教師付き微調整において, 教師付きコントラスト学習によって抽出される, より豊かなクラス内差別的特徴が抑制されるという事実が原因と考えられる。 これらのサイレント機能は、テストドメインでより一般化可能な機能を含んでいる可能性が高い。 本研究では,この特徴抑制現象をモデル化・解析し,ある条件下でサイレント特徴の保持が期待されるテスト領域のリスクを低減できることを理論的に証明する。 そこで我々は,STEP(Silent Feature Preservation)と呼ばれるシンプルな手法を提案し,教師付き微調整過程における無声特徴の抑制を緩和し,自己教師付きコントラスト学習事前学習モデルの一般化性能を向上させる。 実験結果から,STEPは標準DGベンチマークにおいて,分布変化の著しい最先端性能を示すことが示された。

関連論文リスト

• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Revisiting the Robust Generalization of Adversarial Prompt Tuning [4.033827046965844]
  本稿では,画像とテキストの特徴のアライメントを高めるために,適応型一貫性誘導型適応型適応型適応プロンプトチューニング(CAPT)フレームワークを提案する。 我々は14のデータセットと4つのデータ空間をまたいだ実験を行い、CAPTが他の最先端の適応手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-18T02:54:41Z)
• Learning Off-policy with Model-based Intrinsic Motivation For Active Online Exploration [15.463313629574111]
  本稿では,連続制御タスクにおけるサンプル効率の高い探索手法について検討する。 本稿では,予測モデルと非政治学習要素を組み込んだRLアルゴリズムを提案する。 パラメーターのオーバーヘッドを発生させずに本質的な報酬を導き出す。
  論文  参考訳（メタデータ） (2024-03-31T11:39:11Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• Augmenting Unsupervised Reinforcement Learning with Self-Reference [63.68018737038331]
  人間は、新しいタスクを学ぶ際に、過去の経験を明確に表現する能力を持っている。 本稿では,歴史情報を活用するためのアドオンモジュールとして,自己参照(SR)アプローチを提案する。 提案手法は,非教師付き強化学習ベンチマークにおけるIQM(Interquartile Mean)性能と最適ギャップ削減の両面から,最先端の成果を実現する。
  論文  参考訳（メタデータ） (2023-11-16T09:07:34Z)
• Cross-functional Analysis of Generalisation in Behavioural Learning [4.0810783261728565]
  本稿では,異なるレベルの次元をまたいだ一般化を考慮した行動学習の分析手法であるBluGAを紹介する。 集計スコアは、目に見えない機能(または過剰適合)への一般化を測定する
  論文  参考訳（メタデータ） (2023-05-22T11:54:19Z)
• Modeling Uncertain Feature Representation for Domain Generalization [49.129544670700525]
  提案手法は,複数の視覚タスクにおけるネットワーク一般化能力を常に改善することを示す。 我々の手法は単純だが有効であり、トレーニング可能なパラメータや損失制約を伴わずにネットワークに容易に統合できる。
  論文  参考訳（メタデータ） (2023-01-16T14:25:02Z)
• Relating Regularization and Generalization through the Intrinsic Dimension of Activations [11.00580615194563]
  画像分類モデルにおける検証セットアクティベーションの最終層ID(LLID)を,共通正規化手法により均一に低減することを示す。 また、グルーキングを示すモデルのトレーニングの過程でLLIDについても検討する。
  論文  参考訳（メタデータ） (2022-11-23T19:00:00Z)
• Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient for Out-of-Distribution Generalization [52.7137956951533]
  既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。 本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。 自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
  論文  参考訳（メタデータ） (2022-02-14T16:42:16Z)
• Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
  そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。 実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
  論文  参考訳（メタデータ） (2021-12-10T20:46:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。