論文の概要: Improving Self-supervised Learning for Out-of-distribution Task via Auxiliary Classifier

• arxiv url: http://arxiv.org/abs/2209.02881v1
• Date: Wed, 7 Sep 2022 02:00:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-08 13:06:02.699092
• Title: Improving Self-supervised Learning for Out-of-distribution Task via Auxiliary Classifier
• Title（参考訳）: 補助分類器による分散課題に対する自己教師あり学習の改善
• Authors: Harshita Boonlia, Tanmoy Dam, Md Meftahul Ferdaus, Sreenatha G. Anavatti, Ankan Mullick
• Abstract要約: 我々は,OODタスクにおける回転予測(自己教師付き)精度と意味分類精度の強い関係を観察する。 マルチタスクネットワークにセマンティックな分類と回転予測と共に補助的な分類ヘッドを導入する。 提案手法は,上層部で意味分類と回転予測のパラメータを更新する2段階最適化問題である。
• 参考スコア（独自算出の注目度）: 6.61825491400122
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In real world scenarios, out-of-distribution (OOD) datasets may have a large distributional shift from training datasets. This phenomena generally occurs when a trained classifier is deployed on varying dynamic environments, which causes a significant drop in performance. To tackle this issue, we are proposing an end-to-end deep multi-task network in this work. Observing a strong relationship between rotation prediction (self-supervised) accuracy and semantic classification accuracy on OOD tasks, we introduce an additional auxiliary classification head in our multi-task network along with semantic classification and rotation prediction head. To observe the influence of this addition classifier in improving the rotation prediction head, our proposed learning method is framed into bi-level optimisation problem where the upper-level is trained to update the parameters for semantic classification and rotation prediction head. In the lower-level optimisation, only the auxiliary classification head is updated through semantic classification head by fixing the parameters of the semantic classification head. The proposed method has been validated through three unseen OOD datasets where it exhibits a clear improvement in semantic classification accuracy than other two baseline methods. Our code is available on GitHub \url{https://github.com/harshita-555/OSSL}
• Abstract（参考訳）: 実世界のシナリオでは、アウト・オブ・ディストリビューション(OOD)データセットはトレーニングデータセットから大きく分散シフトする可能性がある。 この現象は一般に、訓練された分類器が様々な動的環境にデプロイされたときに起こる。 この問題に対処するため、我々はエンドツーエンドのディープマルチタスクネットワークを提案しています。 OODタスクにおける回転予測(自己監督)精度と意味分類精度の強い関係を観測し,多タスクネットワークにおける追加の補助的分類ヘッドと意味分類と回転予測ヘッドを導入する。 この付加分類器が回転予測ヘッドの改善に与えた影響を観察するために,提案手法は,上位レベルが意味分類と回転予測ヘッドのパラメータを更新するように訓練された2レベル最適化問題にフレーム化される。 下層最適化では、セマンティック分類ヘッドのパラメータを固定することにより、セマンティック分類ヘッドを介して補助分類ヘッドのみを更新する。 提案手法は3つの未知のOODデータセットを用いて検証され,他の2つのベースライン法よりも意味分類精度が向上した。 我々のコードはgithub \url{https://github.com/harshita-555/ossl}で入手できる。

関連論文リスト

• Enhancing Visual Continual Learning with Language-Guided Supervision [76.38481740848434]
  継続的な学習は、モデルが以前獲得した知識を忘れずに新しいタスクを学習できるようにすることを目的としている。 ワンホットラベルが伝達する少ない意味情報は,タスク間の効果的な知識伝達を妨げている,と我々は主張する。 具体的には, PLM を用いて各クラスのセマンティックターゲットを生成し, 凍結し, 監視信号として機能する。
  論文  参考訳（メタデータ） (2024-03-24T12:41:58Z)
• Class-Imbalanced Semi-Supervised Learning for Large-Scale Point Cloud Semantic Segmentation via Decoupling Optimization [64.36097398869774]
  半教師付き学習(SSL)は大規模3Dシーン理解のための活発な研究課題である。 既存のSSLベースのメソッドは、クラス不均衡とポイントクラウドデータのロングテール分布による厳しいトレーニングバイアスに悩まされている。 本稿では,特徴表現学習と分類器を別の最適化方法で切り離してバイアス決定境界を効果的にシフトする,新しいデカップリング最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-13T04:16:40Z)
• Informative regularization for a multi-layer perceptron RR Lyrae classifier under data shift [3.303002683812084]
  本稿では,情報正規化とアドホックなトレーニング手法に基づくスケーラブルで容易に適応可能なアプローチを提案し,シフト問題を緩和する。 提案手法は,特徴量からの知識をニューラルネットワークに組み込むことで,基礎となるデータシフト問題を管理する。
  論文  参考訳（メタデータ） (2023-03-12T02:49:19Z)
• Surgical Fine-Tuning Improves Adaptation to Distribution Shifts [114.17184775397067]
  分散シフト下での伝達学習の一般的なアプローチは、事前訓練されたモデルの最後の数層を微調整することである。 本稿は, 階層のサブセットを選択的に微調整する手法が, 一般的に用いられている微調整手法と一致し, 性能が良くないことを示す。
  論文  参考訳（メタデータ） (2022-10-20T17:59:15Z)
• SCAI: A Spectral data Classification framework with Adaptive Inference for the IoT platform [0.0]
  適応推論を用いたスペクトルデータ分類フレームワークを提案する。 具体的には、異なるデバイス間のコラボレーションをよりよく活用しながら、異なるサンプルに対して異なる計算を割り当てる。 我々の知る限り、この論文はIoTプラットフォーム下でのスペクトル検出のための適応推論による最適化を行うための最初の試みである。
  論文  参考訳（メタデータ） (2022-06-24T09:22:52Z)
• Fine-Grained Visual Classification using Self Assessment Classifier [12.596520707449027]
  識別的特徴の抽出は、きめ細かい視覚的分類タスクにおいて重要な役割を担っている。 本稿では,画像とトップkの予測クラスを同時に活用する自己評価手法を提案する。 本手法は,CUB200-2011,Stanford Dog,FGVC Aircraft のデータセットに対して,最新の結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-05-21T07:41:27Z)
• Ensemble Classifier Design Tuned to Dataset Characteristics for Network Intrusion Detection [0.0]
  データセットのクラスオーバーラップ問題に対処する2つの新しいアルゴリズムが提案されている。 提案手法は二進分類と多進分類の両方で評価される。
  論文  参考訳（メタデータ） (2022-05-08T21:06:42Z)
• Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
  埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。 プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。 我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
  論文  参考訳（メタデータ） (2021-10-22T01:55:01Z)
• No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data [78.69828864672978]
  実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。 このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。 実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
  論文  参考訳（メタデータ） (2021-06-09T12:02:29Z)
• Fine-Grained Visual Classification with Efficient End-to-end Localization [49.9887676289364]
  本稿では,エンド・ツー・エンドの設定において,分類ネットワークと融合可能な効率的なローカライゼーションモジュールを提案する。 我々は,CUB200-2011,Stanford Cars,FGVC-Aircraftの3つのベンチマークデータセット上で,新しいモデルを評価する。
  論文  参考訳（メタデータ） (2020-05-11T14:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。