論文の概要: Impact of Regularization on Calibration and Robustness: from the Representation Space Perspective

• arxiv url: http://arxiv.org/abs/2410.03999v1
• Date: Sat, 5 Oct 2024 02:09:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 14:50:11.557947
• Title: Impact of Regularization on Calibration and Robustness: from the Representation Space Perspective
• Title（参考訳）: 正規化が校正とロバスト性に及ぼす影響:表現空間の観点から
• Authors: Jonghyun Park, Juyeop Kim, Jong-Seok Lee,
• Abstract要約: 近年の研究では,ソフトラベルを用いた正規化技術により画像分類精度が向上し,モデル校正と対向攻撃に対する堅牢性が改善されている。 本稿では、表現空間の観点から、新しい説明を提供する。 本研究はまず,正規化の有無にかかわらず,表現空間内の決定領域がトレーニング後の原点付近の円錐状形状を形成することを明らかにした。
• 参考スコア（独自算出の注目度）: 16.123727386404312
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent studies have shown that regularization techniques using soft labels, e.g., label smoothing, Mixup, and CutMix, not only enhance image classification accuracy but also improve model calibration and robustness against adversarial attacks. However, the underlying mechanisms of such improvements remain underexplored. In this paper, we offer a novel explanation from the perspective of the representation space (i.e., the space of the features obtained at the penultimate layer). Our investigation first reveals that the decision regions in the representation space form cone-like shapes around the origin after training regardless of the presence of regularization. However, applying regularization causes changes in the distribution of features (or representation vectors). The magnitudes of the representation vectors are reduced and subsequently the cosine similarities between the representation vectors and the class centers (minimal loss points for each class) become higher, which acts as a central mechanism inducing improved calibration and robustness. Our findings provide new insights into the characteristics of the high-dimensional representation space in relation to training and regularization using soft labels.
• Abstract（参考訳）: 近年, ソフトラベル, ラベルの平滑化, ミックスアップ, カットミクスを用いた正規化技術は, 画像分類精度の向上だけでなく, モデルキャリブレーションや敵攻撃に対する堅牢性の向上も示している。 しかし、そのような改善の根底にあるメカニズムは未解明のままである。 本稿では、表現空間(すなわち、最上層で得られる特徴の空間)の観点から、新しい説明を提供する。 本研究はまず,正規化の有無にかかわらず,表現空間内の決定領域がトレーニング後の原点付近の円錐状形状を形成することを明らかにした。 しかし、正規化を適用すると特徴(あるいは表現ベクトル)の分布が変化する。 表現ベクトルの大きさは減少し、その後、表現ベクトルとクラス中心(各クラスにおける最小損失点)のコサイン類似度が高くなり、キャリブレーションとロバストネスの改善を誘導する中心的なメカニズムとして機能する。 本研究は,ソフトラベルを用いたトレーニングと正規化に関連して,高次元表現空間の特性に関する新たな知見を提供する。

関連論文リスト

• Analysis of Spatial augmentation in Self-supervised models in the purview of training and test distributions [38.77816582772029]
  本稿では,自己指導型表現学習における空間拡張手法の実証的研究について述べる。 a) ランダムトリミングを2つの別々の拡張に分解し、オーバーラップとパッチを行い、重複領域とパッチサイズがダウンストリームタスクの精度に与える影響を詳細に分析する。 以前の文献で報告されたように、なぜカットアウト強化が良い表現を学ばないのかについての洞察を提供する。
  論文  参考訳（メタデータ） (2024-09-26T19:18:36Z)
• Understanding Imbalanced Semantic Segmentation Through Neural Collapse [81.89121711426951]
  セマンティックセグメンテーションは自然に文脈的相関とクラス間の不均衡分布をもたらすことを示す。 機能中心にレギュレータを導入し、ネットワークが魅力ある構造に近い機能を学ぶことを奨励する。 我々の手法は、ScanNet200テストリーダーボードで1位にランクインし、新しい記録を樹立する。
  論文  参考訳（メタデータ） (2023-01-03T13:51:51Z)
• On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
  セマンティックセグメンテーションキャリブレーションの問題について検討する。 モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。 我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
  論文  参考訳（メタデータ） (2022-12-22T22:05:16Z)
• Adaptive Local-Component-aware Graph Convolutional Network for One-shot Skeleton-based Action Recognition [54.23513799338309]
  骨格に基づく行動認識のための適応的局所成分認識グラフ畳み込みネットワークを提案する。 我々の手法はグローバルな埋め込みよりも強力な表現を提供し、我々のモデルが最先端に到達するのに役立ちます。
  論文  参考訳（メタデータ） (2022-09-21T02:33:07Z)
• SSP-Pose: Symmetry-Aware Shape Prior Deformation for Direct Category-Level Object Pose Estimation [77.88624073105768]
  カテゴリーレベルのポーズ推定は、クラス内形状の変化によって難しい問題である。 カテゴリレベルのポーズ推定のためのエンドツーエンドのトレーニング可能なネットワークSSP-Poseを提案する。 SSP-Poseは、リアルタイムの推論速度が約25Hzの競合に比べて性能が優れている。
  論文  参考訳（メタデータ） (2022-08-13T14:37:31Z)
• Alignment-Uniformity aware Representation Learning for Zero-shot Video Classification [3.6954802719347413]
  本稿では,目に見えるクラスと目に見えないクラスの両方の表現に対して,アライメントと均一性を保ったエンドツーエンドフレームワークを提案する。 実験の結果,UCF101では28.1%,HMDB51では27.0%,SOTAでは28.1%が有意に向上した。
  論文  参考訳（メタデータ） (2022-03-29T09:21:22Z)
• Learning Where to Learn in Cross-View Self-Supervised Learning [54.14989750044489]
  自己教師付き学習(SSL)は大きな進歩を遂げ、教師付き学習との大きなギャップを狭めた。 現在の方法では、埋め込みにピクセルの統一的なアグリゲーションを採用する。 本稿では,特徴の空間情報を適応的に集約する学習方法であるLearning Where to Learn(LEWEL)を提案する。
  論文  参考訳（メタデータ） (2022-03-28T17:02:42Z)
• Synergizing between Self-Training and Adversarial Learning for Domain Adaptive Object Detection [11.091890625685298]
  本研究では、物体の外観、視点、背景の顕著な変化を示す未確認領域に、訓練対象検出器を適応させることについて検討する。 本稿では,モデル予測の不確実性を利用して,対向的特徴アライメントとクラスレベルのアライメントの適切なバランスを打つことを提案する。
  論文  参考訳（メタデータ） (2021-10-01T08:10:00Z)
• Exploiting a Joint Embedding Space for Generalized Zero-Shot Semantic Segmentation [25.070027668717422]
  一般化ゼロショットセマンティックセマンティックセグメンテーション(GZS3)は、見えないクラスと見えないクラスのピクセルワイズセマンティックラベルを予測する。 ほとんどのGZS3メソッドは、対応するセマンティックなクラスから見えないクラスの視覚的特徴を合成する生成的アプローチを採用している。 統一されたフレームワークにおける制限に対処するための差別的アプローチを提案する。
  論文  参考訳（メタデータ） (2021-08-14T13:33:58Z)
• Generalized Focal Loss: Learning Qualified and Distributed Bounding Boxes for Dense Object Detection [85.53263670166304]
  一段検出器は基本的に、物体検出を密度の高い分類と位置化として定式化する。 1段検出器の最近の傾向は、局所化の質を推定するために個別の予測分岐を導入することである。 本稿では, 上記の3つの基本要素, 品質推定, 分類, ローカライゼーションについて述べる。
  論文  参考訳（メタデータ） (2020-06-08T07:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。