論文の概要: Impact of Regularization on Calibration and Robustness: from the Representation Space Perspective

• arxiv url: http://arxiv.org/abs/2410.03999v1
• Date: Sat, 5 Oct 2024 02:09:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-02 14:50:11.557947
• Title: Impact of Regularization on Calibration and Robustness: from the Representation Space Perspective
• Title（参考訳）: 正規化が校正とロバスト性に及ぼす影響:表現空間の観点から
• Authors: Jonghyun Park, Juyeop Kim, Jong-Seok Lee,
• Abstract要約: 近年の研究では,ソフトラベルを用いた正規化技術により画像分類精度が向上し,モデル校正と対向攻撃に対する堅牢性が改善されている。 本稿では、表現空間の観点から、新しい説明を提供する。 本研究はまず,正規化の有無にかかわらず,表現空間内の決定領域がトレーニング後の原点付近の円錐状形状を形成することを明らかにした。
• 参考スコア（独自算出の注目度）: 16.123727386404312
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent studies have shown that regularization techniques using soft labels, e.g., label smoothing, Mixup, and CutMix, not only enhance image classification accuracy but also improve model calibration and robustness against adversarial attacks. However, the underlying mechanisms of such improvements remain underexplored. In this paper, we offer a novel explanation from the perspective of the representation space (i.e., the space of the features obtained at the penultimate layer). Our investigation first reveals that the decision regions in the representation space form cone-like shapes around the origin after training regardless of the presence of regularization. However, applying regularization causes changes in the distribution of features (or representation vectors). The magnitudes of the representation vectors are reduced and subsequently the cosine similarities between the representation vectors and the class centers (minimal loss points for each class) become higher, which acts as a central mechanism inducing improved calibration and robustness. Our findings provide new insights into the characteristics of the high-dimensional representation space in relation to training and regularization using soft labels.
• Abstract（参考訳）: 近年, ソフトラベル, ラベルの平滑化, ミックスアップ, カットミクスを用いた正規化技術は, 画像分類精度の向上だけでなく, モデルキャリブレーションや敵攻撃に対する堅牢性の向上も示している。 しかし、そのような改善の根底にあるメカニズムは未解明のままである。 本稿では、表現空間(すなわち、最上層で得られる特徴の空間)の観点から、新しい説明を提供する。 本研究はまず,正規化の有無にかかわらず,表現空間内の決定領域がトレーニング後の原点付近の円錐状形状を形成することを明らかにした。 しかし、正規化を適用すると特徴(あるいは表現ベクトル)の分布が変化する。 表現ベクトルの大きさは減少し、その後、表現ベクトルとクラス中心(各クラスにおける最小損失点)のコサイン類似度が高くなり、キャリブレーションとロバストネスの改善を誘導する中心的なメカニズムとして機能する。 本研究は,ソフトラベルを用いたトレーニングと正規化に関連して,高次元表現空間の特性に関する新たな知見を提供する。

関連論文リスト

• VIKING: Deep variational inference with stochastic projections [48.946143517489496]
  変分平均場近似は、現代の過度にパラメータ化されたディープニューラルネットワークと競合する傾向がある。 パラメータ空間の2つの独立線型部分空間を考える単純な変分族を提案する。 これにより、オーバーパラメトリゼーションを反映した、完全に相関した近似後部を構築することができる。
  論文  参考訳（メタデータ） (2025-10-27T15:38:35Z)
• TangledFeatures: Robust Feature Selection in Highly Correlated Spaces [0.0]
  我々はTangledFeaturesを紹介した。TangledFeaturesは、相関した特徴空間における特徴選択のためのフレームワークである。 絡み合った予測器のグループから代表的特徴を識別し、説明力を維持しながら冗長性を低下させる。 選択された特徴は、背骨のねじれ角の変化を説明する構造的に意味のある原子内距離に対応している。
  論文  参考訳（メタデータ） (2025-10-16T05:54:04Z)
• Gradient Rectification for Robust Calibration under Distribution Shift [28.962407770230882]
  ディープニューラルネットワークは、しばしば過信な予測を生成し、安全クリティカルなアプリケーションにおける信頼性を損なう。 対象とするドメイン情報にアクセスせずに動作する新しいキャリブレーションフレームワークを提案する。 本手法は, 配電時の校正性能を向上するとともに, 配電時の校正性能を向上する。
  論文  参考訳（メタデータ） (2025-08-27T12:28:26Z)
• Unifying Perplexing Behaviors in Modified BP Attributions through Alignment Perspective [61.5509267439999]
  GBP, RectGrad, LRP, DTD などの手法の統一理論フレームワークを提案する。 活性化ニューロンの重みを結合して入力アライメントを実現することを実証した。 このアライメントにより、可視化品質が向上し、重量ランダム化に対する感度が低下する。
  論文  参考訳（メタデータ） (2025-03-14T07:58:26Z)
• "Principal Components" Enable A New Language of Images [79.45806370905775]
  証明可能なPCAのような構造を潜在トークン空間に組み込む新しい視覚トークン化フレームワークを導入する。 提案手法は、最先端の再構築性能を実現し、人間の視覚システムとの整合性を向上する。
  論文  参考訳（メタデータ） (2025-03-11T17:59:41Z)
• Spatial regularisation for improved accuracy and interpretability in keypoint-based registration [5.286949071316761]
  教師なしキーポイント検出に基づく最近のアプローチは、解釈可能性に非常に有望である。 本稿では,特徴量の空間分布を正規化するための3倍の損失を提案する。 我々の損失は特徴の解釈可能性を大幅に改善し、現在では正確で解剖学的に意味のあるランドマークに対応しています。
  論文  参考訳（メタデータ） (2025-03-06T14:48:25Z)
• Analysis of Spatial augmentation in Self-supervised models in the purview of training and test distributions [38.77816582772029]
  本稿では,自己指導型表現学習における空間拡張手法の実証的研究について述べる。 a) ランダムトリミングを2つの別々の拡張に分解し、オーバーラップとパッチを行い、重複領域とパッチサイズがダウンストリームタスクの精度に与える影響を詳細に分析する。 以前の文献で報告されたように、なぜカットアウト強化が良い表現を学ばないのかについての洞察を提供する。
  論文  参考訳（メタデータ） (2024-09-26T19:18:36Z)
• Boundary-weighted logit consistency improves calibration of segmentation networks [6.980357450216633]
  また,ロジット整合性は,不明瞭なラベルを持つ画素における過信予測を防止し,空間的に変化する正則化器として機能することを示す。 この正則化器の境界重み付き拡張は、前立腺と心臓のMRIセグメンテーションの最先端のキャリブレーションを提供する。
  論文  参考訳（メタデータ） (2023-07-16T22:13:28Z)
• Understanding Imbalanced Semantic Segmentation Through Neural Collapse [81.89121711426951]
  セマンティックセグメンテーションは自然に文脈的相関とクラス間の不均衡分布をもたらすことを示す。 機能中心にレギュレータを導入し、ネットワークが魅力ある構造に近い機能を学ぶことを奨励する。 我々の手法は、ScanNet200テストリーダーボードで1位にランクインし、新しい記録を樹立する。
  論文  参考訳（メタデータ） (2023-01-03T13:51:51Z)
• On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
  セマンティックセグメンテーションキャリブレーションの問題について検討する。 モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。 我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
  論文  参考訳（メタデータ） (2022-12-22T22:05:16Z)
• Shape And Structure Preserving Differential Privacy [70.08490462870144]
  正方形距離関数の勾配がラプラス機構よりも感度をよりよく制御できることを示す。 また,2乗距離関数の勾配を用いることで,ラプラス機構よりも感度を制御できることを示す。
  論文  参考訳（メタデータ） (2022-09-21T18:14:38Z)
• Adaptive Local-Component-aware Graph Convolutional Network for One-shot Skeleton-based Action Recognition [54.23513799338309]
  骨格に基づく行動認識のための適応的局所成分認識グラフ畳み込みネットワークを提案する。 我々の手法はグローバルな埋め込みよりも強力な表現を提供し、我々のモデルが最先端に到達するのに役立ちます。
  論文  参考訳（メタデータ） (2022-09-21T02:33:07Z)
• Calibrating Segmentation Networks with Margin-based Label Smoothing [19.669173092632]
  現状のキャリブレーション損失に対する統一的制約最適化の視点を提供する。 これらの損失は、ロジット距離に等しい制約を課す線形ペナルティの近似と見なすことができる。 我々は不等式制約に基づく単純で柔軟な一般化を提案し、ロジット距離に制御可能なマージンを課す。
  論文  参考訳（メタデータ） (2022-09-09T20:21:03Z)
• Position-aware Structure Learning for Graph Topology-imbalance by Relieving Under-reaching and Over-squashing [67.83086131278904]
  トポロジー不均衡は、ラベル付きノードの不均一なトポロジー位置によって引き起こされるグラフ固有の不均衡問題である。 PASTEL という新しい位置認識型グラフ構造学習フレームワークを提案する。 私たちの重要な洞察は、より監督的な情報を得るために、同じクラス内のノードの接続性を高めることです。
  論文  参考訳（メタデータ） (2022-08-17T14:04:21Z)
• SSP-Pose: Symmetry-Aware Shape Prior Deformation for Direct Category-Level Object Pose Estimation [77.88624073105768]
  カテゴリーレベルのポーズ推定は、クラス内形状の変化によって難しい問題である。 カテゴリレベルのポーズ推定のためのエンドツーエンドのトレーニング可能なネットワークSSP-Poseを提案する。 SSP-Poseは、リアルタイムの推論速度が約25Hzの競合に比べて性能が優れている。
  論文  参考訳（メタデータ） (2022-08-13T14:37:31Z)
• Alignment-Uniformity aware Representation Learning for Zero-shot Video Classification [3.6954802719347413]
  本稿では,目に見えるクラスと目に見えないクラスの両方の表現に対して,アライメントと均一性を保ったエンドツーエンドフレームワークを提案する。 実験の結果,UCF101では28.1%,HMDB51では27.0%,SOTAでは28.1%が有意に向上した。
  論文  参考訳（メタデータ） (2022-03-29T09:21:22Z)
• Learning Where to Learn in Cross-View Self-Supervised Learning [54.14989750044489]
  自己教師付き学習(SSL)は大きな進歩を遂げ、教師付き学習との大きなギャップを狭めた。 現在の方法では、埋め込みにピクセルの統一的なアグリゲーションを採用する。 本稿では,特徴の空間情報を適応的に集約する学習方法であるLearning Where to Learn(LEWEL)を提案する。
  論文  参考訳（メタデータ） (2022-03-28T17:02:42Z)
• Synergizing between Self-Training and Adversarial Learning for Domain Adaptive Object Detection [11.091890625685298]
  本研究では、物体の外観、視点、背景の顕著な変化を示す未確認領域に、訓練対象検出器を適応させることについて検討する。 本稿では,モデル予測の不確実性を利用して,対向的特徴アライメントとクラスレベルのアライメントの適切なバランスを打つことを提案する。
  論文  参考訳（メタデータ） (2021-10-01T08:10:00Z)
• Exploiting a Joint Embedding Space for Generalized Zero-Shot Semantic Segmentation [25.070027668717422]
  一般化ゼロショットセマンティックセマンティックセグメンテーション(GZS3)は、見えないクラスと見えないクラスのピクセルワイズセマンティックラベルを予測する。 ほとんどのGZS3メソッドは、対応するセマンティックなクラスから見えないクラスの視覚的特徴を合成する生成的アプローチを採用している。 統一されたフレームワークにおける制限に対処するための差別的アプローチを提案する。
  論文  参考訳（メタデータ） (2021-08-14T13:33:58Z)
• Generalized Focal Loss: Learning Qualified and Distributed Bounding Boxes for Dense Object Detection [85.53263670166304]
  一段検出器は基本的に、物体検出を密度の高い分類と位置化として定式化する。 1段検出器の最近の傾向は、局所化の質を推定するために個別の予測分岐を導入することである。 本稿では, 上記の3つの基本要素, 品質推定, 分類, ローカライゼーションについて述べる。
  論文  参考訳（メタデータ） (2020-06-08T07:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。