論文の概要: Role of Orthogonality Constraints in Improving Properties of Deep Networks for Image Classification

• arxiv url: http://arxiv.org/abs/2009.10762v1
• Date: Tue, 22 Sep 2020 18:46:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-15 21:49:56.693464
• Title: Role of Orthogonality Constraints in Improving Properties of Deep Networks for Image Classification
• Title（参考訳）: 画像分類のための深部ネットワーク特性改善における直交制約の役割
• Authors: Hongjun Choi, Anirudh Som, Pavan Turaga
• Abstract要約: 物理に基づく潜在表現からシンプルな仮定で現れる直交球正則化器(OS)を提案する。 さらに単純化された仮定の下では、OS制約は単純な正則項として閉形式で書かれ、クロスエントロピー損失関数と共に用いられる。 4つのベンチマークデータセットに対して定量的かつ質的な結果を提供することにより,提案OSの正規化の有効性を実証する。
• 参考スコア（独自算出の注目度）: 8.756814963313804
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Standard deep learning models that employ the categorical cross-entropy loss are known to perform well at image classification tasks. However, many standard models thus obtained often exhibit issues like feature redundancy, low interpretability, and poor calibration. A body of recent work has emerged that has tried addressing some of these challenges by proposing the use of new regularization functions in addition to the cross-entropy loss. In this paper, we present some surprising findings that emerge from exploring the role of simple orthogonality constraints as a means of imposing physics-motivated constraints common in imaging. We propose an Orthogonal Sphere (OS) regularizer that emerges from physics-based latent-representations under simplifying assumptions. Under further simplifying assumptions, the OS constraint can be written in closed-form as a simple orthonormality term and be used along with the cross-entropy loss function. The findings indicate that orthonormality loss function results in a) rich and diverse feature representations, b) robustness to feature sub-selection, c) better semantic localization in the class activation maps, and d) reduction in model calibration error. We demonstrate the effectiveness of the proposed OS regularization by providing quantitative and qualitative results on four benchmark datasets - CIFAR10, CIFAR100, SVHN and tiny ImageNet.
• Abstract（参考訳）: 分類的クロスエントロピー損失を用いた標準的なディープラーニングモデルは、画像分類タスクでよく機能することが知られている。 しかし、その結果得られた多くの標準モデルは、特徴冗長性、低い解釈可能性、キャリブレーションの欠如といった問題が多い。 クロスエントロピー損失に加えて、新しい正規化関数の使用を提案することで、これらの課題のいくつかに対処しようとする最近の研究が数多く登場している。 本稿では,画像に共通する物理学的制約を課す手段として,単純直交性制約が果たす役割を探究した驚くべき知見を提案する。 物理に基づく潜在表現からシンプルな仮定で現れる直交球正則化器(OS)を提案する。 さらに単純化された仮定の下では、OS制約は単純な正則項として閉形式で書かれ、クロスエントロピー損失関数と共に用いられる。 以上の結果から, 正則性損失関数が関与することが示唆された。 a)豊かで多様な特徴表現 b) 特徴的部分選択に対する堅牢性 c) クラスアクティベーションマップにおける意味的局在性の向上,および d) モデル校正誤差の低減。 CIFAR10, CIFAR100, SVHN, 小画像Netの4つのベンチマークデータセットに対して, 定量的および定性的な結果を提供することにより, 提案OS正則化の有効性を示す。

関連論文リスト

• Enhancing Fine-Grained Visual Recognition in the Low-Data Regime Through Feature Magnitude Regularization [23.78498670529746]
  抽出した特徴量の均等分布を保証するために正規化手法を導入する。 その明らかな単純さにもかかわらず、我々の手法は様々な細粒度視覚認識データセットに対して顕著な性能向上を示した。
  論文  参考訳（メタデータ） (2024-09-03T07:32:46Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• A Fair Loss Function for Network Pruning [93.0013343535411]
  本稿では, 刈り込み時のバイアスの抑制に使用できる簡易な改良型クロスエントロピー損失関数である, 性能重み付き損失関数を提案する。 偏見分類器を用いた顔分類と皮膚記述分類タスクの実験により,提案手法が簡便かつ効果的なツールであることを実証した。
  論文  参考訳（メタデータ） (2022-11-18T15:17:28Z)
• Self-Supervised Training with Autoencoders for Visual Anomaly Detection [61.62861063776813]
  我々は, 正規サンプルの分布を低次元多様体で支持する異常検出において, 特定のユースケースに焦点を当てた。 我々は、訓練中に識別情報を活用する自己指導型学習体制に適応するが、通常の例のサブ多様体に焦点をあてる。 製造領域における視覚異常検出のための挑戦的なベンチマークであるMVTec ADデータセットで、最先端の新たな結果を達成する。
  論文  参考訳（メタデータ） (2022-06-23T14:16:30Z)
• On the Optimization Landscape of Neural Collapse under MSE Loss: Global Optimality with Unconstrained Features [38.05002597295796]
  簡易等角密閉フレーム(ETF)の頂点に崩壊する崩壊層 興味深い経験的現象が、タスクのためのディープニューラルネットワークの最後の層と特徴で広く観測されている。
  論文  参考訳（メタデータ） (2022-03-02T17:00:18Z)
• Learning Discriminative Shrinkage Deep Networks for Image Deconvolution [122.79108159874426]
  本稿では,これらの用語を暗黙的にモデル化する識別的縮小関数を学習することで,効果的に非盲検デコンボリューション手法を提案する。 実験結果から,提案手法は最先端の手法に対して,効率と精度の点で好適に動作することがわかった。
  論文  参考訳（メタデータ） (2021-11-27T12:12:57Z)
• Shaping Deep Feature Space towards Gaussian Mixture for Visual Classification [74.48695037007306]
  視覚分類のためのディープニューラルネットワークのためのガウス混合損失関数(GM)を提案する。 分類マージンと可能性正規化により、GM損失は高い分類性能と特徴分布の正確なモデリングの両方を促進する。 提案したモデルは、追加のトレーニング可能なパラメータを使わずに、簡単かつ効率的に実装できる。
  論文  参考訳（メタデータ） (2020-11-18T03:32:27Z)
• Deep Variational Network Toward Blind Image Restoration [60.45350399661175]
  ブラインド画像復元はコンピュータビジョンでは一般的だが難しい問題である。 両利点を両立させることを目的として,新しいブラインド画像復元手法を提案する。 画像デノイングと超解像という2つの典型的なブラインド赤外線タスクの実験により,提案手法が現状よりも優れた性能を達成できることが実証された。
  論文  参考訳（メタデータ） (2020-08-25T03:30:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。