論文の概要: Role of Orthogonality Constraints in Improving Properties of Deep
Networks for Image Classification
- arxiv url: http://arxiv.org/abs/2009.10762v1
- Date: Tue, 22 Sep 2020 18:46:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-15 21:49:56.693464
- Title: Role of Orthogonality Constraints in Improving Properties of Deep
Networks for Image Classification
- Title(参考訳): 画像分類のための深部ネットワーク特性改善における直交制約の役割
- Authors: Hongjun Choi, Anirudh Som, Pavan Turaga
- Abstract要約: 物理に基づく潜在表現からシンプルな仮定で現れる直交球正則化器(OS)を提案する。
さらに単純化された仮定の下では、OS制約は単純な正則項として閉形式で書かれ、クロスエントロピー損失関数と共に用いられる。
4つのベンチマークデータセットに対して定量的かつ質的な結果を提供することにより,提案OSの正規化の有効性を実証する。
- 参考スコア(独自算出の注目度): 8.756814963313804
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Standard deep learning models that employ the categorical cross-entropy loss
are known to perform well at image classification tasks. However, many standard
models thus obtained often exhibit issues like feature redundancy, low
interpretability, and poor calibration. A body of recent work has emerged that
has tried addressing some of these challenges by proposing the use of new
regularization functions in addition to the cross-entropy loss. In this paper,
we present some surprising findings that emerge from exploring the role of
simple orthogonality constraints as a means of imposing physics-motivated
constraints common in imaging. We propose an Orthogonal Sphere (OS) regularizer
that emerges from physics-based latent-representations under simplifying
assumptions. Under further simplifying assumptions, the OS constraint can be
written in closed-form as a simple orthonormality term and be used along with
the cross-entropy loss function. The findings indicate that orthonormality loss
function results in a) rich and diverse feature representations, b) robustness
to feature sub-selection, c) better semantic localization in the class
activation maps, and d) reduction in model calibration error. We demonstrate
the effectiveness of the proposed OS regularization by providing quantitative
and qualitative results on four benchmark datasets - CIFAR10, CIFAR100, SVHN
and tiny ImageNet.
- Abstract(参考訳): 分類的クロスエントロピー損失を用いた標準的なディープラーニングモデルは、画像分類タスクでよく機能することが知られている。
しかし、その結果得られた多くの標準モデルは、特徴冗長性、低い解釈可能性、キャリブレーションの欠如といった問題が多い。
クロスエントロピー損失に加えて、新しい正規化関数の使用を提案することで、これらの課題のいくつかに対処しようとする最近の研究が数多く登場している。
本稿では,画像に共通する物理学的制約を課す手段として,単純直交性制約が果たす役割を探究した驚くべき知見を提案する。
物理に基づく潜在表現からシンプルな仮定で現れる直交球正則化器(OS)を提案する。
さらに単純化された仮定の下では、OS制約は単純な正則項として閉形式で書かれ、クロスエントロピー損失関数と共に用いられる。
以上の結果から, 正則性損失関数が関与することが示唆された。
a)豊かで多様な特徴表現
b) 特徴的部分選択に対する堅牢性
c) クラスアクティベーションマップにおける意味的局在性の向上,および
d) モデル校正誤差の低減。
CIFAR10, CIFAR100, SVHN, 小画像Netの4つのベンチマークデータセットに対して, 定量的および定性的な結果を提供することにより, 提案OS正則化の有効性を示す。
関連論文リスト
- On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。
アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文 参考訳(メタデータ) (2023-12-13T02:11:07Z) - UNIQA: A Unified Framework for Both Full-Reference and No-Reference
Image Quality Assessment [53.895598734070695]
完全参照(FR)と非参照(NR)のIQAのための統一ネットワークを提案する。
入力画像から多レベル特徴を抽出するためにエンコーダを用いる。
FRおよびNR入力のユニバーサルアダプタとして階層自己認識(HSA)モジュールを提案する。
HSA と CSCA を採用することにより,提案ネットワークは FR と NR IQA の両方を効果的に実行することができる。
論文 参考訳(メタデータ) (2023-10-14T11:03:04Z) - A Fair Loss Function for Network Pruning [93.0013343535411]
本稿では, 刈り込み時のバイアスの抑制に使用できる簡易な改良型クロスエントロピー損失関数である, 性能重み付き損失関数を提案する。
偏見分類器を用いた顔分類と皮膚記述分類タスクの実験により,提案手法が簡便かつ効果的なツールであることを実証した。
論文 参考訳(メタデータ) (2022-11-18T15:17:28Z) - Self-Supervised Training with Autoencoders for Visual Anomaly Detection [55.52743265122446]
ディープオートエンコーダは視覚領域における異常検出のタスクに使われてきた。
我々は、訓練中に識別情報を使用することが可能な自己指導型学習体制を適用することで、この問題に対処する。
MVTec ADデータセットを用いた実験では,高い検出性能と局所化性能を示した。
論文 参考訳(メタデータ) (2022-06-23T14:16:30Z) - On the Optimization Landscape of Neural Collapse under MSE Loss: Global
Optimality with Unconstrained Features [38.05002597295796]
簡易等角密閉フレーム(ETF)の頂点に崩壊する崩壊層
興味深い経験的現象が、タスクのためのディープニューラルネットワークの最後の層と特徴で広く観測されている。
論文 参考訳(メタデータ) (2022-03-02T17:00:18Z) - Learning Discriminative Shrinkage Deep Networks for Image Deconvolution [122.79108159874426]
本稿では,これらの用語を暗黙的にモデル化する識別的縮小関数を学習することで,効果的に非盲検デコンボリューション手法を提案する。
実験結果から,提案手法は最先端の手法に対して,効率と精度の点で好適に動作することがわかった。
論文 参考訳(メタデータ) (2021-11-27T12:12:57Z) - Revisit Geophysical Imaging in A New View of Physics-informed Generative
Adversarial Learning [2.12121796606941]
完全な波形反転は高分解能地下モデルを生成する。
最小二乗関数を持つFWIは、局所ミニマ問題のような多くの欠点に悩まされる。
偏微分方程式とニューラルネットワークを用いた最近の研究は、2次元FWIに対して有望な性能を示している。
本稿では,波動方程式を識別ネットワークに統合し,物理的に一貫したモデルを正確に推定する,教師なし学習パラダイムを提案する。
論文 参考訳(メタデータ) (2021-09-23T15:54:40Z) - Self-Regression Learning for Blind Hyperspectral Image Fusion Without
Label [11.291055330647977]
ハイパースペクトル画像(HSI)を再構築した自己回帰学習法を提案し,観察モデルを推定する。
特に,hsiを復元するinvertible neural network (inn) と,観測モデルを推定する2つの完全連結ネットワーク (fcn) を採用している。
我々のモデルは、合成データと実世界のデータセットの両方で実験で最先端の手法を上回ることができる。
論文 参考訳(メタデータ) (2021-03-31T04:48:21Z) - Deep Variational Network Toward Blind Image Restoration [55.33102369856991]
ブラインド画像復元はコンピュータビジョンでは一般的だが難しい問題である。
両利点を両立させることを目的として,新しいブラインド画像復元手法を提案する。
画像デノイングと超解像という2つの典型的なブラインド赤外線タスクの実験により,提案手法が現状よりも優れた性能を達成できることが実証された。
論文 参考訳(メタデータ) (2020-08-25T03:30:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。