論文の概要: Orthogonal Projection Loss

• arxiv url: http://arxiv.org/abs/2103.14021v1
• Date: Thu, 25 Mar 2021 17:58:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-26 15:41:57.460413
• Title: Orthogonal Projection Loss
• Title（参考訳）: 直交射影損失
• Authors: Kanchana Ranasinghe, Muzammal Naseer, Munawar Hayat, Salman Khan, Fahad Shahbaz Khan
• Abstract要約: 直交射影損失(OPL)と呼ばれる新しい損失関数を開発する。 OPLは、機能空間におけるクラス内クラスタリングとクラス間分離を直接実施する。 OPLは、慎重な負のマイニングを必要とせず、バッチサイズに敏感であるため、ユニークな利点がある。
• 参考スコア（独自算出の注目度）: 59.61277381836491
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks have achieved remarkable performance on a range of classification tasks, with softmax cross-entropy (CE) loss emerging as the de-facto objective function. The CE loss encourages features of a class to have a higher projection score on the true class-vector compared to the negative classes. However, this is a relative constraint and does not explicitly force different class features to be well-separated. Motivated by the observation that ground-truth class representations in CE loss are orthogonal (one-hot encoded vectors), we develop a novel loss function termed `Orthogonal Projection Loss' (OPL) which imposes orthogonality in the feature space. OPL augments the properties of CE loss and directly enforces inter-class separation alongside intra-class clustering in the feature space through orthogonality constraints on the mini-batch level. As compared to other alternatives of CE, OPL offers unique advantages e.g., no additional learnable parameters, does not require careful negative mining and is not sensitive to the batch size. Given the plug-and-play nature of OPL, we evaluate it on a diverse range of tasks including image recognition (CIFAR-100), large-scale classification (ImageNet), domain generalization (PACS) and few-shot learning (miniImageNet, CIFAR-FS, tiered-ImageNet and Meta-dataset) and demonstrate its effectiveness across the board. Furthermore, OPL offers better robustness against practical nuisances such as adversarial attacks and label noise. Code is available at: https://github.com/kahnchana/opl.
• Abstract（参考訳）: ディープニューラルネットワークは、デファクト目的関数としてソフトマックスクロスエントロピー(CE)損失が出現し、様々な分類タスクにおいて顕著なパフォーマンスを達成した。 CE損失は、負のクラスに比べて真のクラスベクターのプロジェクションスコアが高いクラスの特徴を奨励する。 しかし、これは相対的な制約であり、明確に異なるクラス機能を適切に分離させません。 CE損失の基底構造クラス表現が直交(一ホット符号化ベクトル)であることに感銘を受けて,特徴空間に直交性を与える「直交射影損失(Orthogonal Projection Loss)」と呼ばれる新しい損失関数を開発した。 OPLはCE損失の特性を強化し、ミニバッチレベルの直交制約を通じて、機能空間内のクラス内クラスタリングと並行してクラス間分離を直接実施する。 CEの他の代替品と比較して、OPLは独自の利点、例えば、学習可能なパラメータを追加せず、慎重な負のマイニングを必要とせず、バッチサイズに敏感ではない。 OPLのプラグ・アンド・プレイの性質から,画像認識(CIFAR-100),大規模分類(イメージネット),ドメイン一般化(PACS),少数ショット学習(mini ImageNet, CIFAR-FS, tiered-ImageNet, Meta-dataset)など,さまざまなタスクで評価を行い,その有効性を示した。 さらに、OPLは、敵攻撃やラベルノイズなどの実用上の問題に対して、より堅牢性を提供する。 コードはhttps://github.com/kahnchana/opl。

関連論文リスト

• Zero-shot Object Counting with Good Exemplars [35.7544908318547]
  Zero-shot Object counting (ZOC)は、テスト中のオブジェクトクラス名のみを使用して、手動のアノテーションを必要とせずに、イメージ内のオブジェクトを列挙することを目的としている。 視覚アソシエーションに基づくゼロショットオブジェクトカウント(VA-Count)フレームワークを提案する。 VA-Count は Exemplar Enhancement Module (EEM) と Noise Suppression Module (NSM) から構成される。
  論文  参考訳（メタデータ） (2024-07-06T03:37:22Z)
• Exploration of Class Center for Fine-Grained Visual Classification [7.120809788357261]
  きめ細かい視覚分類は、クラス内差と微妙なクラス間差のために難しい課題である。 本稿では,複数のクラス中心制約とクラス中心ラベル生成からなるクラス中心探索という損失関数を提案する。 本手法は,損失関数として既存の細粒度視覚分類手法と容易に統合でき,トレーニングコストをわずかに抑えることで,さらに優れた性能を向上することができる。
  論文  参考訳（メタデータ） (2024-07-05T04:11:09Z)
• Class Anchor Margin Loss for Content-Based Image Retrieval [97.81742911657497]
  距離学習パラダイムに該当する新しいレペラ・トラクタ損失を提案するが、ペアを生成する必要がなく、直接L2メトリックに最適化する。 CBIRタスクにおいて,畳み込みアーキテクチャと変圧器アーキテクチャの両方を用いて,少数ショットおよびフルセットトレーニングの文脈で提案した目的を評価する。
  論文  参考訳（メタデータ） (2023-06-01T12:53:10Z)
• Neural Collapse Inspired Feature-Classifier Alignment for Few-Shot Class Incremental Learning [120.53458753007851]
  FSCIL(Few-shot class-incremental Learning)は、新しいセッションにおいて、新しいクラスごとにいくつかのトレーニングサンプルしかアクセスできないため、難しい問題である。 我々は最近発見された神経崩壊現象にインスパイアされたFSCILのこの不整合ジレンマに対処する。 我々は、FSCILのための神経崩壊誘発フレームワークを提案する。MiniImageNet、CUB-200、CIFAR-100データセットの実験により、提案したフレームワークが最先端のパフォーマンスより優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-06T18:39:40Z)
• Ortho-Shot: Low Displacement Rank Regularization with Data Augmentation for Few-Shot Learning [23.465747123791772]
  少数の分類において、第一の目的は、新しいクラスをうまく一般化する表現を学ぶことである。 オルソショット(Ortho-Shot)と呼ばれる効率的な低変位ランク(LDR)正規化戦略を提案する。
  論文  参考訳（メタデータ） (2021-10-18T14:58:36Z)
• Discriminator-Free Generative Adversarial Attack [87.71852388383242]
  生成的ベースの敵攻撃は、この制限を取り除くことができる。 ASymmetric Saliency-based Auto-Encoder (SSAE) は摂動を生成する。 SSAEが生成した敵の例は、広く使われているモデルを崩壊させるだけでなく、優れた視覚的品質を実現する。
  論文  参考訳（メタデータ） (2021-07-20T01:55:21Z)
• Learning Class Unique Features in Fine-Grained Visual Classification [20.59233720331779]
  情報理論の観点から,各カテゴリに特徴の独自性を付与することにより,CNNのトレーニングを規則化することを提案する。 提案した最小値損失を補うために,選択した各特徴マップ間の正規化内積に基づく特徴冗長損失(FRL)を提案する。
  論文  参考訳（メタデータ） (2020-11-22T06:20:47Z)
• Class Interference Regularization [7.248447600071719]
  対照的な損失は、人物の再識別、顔認証、少人数のショットラーニングのための最先端のパフォーマンスをもたらす。 我々は,新しい,シンプルで効果的な正規化手法であるクラス干渉正規化(CIR)を提案する。 CIRは、負のクラスの平均埋め込みに向かってランダムに移動することで出力特徴を摂動する。
  論文  参考訳（メタデータ） (2020-09-04T21:03:32Z)
• Generalized Zero-Shot Learning Via Over-Complete Distribution [79.5140590952889]
  そこで本稿では,CVAE (Conditional Variational Autoencoder) を用いたOCD(Over-Complete Distribution) の生成を提案する。 フレームワークの有効性は,Zero-Shot LearningプロトコルとGeneralized Zero-Shot Learningプロトコルの両方を用いて評価する。
  論文  参考訳（メタデータ） (2020-04-01T19:05:28Z)
• Improving Few-shot Learning by Spatially-aware Matching and CrossTransformer [116.46533207849619]
  数ショット学習シナリオにおけるスケールと位置ミスマッチの影響について検討する。 本稿では,複数のスケールや場所のマッチングを効果的に行うための,空間認識型マッチング手法を提案する。
  論文  参考訳（メタデータ） (2020-01-06T14:10:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。