論文の概要: Improving Deep Representation Learning via Auxiliary Learnable Target
Coding
- arxiv url: http://arxiv.org/abs/2305.18680v1
- Date: Tue, 30 May 2023 01:38:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-31 18:47:21.170676
- Title: Improving Deep Representation Learning via Auxiliary Learnable Target
Coding
- Title(参考訳): 補助学習対象符号化による深層表現学習の改善
- Authors: Kangjun Liu, Ke Chen, Yaowei Wang, Kui Jia
- Abstract要約: 本稿では,深層表現学習の補助的正規化として,新たな学習対象符号化を提案する。
具体的には、より差別的な表現を促進するために、マージンベースの三重項損失と、提案した目標符号上の相関整合損失を設計する。
- 参考スコア(独自算出の注目度): 44.61627734250863
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep representation learning is a subfield of machine learning that focuses
on learning meaningful and useful representations of data through deep neural
networks. However, existing methods for semantic classification typically
employ pre-defined target codes such as the one-hot and the Hadamard codes,
which can either fail or be less flexible to model inter-class correlation. In
light of this, this paper introduces a novel learnable target coding as an
auxiliary regularization of deep representation learning, which can not only
incorporate latent dependency across classes but also impose geometric
properties of target codes into representation space. Specifically, a
margin-based triplet loss and a correlation consistency loss on the proposed
target codes are designed to encourage more discriminative representations
owing to enlarging between-class margins in representation space and favoring
equal semantic correlation of learnable target codes respectively. Experimental
results on several popular visual classification and retrieval benchmarks can
demonstrate the effectiveness of our method on improving representation
learning, especially for imbalanced data.
- Abstract(参考訳): 深層表現学習(deep representation learning)は、ディープラーニングのサブフィールドであり、深層ニューラルネットワークによるデータの有意義で有用な表現の学習に焦点を当てている。
しかし、既存の意味分類の方法は、通常、ワンホットコードやアダマール符号のような予め定義された目標コードを用いるが、これはクラス間の相関をモデル化するのに失敗するか、柔軟性が低い。
そこで本研究では, クラス間の潜在依存を組み込むだけでなく, 対象コードの幾何学的性質を表現空間に課すことができる深層表現学習の補助正規化として, 新たな学習可能な対象符号化を提案する。
具体的には、表現空間におけるクラス間のマージンの拡大と、学習可能なターゲットコードの等しく意味的相関性により、より差別的な表現を促進するために、マージンベースの三重項損失と、提案したターゲットコードの相関一貫性損失を設計する。
いくつかの一般的な視覚分類および検索ベンチマークにおける実験結果は,特に不均衡データに対する表現学習の改善に本手法の有効性を示すことができる。
関連論文リスト
- Deep Metric Learning for Computer Vision: A Brief Overview [4.980117530293724]
深層ニューラルネットワークを最適化する目的関数は、入力データの強化された特徴表現を作成する上で重要な役割を果たす。
Deep Metric Learningは、データサンプル間の類似度を測定する方法の開発を目指している。
本稿では、この領域における最近の進歩の概要と最先端のDeep Metric Learningアプローチについて論じる。
論文 参考訳(メタデータ) (2023-12-01T21:53:36Z) - Learning Common Rationale to Improve Self-Supervised Representation for
Fine-Grained Visual Recognition Problems [61.11799513362704]
我々は、インスタンスやクラスでよく見られる差別的手がかりを識別するための、追加のスクリーニングメカニズムの学習を提案する。
SSL目標から誘導されるGradCAMを単純に利用することで、共通な有理性検出器が学習可能であることを示す。
論文 参考訳(メタデータ) (2023-03-03T02:07:40Z) - Convolutional Fine-Grained Classification with Self-Supervised Target
Relation Regularization [34.8793946023412]
本稿では,動的ターゲット関係グラフ(DTRG)を新たに導入する。
クラスレベルの特徴中心のオンライン計算は、表現空間におけるカテゴリ間距離を生成するように設計されている。
提案したターゲットグラフは,表現学習におけるデータの分散性と不均衡を緩和する。
論文 参考訳(メタデータ) (2022-08-03T11:51:53Z) - Semantic Representation and Dependency Learning for Multi-Label Image
Recognition [76.52120002993728]
本稿では,各カテゴリのカテゴリ固有のセマンティック表現を学習するための,新しい,効果的なセマンティック表現と依存性学習(SRDL)フレームワークを提案する。
具体的には,カテゴリー別注意領域(CAR)モジュールを設計し,チャネル/空間的注意行列を生成してモデルを導出する。
また、カテゴリ間のセマンティック依存を暗黙的に学習するオブジェクト消去(OE)モジュールを設計し、セマンティック認識領域を消去する。
論文 参考訳(メタデータ) (2022-04-08T00:55:15Z) - Learning Debiased and Disentangled Representations for Semantic
Segmentation [52.35766945827972]
セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。
各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。
提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
論文 参考訳(メタデータ) (2021-10-31T16:15:09Z) - Adversarial Stacked Auto-Encoders for Fair Representation Learning [1.061960673667643]
そこで本稿では,データ表現のさまざまなレベルを活用して,学習した表現の公平性境界を厳格化するための,新しい公正表現学習手法を提案する。
その結果、異なる自動エンコーダを積み重ね、異なる潜在空間でフェアネスを強制すると、他の既存手法と比較してフェアネスが向上することがわかった。
論文 参考訳(メタデータ) (2021-07-27T13:49:18Z) - A Framework to Enhance Generalization of Deep Metric Learning methods
using General Discriminative Feature Learning and Class Adversarial Neural
Networks [1.5469452301122175]
メトリック学習アルゴリズムは、意味論的に類似したデータアイテムをまとめて、異種データを遠くに保持する距離関数を学習することを目的としている。
データから特徴を自動的に抽出し,入力空間から意味的な埋め込み空間への非線形変換を学習するDeep Metric Learning (DML)法が提案されている。
ゼロショット学習(ZSL)環境において,既存のDML手法の一般化能力を高める枠組みを提案する。
論文 参考訳(メタデータ) (2021-06-11T14:24:40Z) - ReMarNet: Conjoint Relation and Margin Learning for Small-Sample Image
Classification [49.87503122462432]
ReMarNet(Relation-and-Margin Learning Network)と呼ばれるニューラルネットワークを導入する。
本手法は,上記2つの分類機構の双方において優れた性能を発揮する特徴を学習するために,異なるバックボーンの2つのネットワークを組み立てる。
4つの画像データセットを用いた実験により,本手法はラベル付きサンプルの小さな集合から識別的特徴を学習するのに有効であることが示された。
論文 参考訳(メタデータ) (2020-06-27T13:50:20Z) - MetaSDF: Meta-learning Signed Distance Functions [85.81290552559817]
ニューラルな暗示表現で形状を一般化することは、各関数空間上の学習先行値に比例する。
形状空間の学習をメタラーニング問題として定式化し、勾配に基づくメタラーニングアルゴリズムを利用してこの課題を解決する。
論文 参考訳(メタデータ) (2020-06-17T05:14:53Z) - Learning Diverse and Discriminative Representations via the Principle of
Maximal Coding Rate Reduction [32.21975128854042]
本稿では、データセット全体と各クラスの和との符号化レート差を最大化する情報理論尺度である最大符号化レート削減(textMCR2$)の原理を提案する。
我々は,クロスエントロピー,情報ボトルネック,情報ゲイン,契約的・コントラスト的学習など,既存のフレームワークとの関係を明らかにするとともに,多様かつ差別的な特徴を学習するための理論的保証を提供する。
論文 参考訳(メタデータ) (2020-06-15T17:23:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。