論文の概要: Improving Deep Representation Learning via Auxiliary Learnable Target
Coding
- arxiv url: http://arxiv.org/abs/2305.18680v1
- Date: Tue, 30 May 2023 01:38:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-31 18:47:21.170676
- Title: Improving Deep Representation Learning via Auxiliary Learnable Target
Coding
- Title(参考訳): 補助学習対象符号化による深層表現学習の改善
- Authors: Kangjun Liu, Ke Chen, Yaowei Wang, Kui Jia
- Abstract要約: 本稿では,深層表現学習の補助的正規化として,新たな学習対象符号化を提案する。
具体的には、より差別的な表現を促進するために、マージンベースの三重項損失と、提案した目標符号上の相関整合損失を設計する。
- 参考スコア(独自算出の注目度): 44.61627734250863
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep representation learning is a subfield of machine learning that focuses
on learning meaningful and useful representations of data through deep neural
networks. However, existing methods for semantic classification typically
employ pre-defined target codes such as the one-hot and the Hadamard codes,
which can either fail or be less flexible to model inter-class correlation. In
light of this, this paper introduces a novel learnable target coding as an
auxiliary regularization of deep representation learning, which can not only
incorporate latent dependency across classes but also impose geometric
properties of target codes into representation space. Specifically, a
margin-based triplet loss and a correlation consistency loss on the proposed
target codes are designed to encourage more discriminative representations
owing to enlarging between-class margins in representation space and favoring
equal semantic correlation of learnable target codes respectively. Experimental
results on several popular visual classification and retrieval benchmarks can
demonstrate the effectiveness of our method on improving representation
learning, especially for imbalanced data.
- Abstract(参考訳): 深層表現学習(deep representation learning)は、ディープラーニングのサブフィールドであり、深層ニューラルネットワークによるデータの有意義で有用な表現の学習に焦点を当てている。
しかし、既存の意味分類の方法は、通常、ワンホットコードやアダマール符号のような予め定義された目標コードを用いるが、これはクラス間の相関をモデル化するのに失敗するか、柔軟性が低い。
そこで本研究では, クラス間の潜在依存を組み込むだけでなく, 対象コードの幾何学的性質を表現空間に課すことができる深層表現学習の補助正規化として, 新たな学習可能な対象符号化を提案する。
具体的には、表現空間におけるクラス間のマージンの拡大と、学習可能なターゲットコードの等しく意味的相関性により、より差別的な表現を促進するために、マージンベースの三重項損失と、提案したターゲットコードの相関一貫性損失を設計する。
いくつかの一般的な視覚分類および検索ベンチマークにおける実験結果は,特に不均衡データに対する表現学習の改善に本手法の有効性を示すことができる。
関連論文リスト
- Beyond Prototypes: Semantic Anchor Regularization for Better
Representation Learning [82.29761875805369]
表現学習の最終的な目標の1つは、クラス内のコンパクトさとクラス間の十分な分離性を達成することである。
本稿では,機能セントロイドとして機能する事前定義されたクラスアンカーを用いて,特徴学習を一方向ガイドする新しい視点を提案する。
提案したSemantic Anchor Regularization (SAR) は,既存モデルのプラグアンドプレイ方式で使用することができる。
論文 参考訳(メタデータ) (2023-12-19T05:52:38Z) - Gramian Attention Heads are Strong yet Efficient Vision Learners [26.79263390835444]
複数のヘッダ分類器(e, classification head)を組み込むことで表現性を向上する新しいアーキテクチャ設計を提案する。
本手法では,資源オーバーヘッドを最小に抑えつつ,複数の軽量ヘッドを強化するために,一対の特徴的類似性を利用したアグリゲーションを用いる。
われわれのモデルは最終的に、ImageNet-1Kの精度の細かいトレードオフに関して、最先端のCNNやViTを上回ることになる。
論文 参考訳(メタデータ) (2023-10-25T09:08:58Z) - Convolutional Fine-Grained Classification with Self-Supervised Target
Relation Regularization [34.8793946023412]
本稿では,動的ターゲット関係グラフ(DTRG)を新たに導入する。
クラスレベルの特徴中心のオンライン計算は、表現空間におけるカテゴリ間距離を生成するように設計されている。
提案したターゲットグラフは,表現学習におけるデータの分散性と不均衡を緩和する。
論文 参考訳(メタデータ) (2022-08-03T11:51:53Z) - Integrating Language Guidance into Vision-based Deep Metric Learning [78.18860829585182]
埋め込み空間として意味的類似性を符号化した距離空間を学習することを提案する。
これらの空間は、トレーニング中に見られるもの以外のクラスに転送可能であるべきである。
これにより、学習された埋め込み空間は不完全な意味的コンテキストを符号化し、クラス間の意味的関係を誤って表現する。
論文 参考訳(メタデータ) (2022-03-16T11:06:50Z) - A Framework to Enhance Generalization of Deep Metric Learning methods
using General Discriminative Feature Learning and Class Adversarial Neural
Networks [1.5469452301122175]
メトリック学習アルゴリズムは、意味論的に類似したデータアイテムをまとめて、異種データを遠くに保持する距離関数を学習することを目的としている。
データから特徴を自動的に抽出し,入力空間から意味的な埋め込み空間への非線形変換を学習するDeep Metric Learning (DML)法が提案されている。
ゼロショット学習(ZSL)環境において,既存のDML手法の一般化能力を高める枠組みを提案する。
論文 参考訳(メタデータ) (2021-06-11T14:24:40Z) - Self-supervised asymmetric deep hashing with margin-scalable constraint
for image retrieval [3.611160663701664]
画像検索のためのマージンスケール可能な制約(SADH)アプローチを備えた,新しい自己監視型非対称深ハッシュ法を提案する。
sadhは自己教師付きネットワークを実装し、セマンティック特徴マップに意味情報を保存し、与えられたデータセットのセマンティクスを意味コードマップに格納する。
特徴学習部では、ハミング空間におけるペア関係の高精度な構築とより識別的なハッシュコード表現の両方に、新たなマージンスケータブル制約を用いる。
論文 参考訳(メタデータ) (2020-12-07T16:09:37Z) - Learning and Exploiting Interclass Visual Correlations for Medical Image
Classification [30.88175218665726]
本稿では、クラス相関学習ネットワーク(CCL-Net)を提案し、与えられたトレーニングデータからクラス間の視覚的相関を学習する。
ネットワークが望ましい相関関係を直接学習させる代わりに,クラス固有の埋め込みの距離メートル法学習を通じて暗黙的に学習することを提案する。
相関関係の幾何学的説明に基づく直感的損失は、クラス間の相関関係の学習を促進するために設計されている。
論文 参考訳(メタデータ) (2020-07-13T13:31:38Z) - ReMarNet: Conjoint Relation and Margin Learning for Small-Sample Image
Classification [49.87503122462432]
ReMarNet(Relation-and-Margin Learning Network)と呼ばれるニューラルネットワークを導入する。
本手法は,上記2つの分類機構の双方において優れた性能を発揮する特徴を学習するために,異なるバックボーンの2つのネットワークを組み立てる。
4つの画像データセットを用いた実験により,本手法はラベル付きサンプルの小さな集合から識別的特徴を学習するのに有効であることが示された。
論文 参考訳(メタデータ) (2020-06-27T13:50:20Z) - MetaSDF: Meta-learning Signed Distance Functions [85.81290552559817]
ニューラルな暗示表現で形状を一般化することは、各関数空間上の学習先行値に比例する。
形状空間の学習をメタラーニング問題として定式化し、勾配に基づくメタラーニングアルゴリズムを利用してこの課題を解決する。
論文 参考訳(メタデータ) (2020-06-17T05:14:53Z) - Learning to Hash with Graph Neural Networks for Recommender Systems [103.82479899868191]
グラフ表現学習は、大規模に高品質な候補探索をサポートすることに多くの注目を集めている。
ユーザ・イテム相互作用ネットワークにおけるオブジェクトの埋め込みベクトルの学習の有効性にもかかわらず、連続的な埋め込み空間におけるユーザの好みを推測する計算コストは膨大である。
連続的かつ離散的なコードとを協調的に学習するための,単純かつ効果的な離散表現学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-03-04T06:59:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。