論文の概要: Discriminability-Transferability Trade-Off: An Information-Theoretic
Perspective
- arxiv url: http://arxiv.org/abs/2203.03871v1
- Date: Tue, 8 Mar 2022 06:16:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-09 13:29:39.281659
- Title: Discriminability-Transferability Trade-Off: An Information-Theoretic
Perspective
- Title(参考訳): 識別可能性-移動可能性トレードオフ:情報理論的な視点
- Authors: Quan Cui, Bingchen Zhao, Zhao-Min Chen, Borui Zhao, Renjie Song,
Jiajun Liang, Boyan Zhou, Osamu Yoshie
- Abstract要約: この研究は、典型的な教師付き学習課題における深部表現の識別可能性と伝達性について同時に考察する。
情報・ブートネック理論の観点から、識別可能性と伝達可能性の非互換性は、入力情報の過剰圧縮によるものであることを示す。
- 参考スコア(独自算出の注目度): 17.304811383730417
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This work simultaneously considers the discriminability and transferability
properties of deep representations in the typical supervised learning task,
i.e., image classification. By a comprehensive temporal analysis, we observe a
trade-off between these two properties. The discriminability keeps increasing
with the training progressing while the transferability intensely diminishes in
the later training period.
From the perspective of information-bottleneck theory, we reveal that the
incompatibility between discriminability and transferability is attributed to
the over-compression of input information. More importantly, we investigate why
and how the InfoNCE loss can alleviate the over-compression, and further
present a learning framework, named contrastive temporal coding~(CTC), to
counteract the over-compression and alleviate the incompatibility. Extensive
experiments validate that CTC successfully mitigates the incompatibility,
yielding discriminative and transferable representations. Noticeable
improvements are achieved on the image classification task and challenging
transfer learning tasks. We hope that this work will raise the significance of
the transferability property in the conventional supervised learning setting.
Code will be publicly available.
- Abstract(参考訳): 本研究は,教師付き学習タスク,すなわち画像分類における深層表現の識別性と伝達性を同時に検討する。
包括的な時間的分析により、これらの2つの性質の間のトレードオフを観察する。
訓練が進むにつれて差別性は増加し続け、移行性は後期の訓練期間で著しく低下する。
情報ボトルネック理論の観点から, 識別可能性と伝達可能性の不一致は, 入力情報の過剰圧縮に起因することが明らかとなった。
さらに,情報損失が過大圧縮を緩和する理由と方法について検討し,さらに,過大圧縮を防止し,非可逆性を緩和するために,コントラスト時間符号化(ctc)と呼ばれる学習フレームワークを提案する。
広範囲な実験により、CTCは不適合性を緩和し、差別的かつ伝達可能な表現をもたらすことが検証された。
画像分類タスクと転帰学習タスクにおいて顕著な改善が達成される。
本研究は,従来の教師付き学習環境における伝達可能性特性の意義を高めることを期待する。
コードは公開されます。
関連論文リスト
- Evaluating the structure of cognitive tasks with transfer learning [67.22168759751541]
本研究では,脳波復号処理における深層学習表現の伝達可能性について検討した。
最近リリースされた2つのEEGデータセット上で、最先端デコードモデルを用いて広範な実験を行う。
論文 参考訳(メタデータ) (2023-07-28T14:51:09Z) - On Higher Adversarial Susceptibility of Contrastive Self-Supervised
Learning [104.00264962878956]
コントラスト型自己教師学習(CSL)は,画像と映像の分類において,教師あり学習のパフォーマンスに適合するか上回っている。
2つの学習パラダイムによって誘導される表現の性質が似ているかどうかは、いまだに不明である。
我々は,CSL表現空間における単位超球面上のデータ表現の均一分布を,この現象の鍵となる要因として同定する。
CSLトレーニングでモデルロバスト性を改善するのにシンプルだが有効である戦略を考案する。
論文 参考訳(メタデータ) (2022-07-22T03:49:50Z) - Fair Contrastive Learning for Facial Attribute Classification [25.436462696033846]
公正な視覚表現学習のためのFair Supervised Contrastive Loss (FSCL)を提案する。
本稿では,教師付きコントラスト学習による不公平性を初めて分析する。
提案手法はデータバイアスの強度に頑健であり,不完全な教師付き設定で効果的に機能する。
論文 参考訳(メタデータ) (2022-03-30T11:16:18Z) - Simpler, Faster, Stronger: Breaking The log-K Curse On Contrastive
Learners With FlatNCE [104.37515476361405]
比較学習者が小さいバッチサイズで失敗する理由を数学的に明らかにする。
この問題を解決するために,FlatNCEという新たな非ネイティブコントラスト目標を提案する。
論文 参考訳(メタデータ) (2021-07-02T15:50:43Z) - Training GANs with Stronger Augmentations via Contrastive Discriminator [80.8216679195]
本稿では,gan判別器にコントラスト表現学習方式を導入する。
この「融合」により、識別者は訓練の不安定さを増すことなく、より強力な増強に対処できる。
実験の結果,contratd付きganはfidを一貫して改善し,データ拡張を組み込んだ他の手法と比較した。
論文 参考訳(メタデータ) (2021-03-17T16:04:54Z) - Spatial Contrastive Learning for Few-Shot Classification [9.66840768820136]
局所的識別性およびクラス非依存性の特徴を学習するための新しい注意に基づく空間コントラスト目標を提案する。
実験により,提案手法は最先端手法よりも優れた性能を示した。
論文 参考訳(メタデータ) (2020-12-26T23:39:41Z) - Adversarial Training Reduces Information and Improves Transferability [81.59364510580738]
近年の研究では, 頑健性に加えて, 可逆性などの望ましい特性が期待できることが示されている。
本稿では,新たなタスクへの線形転送性の向上を図り,表現の伝達可能性とソースタスクの精度の間に新たなトレードオフが生じていることを示す。
論文 参考訳(メタデータ) (2020-07-22T08:30:16Z) - Uncovering the Connections Between Adversarial Transferability and
Knowledge Transferability [27.65302656389911]
我々は,知識伝達可能性と敵対的伝達可能性の関連性を分析し,実証する。
我々の理論的研究は、対向移動可能性は知識伝達可能性を示し、その逆であることを示している。
多様なデータセットの様々なシナリオに対する広範な実験を行い、対向移動可能性と知識伝達可能性との正の相関を示す。
論文 参考訳(メタデータ) (2020-06-25T16:04:47Z) - What makes instance discrimination good for transfer learning? [82.79808902674282]
転送学習において,インスタンス識別の事前訓練がどのような効果があるかを検討する。
転送で本当に重要なのは、ハイレベルな表現ではなく、低レベルで中レベルの表現です。
教師付き事前訓練は、模範的なアプローチに従うことで強化することができる。
論文 参考訳(メタデータ) (2020-06-11T16:55:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。