論文の概要: Discriminability-Transferability Trade-Off: An Information-Theoretic Perspective

• arxiv url: http://arxiv.org/abs/2203.03871v1
• Date: Tue, 8 Mar 2022 06:16:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-09 13:29:39.281659
• Title: Discriminability-Transferability Trade-Off: An Information-Theoretic Perspective
• Title（参考訳）: 識別可能性-移動可能性トレードオフ:情報理論的な視点
• Authors: Quan Cui, Bingchen Zhao, Zhao-Min Chen, Borui Zhao, Renjie Song, Jiajun Liang, Boyan Zhou, Osamu Yoshie
• Abstract要約: この研究は、典型的な教師付き学習課題における深部表現の識別可能性と伝達性について同時に考察する。 情報・ブートネック理論の観点から、識別可能性と伝達可能性の非互換性は、入力情報の過剰圧縮によるものであることを示す。
• 参考スコア（独自算出の注目度）: 17.304811383730417
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work simultaneously considers the discriminability and transferability properties of deep representations in the typical supervised learning task, i.e., image classification. By a comprehensive temporal analysis, we observe a trade-off between these two properties. The discriminability keeps increasing with the training progressing while the transferability intensely diminishes in the later training period. From the perspective of information-bottleneck theory, we reveal that the incompatibility between discriminability and transferability is attributed to the over-compression of input information. More importantly, we investigate why and how the InfoNCE loss can alleviate the over-compression, and further present a learning framework, named contrastive temporal coding~(CTC), to counteract the over-compression and alleviate the incompatibility. Extensive experiments validate that CTC successfully mitigates the incompatibility, yielding discriminative and transferable representations. Noticeable improvements are achieved on the image classification task and challenging transfer learning tasks. We hope that this work will raise the significance of the transferability property in the conventional supervised learning setting. Code will be publicly available.
• Abstract（参考訳）: 本研究は,教師付き学習タスク,すなわち画像分類における深層表現の識別性と伝達性を同時に検討する。 包括的な時間的分析により、これらの2つの性質の間のトレードオフを観察する。 訓練が進むにつれて差別性は増加し続け、移行性は後期の訓練期間で著しく低下する。 情報ボトルネック理論の観点から, 識別可能性と伝達可能性の不一致は, 入力情報の過剰圧縮に起因することが明らかとなった。 さらに,情報損失が過大圧縮を緩和する理由と方法について検討し,さらに,過大圧縮を防止し,非可逆性を緩和するために,コントラスト時間符号化(ctc)と呼ばれる学習フレームワークを提案する。 広範囲な実験により、CTCは不適合性を緩和し、差別的かつ伝達可能な表現をもたらすことが検証された。 画像分類タスクと転帰学習タスクにおいて顕著な改善が達成される。 本研究は,従来の教師付き学習環境における伝達可能性特性の意義を高めることを期待する。 コードは公開されます。

関連論文リスト

• CLOSER: Towards Better Representation Learning for Few-Shot Class-Incremental Learning [52.63674911541416]
  FSCIL(Few-shot class-incremental Learning)は、過剰適合や忘れなど、いくつかの課題に直面している。 FSCILの独特な課題に取り組むため、ベースクラスでの表現学習に重点を置いている。 より制限された機能空間内で機能の拡散を確保することで、学習された表現が、伝達可能性と識別可能性のバランスを良くすることが可能になることが分かりました。
  論文  参考訳（メタデータ） (2024-10-08T02:23:16Z)
• Disentangling and Mitigating the Impact of Task Similarity for Continual Learning [1.3597551064547502]
  部分的に類似したタスクの継続的な学習は、人工知能ニューラルネットワークの課題となる。 高い入力特徴類似性と低い読み出し類似性は、知識伝達と保持の両方において破滅的である。 フィッシャー情報量に基づく重み正規化は,タスクの類似性にかかわらず,保持率を著しく向上させる。
  論文  参考訳（メタデータ） (2024-05-30T16:40:07Z)
• Evaluating the structure of cognitive tasks with transfer learning [67.22168759751541]
  本研究では,脳波復号処理における深層学習表現の伝達可能性について検討した。 最近リリースされた2つのEEGデータセット上で、最先端デコードモデルを用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2023-07-28T14:51:09Z)
• On Higher Adversarial Susceptibility of Contrastive Self-Supervised Learning [104.00264962878956]
  コントラスト型自己教師学習(CSL)は,画像と映像の分類において,教師あり学習のパフォーマンスに適合するか上回っている。 2つの学習パラダイムによって誘導される表現の性質が似ているかどうかは、いまだに不明である。 我々は,CSL表現空間における単位超球面上のデータ表現の均一分布を,この現象の鍵となる要因として同定する。 CSLトレーニングでモデルロバスト性を改善するのにシンプルだが有効である戦略を考案する。
  論文  参考訳（メタデータ） (2022-07-22T03:49:50Z)
• Fair Contrastive Learning for Facial Attribute Classification [25.436462696033846]
  公正な視覚表現学習のためのFair Supervised Contrastive Loss (FSCL)を提案する。 本稿では,教師付きコントラスト学習による不公平性を初めて分析する。 提案手法はデータバイアスの強度に頑健であり,不完全な教師付き設定で効果的に機能する。
  論文  参考訳（メタデータ） (2022-03-30T11:16:18Z)
• Training GANs with Stronger Augmentations via Contrastive Discriminator [80.8216679195]
  本稿では,gan判別器にコントラスト表現学習方式を導入する。 この「融合」により、識別者は訓練の不安定さを増すことなく、より強力な増強に対処できる。 実験の結果,contratd付きganはfidを一貫して改善し,データ拡張を組み込んだ他の手法と比較した。
  論文  参考訳（メタデータ） (2021-03-17T16:04:54Z)
• Spatial Contrastive Learning for Few-Shot Classification [9.66840768820136]
  局所的識別性およびクラス非依存性の特徴を学習するための新しい注意に基づく空間コントラスト目標を提案する。 実験により,提案手法は最先端手法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2020-12-26T23:39:41Z)
• Adversarial Training Reduces Information and Improves Transferability [81.59364510580738]
  近年の研究では, 頑健性に加えて, 可逆性などの望ましい特性が期待できることが示されている。 本稿では,新たなタスクへの線形転送性の向上を図り,表現の伝達可能性とソースタスクの精度の間に新たなトレードオフが生じていることを示す。
  論文  参考訳（メタデータ） (2020-07-22T08:30:16Z)
• What makes instance discrimination good for transfer learning? [82.79808902674282]
  転送学習において,インスタンス識別の事前訓練がどのような効果があるかを検討する。 転送で本当に重要なのは、ハイレベルな表現ではなく、低レベルで中レベルの表現です。 教師付き事前訓練は、模範的なアプローチに従うことで強化することができる。
  論文  参考訳（メタデータ） (2020-06-11T16:55:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。