論文の概要: Few-shot Learning with Global Relatedness Decoupled-Distillation

• arxiv url: http://arxiv.org/abs/2107.05583v1
• Date: Mon, 12 Jul 2021 17:01:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-13 15:56:34.351101
• Title: Few-shot Learning with Global Relatedness Decoupled-Distillation
• Title（参考訳）: global relatedness decoupled-distillationを用いたマイトショット学習
• Authors: Yuan Zhou and Yanrong Guo and Shijie Hao and Richang Hong and Zhen junzha and Meng Wang
• Abstract要約: 本稿では,グローバルなカテゴリ知識とRDD戦略を用いたGlobal Relatedness Decoupled-Distillation(GRDD)手法を提案する。 我々のGRDDは、人間の習慣、すなわち教師から抽出された深い知識から学習することで、新しい視覚概念を素早く学習する。
• 参考スコア（独自算出の注目度）: 47.78903405454224
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the success that metric learning based approaches have achieved in few-shot learning, recent works reveal the ineffectiveness of their episodic training mode. In this paper, we point out two potential reasons for this problem: 1) the random episodic labels can only provide limited supervision information, while the relatedness information between the query and support samples is not fully exploited; 2) the meta-learner is usually constrained by the limited contextual information of the local episode. To overcome these problems, we propose a new Global Relatedness Decoupled-Distillation (GRDD) method using the global category knowledge and the Relatedness Decoupled-Distillation (RDD) strategy. Our GRDD learns new visual concepts quickly by imitating the habit of humans, i.e. learning from the deep knowledge distilled from the teacher. More specifically, we first train a global learner on the entire base subset using category labels as supervision to leverage the global context information of the categories. Then, the well-trained global learner is used to simulate the query-support relatedness in global dependencies. Finally, the distilled global query-support relatedness is explicitly used to train the meta-learner using the RDD strategy, with the goal of making the meta-learner more discriminative. The RDD strategy aims to decouple the dense query-support relatedness into the groups of sparse decoupled relatedness. Moreover, only the relatedness of a single support sample with other query samples is considered in each group. By distilling the sparse decoupled relatedness group by group, sharper relatedness can be effectively distilled to the meta-learner, thereby facilitating the learning of a discriminative meta-learner. We conduct extensive experiments on the miniImagenet and CIFAR-FS datasets, which show the state-of-the-art performance of our GRDD method.
• Abstract（参考訳）: 距離学習ベースのアプローチが数少ない学習で成功しているにもかかわらず、最近の研究はエピソディックトレーニングモードの非効率性を明らかにしている。 本稿では,1)ランダムなエピソードラベルは限られた監視情報しか提供できないが,クエリとサポートサンプルの関連情報は十分に活用されていないこと,2)メタラーナーは通常,ローカルエピソードの限られた文脈情報によって制約されていること,の2つを指摘する。 これらの問題を克服するために,グローバルなカテゴリ知識とRDD戦略を用いたGlobal Relatedness Decoupled-Distillation(GRDD)手法を提案する。 我々のGRDDは人間の習慣を模倣することで、新しい視覚概念を素早く学習する。 先生から蒸留された深い知識から学ぶ。 より具体的には、まず、カテゴリのグローバルコンテキスト情報を活用するために、カテゴリラベルを使用して、ベースサブセット全体のグローバルラーナーを訓練する。 次に、訓練されたグローバルラーナーを用いて、グローバル依存関係におけるクエリサポート関連性をシミュレートする。 最後に, 蒸留したグローバルクエリサポート関連性を用いて, RDD戦略を用いてメタラーナーを訓練する。 RDD 戦略は,クエリサポートの密接な関連性を疎結合な関連性の群に分離することを目的としている。 また、各グループでは、単一のサポートサンプルと他のクエリサンプルの関係性のみが考慮される。 スパース分離関連群を群別蒸留することにより、より鋭い関連性をメタラーナーに効果的に蒸留し、識別メタラーナーの学習を容易にする。 GRDD法の最先端性能を示す miniImagenet と CIFAR-FS データセットについて広範な実験を行った。

関連論文リスト

• GLRT-Based Metric Learning for Remote Sensing Object Retrieval [19.210692452537007]
  既存のCBRSOR法は、訓練段階と試験段階の両方において、グローバルな統計情報の利用を無視する。 ナイマン・ピアソンの定理にインスパイアされた我々は、一般化された確率比テストベースメトリックラーニング(GLRTML)アプローチを提案する。
  論文  参考訳（メタデータ） (2024-10-08T07:53:30Z)
• Enhancing Visual Continual Learning with Language-Guided Supervision [76.38481740848434]
  継続的な学習は、モデルが以前獲得した知識を忘れずに新しいタスクを学習できるようにすることを目的としている。 ワンホットラベルが伝達する少ない意味情報は,タスク間の効果的な知識伝達を妨げている,と我々は主張する。 具体的には, PLM を用いて各クラスのセマンティックターゲットを生成し, 凍結し, 監視信号として機能する。
  論文  参考訳（メタデータ） (2024-03-24T12:41:58Z)
• USER: Unified Semantic Enhancement with Momentum Contrast for Image-Text Retrieval [115.28586222748478]
  Image-Text Retrieval (ITR) は、与えられたクエリに意味のあるターゲットインスタンスを、他のモダリティから検索することを目的としている。 既存のアプローチは通常、2つの大きな制限に悩まされる。
  論文  参考訳（メタデータ） (2023-01-17T12:42:58Z)
• Divide and Contrast: Source-free Domain Adaptation via Adaptive Contrastive Learning [122.62311703151215]
  Divide and Contrast (DaC) は、それぞれの制限を回避しつつ、両方の世界の善良な端を接続することを目的としている。 DaCは、ターゲットデータをソースライクなサンプルとターゲット固有なサンプルに分割する。 さらに、ソースライクなドメインと、メモリバンクベースの最大平均離散性(MMD)損失を用いて、ターゲット固有のサンプルとを整合させて、分散ミスマッチを低減する。
  論文  参考訳（メタデータ） (2022-11-12T09:21:49Z)
• Distilling Object Detectors With Global Knowledge [30.67375886569278]
  既存の手法では、知識を各インスタンスの特徴またはそれらの関係とみなしており、これは教師モデルからのみインスタンスレベルの知識である。 より内在的なアプローチは、教師と学生検出器の2つの特徴空間における共通基底ベクトル群w.r.t.のインスタンスの表現を測定することである。 提案手法は,種々のデータセットのバックボーンを用いたオブジェクト検出器の蒸留に最適であることを示す。
  論文  参考訳（メタデータ） (2022-10-17T12:44:33Z)
• The Role of Global Labels in Few-Shot Classification and How to Infer Them [55.64429518100676]
  メタ学習では、ほとんどショット学習が中心的な問題であり、学習者は新しいタスクに迅速に適応しなければならない。 本稿では,メタラベル学習(MeLa)を提案する。メタラベル学習(MeLa)は,グローバルラベルを推論し,標準分類によるロバストな少数ショットモデルを得る新しいアルゴリズムである。
  論文  参考訳（メタデータ） (2021-08-09T14:07:46Z)
• Few-Shot Incremental Learning with Continually Evolved Classifiers [46.278573301326276]
  Few-shot Class-Incremental Learning(FSCIL)は、いくつかのデータポイントから新しい概念を継続的に学習できる機械学習アルゴリズムの設計を目指している。 難点は、新しいクラスからの限られたデータが、重大な過度な問題を引き起こすだけでなく、破滅的な忘れの問題も悪化させることにある。 我々は,適応のための分類器間のコンテキスト情報を伝達するグラフモデルを用いた連続進化型cif(cec)を提案する。
  論文  参考訳（メタデータ） (2021-04-07T10:54:51Z)
• Unsupervised Feature Learning by Cross-Level Instance-Group Discrimination [68.83098015578874]
  我々は、インスタンスグループ化ではなく、クロスレベルな識別によって、インスタンス間の類似性を対照的な学習に統合する。 CLDは、教師なし学習を、自然データや現実世界のアプリケーションに効果的に近づける。 セルフスーパービジョン、セミスーパービジョン、トランスファーラーニングベンチマークに関する新たな最先端技術は、報告されたすべてのパフォーマンスでMoCo v2とSimCLRを上回っている。
  論文  参考訳（メタデータ） (2020-08-09T21:13:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。