論文の概要: DiffKendall: A Novel Approach for Few-Shot Learning with Differentiable Kendall's Rank Correlation

• arxiv url: http://arxiv.org/abs/2307.15317v1
• Date: Fri, 28 Jul 2023 05:32:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-31 13:43:55.914781
• Title: DiffKendall: A Novel Approach for Few-Shot Learning with Differentiable Kendall's Rank Correlation
• Title（参考訳）: DiffKendall: Kendallのランク相関を微分可能なFew-Shot学習のための新しいアプローチ
• Authors: Kaipeng Zheng, Huishuai Zhang, Weiran Huang
• Abstract要約: ほとんどショットラーニングは、ベースデータセットでトレーニングされたモデルを、それまでモデルに見られていなかった新しいタスクに適応させることを目的としている。 特徴チャネルのランク付けの重要性は、幾何学的類似度指標よりも、数ショット学習においてより信頼性の高い指標であることが示される。
• 参考スコア（独自算出の注目度）: 17.903742503507093
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Few-shot learning aims to adapt models trained on the base dataset to novel tasks where the categories are not seen by the model before. This often leads to a relatively uniform distribution of feature values across channels on novel classes, posing challenges in determining channel importance for novel tasks. Standard few-shot learning methods employ geometric similarity metrics such as cosine similarity and negative Euclidean distance to gauge the semantic relatedness between two features. However, features with high geometric similarities may carry distinct semantics, especially in the context of few-shot learning. In this paper, we demonstrate that the importance ranking of feature channels is a more reliable indicator for few-shot learning than geometric similarity metrics. We observe that replacing the geometric similarity metric with Kendall's rank correlation only during inference is able to improve the performance of few-shot learning across a wide range of datasets with different domains. Furthermore, we propose a carefully designed differentiable loss for meta-training to address the non-differentiability issue of Kendall's rank correlation. Extensive experiments demonstrate that the proposed rank-correlation-based approach substantially enhances few-shot learning performance.
• Abstract（参考訳）: 少数ショット学習は、ベースデータセットでトレーニングされたモデルを、それまでモデルによってカテゴリが見られなかった新しいタスクに適応させることを目的としている。 これはしばしば、新しいクラスにおけるチャネル間の機能値の比較的均一な分布をもたらし、新しいタスクにおけるチャネルの重要性を決定する上での課題となる。 標準的少数ショット学習法では、コサイン類似度や負ユークリッド距離といった幾何学的類似度メトリクスを用いて、2つの特徴間の意味的関連度を測定する。 しかし、幾何学的類似性が高い特徴は、特に数ショット学習の文脈において、異なる意味論を持つ可能性がある。 本稿では,特徴チャネルのランク付けの重要性が,幾何学的類似度指標よりも数ショット学習の信頼性が高いことを示す。 我々は、幾何類似度メトリックをケンドールのランク相関に置き換えることにより、様々な領域のデータセットにおいて、数発学習の性能を向上させることができることを観察する。 さらに,kendallのランク相関の非微分可能性問題に対処するために,メタトレーニングにおいて注意深く設計された微分可能損失を提案する。 広範にわたる実験により,提案手法のランク相関に基づく学習性能が大幅に向上することが示された。

関連論文リスト

• Metric Learning as a Service with Covariance Embedding [7.5989847759545155]
  メトリック学習は、クラス内およびクラス間の類似性を最大化し、最小化する。 既存のモデルは、分離可能な埋め込み空間を得るために主に距離測度に依存する。 高性能なディープラーニングアプリケーションのためのサービスとしてメトリック学習を有効にするためには、クラス間の関係も賢明に扱うべきだ、と我々は主張する。
  論文  参考訳（メタデータ） (2022-11-28T10:10:59Z)
• Neural Bregman Divergences for Distance Learning [60.375385370556145]
  本稿では,入力凸ニューラルネットワークを用いて任意のブレグマン分岐を微分可能な方法で学習するための新しいアプローチを提案する。 提案手法は,新しいタスクと以前に研究されたタスクのセットにおいて,より忠実に相違点を学習することを示す。 我々のテストはさらに、既知の非対称なタスクにまで拡張するが、Bregmanでないタスクでは、不特定性にもかかわらず、我々のメソッドは競争的に機能する。
  論文  参考訳（メタデータ） (2022-06-09T20:53:15Z)
• Adaptive Hierarchical Similarity Metric Learning with Noisy Labels [138.41576366096137]
  適応的階層的類似度メトリック学習法を提案する。 ノイズに敏感な2つの情報、すなわち、クラスワイドのばらつきとサンプルワイドの一貫性を考える。 提案手法は,現在の深層学習手法と比較して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2021-10-29T02:12:18Z)
• Deep Relational Metric Learning [84.95793654872399]
  本稿では,画像クラスタリングと検索のためのディープリレーショナルメトリック学習フレームワークを提案する。 我々は、クラス間分布とクラス内分布の両方をモデル化するために、異なる側面から画像を特徴付ける特徴のアンサンブルを学ぶ。 広く使われているCUB-200-2011、Cars196、Stanford Online Productsデータセットの実験は、我々のフレームワークが既存の深層学習方法を改善し、非常に競争力のある結果をもたらすことを示した。
  論文  参考訳（メタデータ） (2021-08-23T09:31:18Z)
• ReSSL: Relational Self-Supervised Learning with Weak Augmentation [68.47096022526927]
  自己教師付き学習は、データアノテーションなしで視覚表現を学ぶことに成功しました。 本稿では,異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナルSSLパラダイムを提案する。 提案したReSSLは,性能とトレーニング効率の両面で,従来の最先端アルゴリズムよりも大幅に優れています。
  論文  参考訳（メタデータ） (2021-07-20T06:53:07Z)
• It Takes Two to Tango: Mixup for Deep Metric Learning [16.60855728302127]
  最先端の手法は、主に高度な損失関数や鉱業戦略に焦点を当てている。 Mixupは、2つ以上のサンプルと対応するターゲットラベルを同時に補間する強力なデータ拡張アプローチである。 入力、中間表現、埋め込みを対象ラベルと組み合わせることで、表現を著しく改善し、4つのベンチマークデータセットにおける最先端のメトリック学習方法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-09T11:20:03Z)
• Spherical Feature Transform for Deep Metric Learning [58.35971328774927]
  本研究は,新しい球面特徴変換手法を提案する。 これは、クラス間の同一共分散の仮定を、超球面上の異なるクラスの類似共分散の仮定に緩和する。 本研究では,2つの異なる変換間の関係について,簡便かつ効果的な学習法と深度解析を行う。
  論文  参考訳（メタデータ） (2020-08-04T11:32:23Z)
• Batch Decorrelation for Active Metric Learning [21.99577268213412]
  本稿では,三重項に基づく類似度評価を行い,距離指標のパラメトリックモデルを学習するためのアクティブな学習戦略を提案する。 クラスベースの学習における先行研究とは対照的に、オブジェクト間の(異なる)相似性のエム度を表現するエムメトリクスに焦点を当てる。
  論文  参考訳（メタデータ） (2020-05-20T12:47:48Z)
• Learning to Compare Relation: Semantic Alignment for Few-Shot Learning [48.463122399494175]
  本稿では,コンテンツアライメントに頑健な関係を比較するための新しいセマンティックアライメントモデルを提案する。 数ショットの学習データセットについて広範な実験を行う。
  論文  参考訳（メタデータ） (2020-02-29T08:37:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。