論文の概要: DiffKendall: A Novel Approach for Few-Shot Learning with Differentiable
Kendall's Rank Correlation
- arxiv url: http://arxiv.org/abs/2307.15317v2
- Date: Tue, 24 Oct 2023 06:53:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-25 23:52:01.478532
- Title: DiffKendall: A Novel Approach for Few-Shot Learning with Differentiable
Kendall's Rank Correlation
- Title（参考訳）: DiffKendall: Kendallのランク相関を微分可能なFew-Shot学習のための新しいアプローチ
- Authors: Kaipeng Zheng, Huishuai Zhang, Weiran Huang
- Abstract要約: ほとんどショットラーニングは、ベースデータセットでトレーニングされたモデルを、それまでモデルで見られていなかった新しいタスクに適応することを目的としていない。
これはしばしば、新しいクラスのチャネルにまたがって、機能値の比較的均一な分布をもたらす。
特徴チャネルのランク付けの重要性は、幾何学的類似度指標よりも、数ショット学習においてより信頼性の高い指標であることが示される。
- 参考スコア（独自算出の注目度）: 16.038667928358763
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Few-shot learning aims to adapt models trained on the base dataset to novel
tasks where the categories were not seen by the model before. This often leads
to a relatively uniform distribution of feature values across channels on novel
classes, posing challenges in determining channel importance for novel tasks.
Standard few-shot learning methods employ geometric similarity metrics such as
cosine similarity and negative Euclidean distance to gauge the semantic
relatedness between two features. However, features with high geometric
similarities may carry distinct semantics, especially in the context of
few-shot learning. In this paper, we demonstrate that the importance ranking of
feature channels is a more reliable indicator for few-shot learning than
geometric similarity metrics. We observe that replacing the geometric
similarity metric with Kendall's rank correlation only during inference is able
to improve the performance of few-shot learning across a wide range of methods
and datasets with different domains. Furthermore, we propose a carefully
designed differentiable loss for meta-training to address the
non-differentiability issue of Kendall's rank correlation. By replacing
geometric similarity with differentiable Kendall's rank correlation, our method
can integrate with numerous existing few-shot approaches and is ready for
integrating with future state-of-the-art methods that rely on geometric
similarity metrics. Extensive experiments validate the efficacy of the
rank-correlation-based approach, showcasing a significant improvement in
few-shot learning.
- Abstract（参考訳）: 少数ショット学習は、ベースデータセットでトレーニングされたモデルを、それまでモデルによってカテゴリが見られなかった新しいタスクに適応させることを目的としている。
これはしばしば、新しいクラスにおけるチャネル間の機能値の比較的均一な分布をもたらし、新しいタスクにおけるチャネルの重要性を決定する上での課題となる。
標準的少数ショット学習法では、コサイン類似度や負ユークリッド距離といった幾何学的類似度メトリクスを用いて、2つの特徴間の意味的関連度を測定する。
しかし、幾何学的類似性が高い特徴は、特に数ショット学習の文脈において、異なる意味論を持つ可能性がある。
本稿では,特徴チャネルのランク付けの重要性が,幾何学的類似度指標よりも数ショット学習の信頼性が高いことを示す。
幾何類似度メトリックをケンドールのランク相関に置き換えることにより、様々な領域の様々な方法やデータセットにおいて、数発学習の性能を向上させることができる。
さらに,kendallのランク相関の非微分可能性問題に対処するために,メタトレーニングにおいて注意深く設計された微分可能損失を提案する。
幾何学的類似性を微分可能なkendallのランク相関式に置き換えることで,既存の多数の少数ショットアプローチと統合することができ,幾何学的類似度メトリクスに依存する将来の最先端手法と統合する準備が整っている。
大規模な実験は、ランク相関に基づくアプローチの有効性を検証し、少数ショット学習において顕著な改善を示す。
関連論文リスト
- Metric Learning as a Service with Covariance Embedding [7.5989847759545155]
メトリック学習は、クラス内およびクラス間の類似性を最大化し、最小化する。
既存のモデルは、分離可能な埋め込み空間を得るために主に距離測度に依存する。
高性能なディープラーニングアプリケーションのためのサービスとしてメトリック学習を有効にするためには、クラス間の関係も賢明に扱うべきだ、と我々は主張する。
論文 参考訳（メタデータ） (2022-11-28T10:10:59Z) - Neural Bregman Divergences for Distance Learning [60.375385370556145]
本稿では,入力凸ニューラルネットワークを用いて任意のブレグマン分岐を微分可能な方法で学習するための新しいアプローチを提案する。
提案手法は,新しいタスクと以前に研究されたタスクのセットにおいて,より忠実に相違点を学習することを示す。
我々のテストはさらに、既知の非対称なタスクにまで拡張するが、Bregmanでないタスクでは、不特定性にもかかわらず、我々のメソッドは競争的に機能する。
論文 参考訳（メタデータ） (2022-06-09T20:53:15Z) - Adaptive Hierarchical Similarity Metric Learning with Noisy Labels [138.41576366096137]
適応的階層的類似度メトリック学習法を提案する。
ノイズに敏感な2つの情報、すなわち、クラスワイドのばらつきとサンプルワイドの一貫性を考える。
提案手法は,現在の深層学習手法と比較して,最先端の性能を実現する。
論文 参考訳（メタデータ） (2021-10-29T02:12:18Z) - Deep Relational Metric Learning [84.95793654872399]
本稿では,画像クラスタリングと検索のためのディープリレーショナルメトリック学習フレームワークを提案する。
我々は、クラス間分布とクラス内分布の両方をモデル化するために、異なる側面から画像を特徴付ける特徴のアンサンブルを学ぶ。
広く使われているCUB-200-2011、Cars196、Stanford Online Productsデータセットの実験は、我々のフレームワークが既存の深層学習方法を改善し、非常に競争力のある結果をもたらすことを示した。
論文 参考訳（メタデータ） (2021-08-23T09:31:18Z) - ReSSL: Relational Self-Supervised Learning with Weak Augmentation [68.47096022526927]
自己教師付き学習は、データアノテーションなしで視覚表現を学ぶことに成功しました。
本稿では,異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナルSSLパラダイムを提案する。
提案したReSSLは,性能とトレーニング効率の両面で,従来の最先端アルゴリズムよりも大幅に優れています。
論文 参考訳（メタデータ） (2021-07-20T06:53:07Z) - It Takes Two to Tango: Mixup for Deep Metric Learning [16.60855728302127]
最先端の手法は、主に高度な損失関数や鉱業戦略に焦点を当てている。
Mixupは、2つ以上のサンプルと対応するターゲットラベルを同時に補間する強力なデータ拡張アプローチである。
入力、中間表現、埋め込みを対象ラベルと組み合わせることで、表現を著しく改善し、4つのベンチマークデータセットにおける最先端のメトリック学習方法より優れていることを示す。
論文 参考訳（メタデータ） (2021-06-09T11:20:03Z) - Spherical Feature Transform for Deep Metric Learning [58.35971328774927]
本研究は,新しい球面特徴変換手法を提案する。
これは、クラス間の同一共分散の仮定を、超球面上の異なるクラスの類似共分散の仮定に緩和する。
本研究では,2つの異なる変換間の関係について,簡便かつ効果的な学習法と深度解析を行う。
論文 参考訳（メタデータ） (2020-08-04T11:32:23Z) - Batch Decorrelation for Active Metric Learning [21.99577268213412]
本稿では,三重項に基づく類似度評価を行い,距離指標のパラメトリックモデルを学習するためのアクティブな学習戦略を提案する。
クラスベースの学習における先行研究とは対照的に、オブジェクト間の(異なる)相似性のエム度を表現するエムメトリクスに焦点を当てる。
論文 参考訳（メタデータ） (2020-05-20T12:47:48Z) - Learning to Compare Relation: Semantic Alignment for Few-Shot Learning [48.463122399494175]
本稿では,コンテンツアライメントに頑健な関係を比較するための新しいセマンティックアライメントモデルを提案する。
数ショットの学習データセットについて広範な実験を行う。
論文 参考訳（メタデータ） (2020-02-29T08:37:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。