論文の概要: Few-shot Classification with Hypersphere Modeling of Prototypes

• arxiv url: http://arxiv.org/abs/2211.05319v1
• Date: Thu, 10 Nov 2022 03:46:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-11 14:12:26.421380
• Title: Few-shot Classification with Hypersphere Modeling of Prototypes
• Title（参考訳）: プロトタイプの超球モデルによる少数ショット分類
• Authors: Ning Ding, Yulin Chen, Ganqu Cui, Xiaobin Wang, Hai-Tao Zheng, Zhiyuan Liu, Pengjun Xie
• Abstract要約: メトリックベースのメタ学習は、数ショット学習におけるデファクトスタンダードの1つである。 我々はテンソル場(areas')を用いて幾何学的観点からクラスをモデル化し、数ショットの学習を行う。 ハイパースフィアプロトタイプ(HyperProto)と呼ばれるシンプルで効果的な方法を提案する。
• 参考スコア（独自算出の注目度）: 45.211350826691856
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Metric-based meta-learning is one of the de facto standards in few-shot learning. It composes of representation learning and metrics calculation designs. Previous works construct class representations in different ways, varying from mean output embedding to covariance and distributions. However, using embeddings in space lacks expressivity and cannot capture class information robustly, while statistical complex modeling poses difficulty to metric designs. In this work, we use tensor fields (``areas'') to model classes from the geometrical perspective for few-shot learning. We present a simple and effective method, dubbed hypersphere prototypes (HyperProto), where class information is represented by hyperspheres with dynamic sizes with two sets of learnable parameters: the hypersphere's center and the radius. Extending from points to areas, hyperspheres are much more expressive than embeddings. Moreover, it is more convenient to perform metric-based classification with hypersphere prototypes than statistical modeling, as we only need to calculate the distance from a data point to the surface of the hypersphere. Following this idea, we also develop two variants of prototypes under other measurements. Extensive experiments and analysis on few-shot learning tasks across NLP and CV and comparison with 20+ competitive baselines demonstrate the effectiveness of our approach.
• Abstract（参考訳）: メトリックベースのメタ学習は、数ショット学習におけるデファクトスタンダードの1つである。 表現学習とメトリクス計算設計で構成されている。 以前の作品はクラス表現を異なる方法で構成しており、平均出力埋め込みから共分散や分布まで様々である。 しかし、空間への埋め込みは表現性に欠け、クラス情報をしっかりと捉えられないが、統計複素モデリングは計量設計に困難をもたらす。 本研究では,数点学習のための幾何学的視点からクラスをモデル化するためにテンソル場(`areas'')を用いる。 本稿では,ハイパースフィア・プロトタイプ (HyperProto) と呼ばれる,ハイパースフィアの中心と半径という2つの学習可能なパラメータセットを持つ動的サイズを持つハイパースフィアでクラス情報を表現する,シンプルで効果的な手法を提案する。 点から領域へ拡大すると、超球面は埋め込みよりも表現力が高い。 さらに,データ点からハイパースフィアの表面までの距離を計算するだけで,統計モデルよりも,ハイパースフィアのプロトタイプを用いた計量ベースの分類を行う方が便利である。 このアイデアに続いて、他の測定基準の下で2種類のプロトタイプも開発する。 NLP と CV の多種多様な学習課題に関する実験と分析を行い,20以上の競争ベースラインとの比較を行った結果,本手法の有効性が示された。

関連論文リスト

• Rethinking Few-shot 3D Point Cloud Semantic Segmentation [62.80639841429669]
  本稿では,FS-PCSによる3Dポイント・クラウドセマンティックセマンティックセグメンテーションについて再検討する。 我々は、最先端の2つの重要な問題、前景の漏洩とスパースポイントの分布に焦点をあてる。 これらの問題に対処するために、新しいベンチマークを構築するための標準化されたFS-PCS設定を導入する。
  論文  参考訳（メタデータ） (2024-03-01T15:14:47Z)
• Scaling Riemannian Diffusion Models [68.52820280448991]
  非自明な多様体上の高次元タスクにスケールできることを示す。 我々は、$SU(n)$格子上のQCD密度と高次元超球面上の対照的に学習された埋め込みをモデル化する。
  論文  参考訳（メタデータ） (2023-10-30T21:27:53Z)
• The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
  本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。 私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。 この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
  論文  参考訳（メタデータ） (2023-09-20T10:31:17Z)
• HMSN: Hyperbolic Self-Supervised Learning by Clustering with Ideal Prototypes [7.665392786787577]
  プロトタイプに基づくクラスタリング手法の自己教師付き表現学習には,双曲表現空間を用いる。 我々はMasked Siamese Networksを拡張し、双曲空間のPoincar'eボールモデルで操作する。 従来の手法とは異なり、エンコーダネットワークの出力における双曲空間に投影し、双曲投影ヘッドを利用して、下流タスクに使用される表現が双曲的であることを保証する。
  論文  参考訳（メタデータ） (2023-05-18T12:38:40Z)
• Rethinking Semantic Segmentation: A Prototype View [126.59244185849838]
  学習不可能なプロトタイプをベースとした非パラメトリックセマンティックセマンティックセマンティクスモデルを提案する。 我々のフレームワークは、いくつかのデータセットに対して魅力的な結果をもたらす。 この作業が、現在のデファクトセマンティックセグメンテーションモデル設計を再考することを期待しています。
  論文  参考訳（メタデータ） (2022-03-28T21:15:32Z)
• Hyperbolic Vision Transformers: Combining Improvements in Metric Learning [116.13290702262248]
  計量学習のための新しい双曲型モデルを提案する。 本手法のコアとなるのは、双曲空間にマッピングされた出力埋め込みを備えた視覚変換器である。 4つのデータセットに6つの異なる定式化を施したモデルの評価を行った。
  論文  参考訳（メタデータ） (2022-03-21T09:48:23Z)
• Learn to Learn Metric Space for Few-Shot Segmentation of 3D Shapes [17.217954254022573]
  メタラーニングに基づく3次元形状分割手法を提案する。 本稿では,ShapeNet部データセットにおける提案手法の優れた性能を,既存のベースラインや最先端の半教師手法と比較し,いくつかのシナリオで示す。
  論文  参考訳（メタデータ） (2021-07-07T01:47:00Z)
• Hyperbolic Busemann Learning with Ideal Prototypes [14.525985704735055]
  本研究では,任意のデータの表現学習のための双曲型ブセマン学習を提案する。 理想のプロトタイプに対して近似性を計算するために、罰則を付したブセマン損失を導入する。 実験により,本手法は,近年の超球面・双曲型プロトタイプよりも高い精度で,分類信頼性の自然な解釈を提供することを示した。
  論文  参考訳（メタデータ） (2021-06-28T08:36:59Z)
• A Fully Hyperbolic Neural Model for Hierarchical Multi-Class Classification [7.8176853587105075]
  双曲空間は、記号データの階層的表現を学ぶために数学的に魅力的なアプローチを提供する。 本研究は,双曲空間におけるすべての操作を実行する多クラス多ラベル分類のための完全双曲モデルを提案する。 徹底的な分析では、最終予測における各コンポーネントの影響に光を当て、ユークリッド層との統合の容易さを示している。
  論文  参考訳（メタデータ） (2020-10-05T14:42:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。