論文の概要: Classical Sequence Match is a Competitive Few-Shot One-Class Learner

• arxiv url: http://arxiv.org/abs/2209.06394v1
• Date: Wed, 14 Sep 2022 03:21:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-15 12:50:32.872637
• Title: Classical Sequence Match is a Competitive Few-Shot One-Class Learner
• Title（参考訳）: クラシック・シーケンシャルマッチは、競争相手の少ない一級学習者
• Authors: Mengting Hu, Hang Gao, Yinhao Bai, Mingming Liu
• Abstract要約: 我々は,未知のインスタンスが同一のクラスに属しているかどうかを検出するために,実際に既知のサンプルを参照として用いた,数発のワンクラス問題について検討する。 メタラーニング(メタラーニング)では、古典的なシーケンスマッチング法、すなわちコントラスト・アグリゲートがトランスフォーマーを著しく上回っていることが示されている。
• 参考スコア（独自算出の注目度）: 15.598750267663286
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Nowadays, transformer-based models gradually become the default choice for artificial intelligence pioneers. The models also show superiority even in the few-shot scenarios. In this paper, we revisit the classical methods and propose a new few-shot alternative. Specifically, we investigate the few-shot one-class problem, which actually takes a known sample as a reference to detect whether an unknown instance belongs to the same class. This problem can be studied from the perspective of sequence match. It is shown that with meta-learning, the classical sequence match method, i.e. Compare-Aggregate, significantly outperforms transformer ones. The classical approach requires much less training cost. Furthermore, we perform an empirical comparison between two kinds of sequence match approaches under simple fine-tuning and meta-learning. Meta-learning causes the transformer models' features to have high-correlation dimensions. The reason is closely related to the number of layers and heads of transformer models. Experimental codes and data are available at https://github.com/hmt2014/FewOne
• Abstract（参考訳）: 現在、トランスフォーマーベースのモデルは徐々に人工知能の先駆者にとってデフォルトの選択肢となっている。 モデルは、数ショットのシナリオでも優位性を示す。 本稿では,古典的手法を再検討し,新しい選択肢を提案する。 具体的には、未知のインスタンスが同じクラスに属するかどうかを検出するために、実際に既知のサンプルを参照として取得する。 この問題はシーケンスマッチングの観点から研究することができる。 メタラーニングでは、古典列マッチング法、すなわち比較集約法がトランスフォーマー法を大幅に上回っていることが示されている。 古典的なアプローチは、トレーニングコストを大幅に削減する。 さらに,簡単な微調整とメタラーニングによる2種類のシーケンスマッチング手法の比較を行った。 メタラーニングはトランスフォーマーモデルの特徴を高相関次元にする。 その理由はトランスモデルのレイヤ数とヘッド数に密接に関係している。 実験的なコードとデータはhttps://github.com/hmt2014/fewoneで入手できる。

関連論文リスト

• Generative Multi-modal Models are Good Class-Incremental Learners [51.5648732517187]
  クラス増分学習のための新しい生成型マルチモーダルモデル(GMM)フレームワークを提案する。 提案手法は適応生成モデルを用いて画像のラベルを直接生成する。 Few-shot CIL設定では、現在の最先端のすべてのメソッドに対して少なくとも14%精度が向上し、忘れてはならない。
  論文  参考訳（メタデータ） (2024-03-27T09:21:07Z)
• Class-Incremental Learning: A Survey [84.30083092434938]
  CIL(Class-Incremental Learning)は、学習者が新しいクラスの知識を段階的に取り入れることを可能にする。 CILは、前者の特徴を壊滅的に忘れる傾向にあり、その性能は劇的に低下する。 ベンチマーク画像分類タスクにおける17の手法の厳密で統一的な評価を行い、異なるアルゴリズムの特徴を明らかにする。
  論文  参考訳（メタデータ） (2023-02-07T17:59:05Z)
• On the Versatile Uses of Partial Distance Correlation in Deep Learning [47.11577420740119]
  本稿では、異なる次元の特徴空間間の相関を評価するために設計された距離相関(および部分変量)と呼ばれる統計学から(広く知られていない)再検討する。 本稿では,大規模モデルへの展開に必要なステップについて述べる。 これは、ある深いモデルw.r.t.を条件付けすること、非絡み合った表現を学習すること、および敵の攻撃に対してより堅牢な多様なモデルを最適化することなど、驚くべき一連のアプリケーションへの扉を開く。
  論文  参考訳（メタデータ） (2022-07-20T06:36:11Z)
• What do Toothbrushes do in the Kitchen? How Transformers Think our World is Structured [137.83584233680116]
  本稿では,トランスフォーマーに基づく言語モデルがオブジェクト関係に関する知識を抽出するのにどの程度役立つかを検討する。 異なる類似度尺度と組み合わせたモデルが,抽出できる知識の量で大きく異なることを示す。 驚くべきことに、静的モデルは、コンテキスト化されたモデルと同様に、ほぼ同じようにパフォーマンスします。
  論文  参考訳（メタデータ） (2022-04-12T10:00:20Z)
• Mimicking the Oracle: An Initial Phase Decorrelation Approach for Class Incremental Learning [141.35105358670316]
  本研究では,Na"訓練初期相モデルとオラクルモデルとの相違について検討する。 より均一に散らばるように,各クラスの表現を効果的に正規化するクラスワイド・デコレーション(CwD)を提案する。 私たちのCwDは実装が簡単で、既存のメソッドに簡単にプラグインできます。
  論文  参考訳（メタデータ） (2021-12-09T07:20:32Z)
• A Closer Look at Prototype Classifier for Few-shot Image Classification [28.821731837776593]
  プロトタイプの分類器は微調整やメタラーニングを伴わずに等しく機能することを示す。 本稿では, 特徴ベクトルのノルムの分散に着目し, 性能を向上できることを示す。
  論文  参考訳（メタデータ） (2021-10-11T08:28:43Z)
• A Neural Few-Shot Text Classification Reality Check [4.689945062721168]
  いくつかのニューラルな数発の分類モデルが出現し、時間とともに大きな進歩をもたらした。 本稿では,これらのモデルを全て比較し,まず画像処理分野のモデルをNLPに適応させ,次にトランスにアクセスできるようにした。 次に,多数のクラスを持つことで知られるインテント検出タスクにおいて,同じトランスフォーマーベースのエンコーダを備えたモデルをテストする。
  論文  参考訳（メタデータ） (2021-01-28T15:46:14Z)
• One vs Previous and Similar Classes Learning -- A Comparative Study [2.208242292882514]
  この研究は、トレーニングされたモデルをスクラッチから再トレーニングすることなく更新できる3つの学習パラダイムを提案する。 その結果、提案されたパラダイムは更新時のベースラインよりも高速であり、そのうち2つはスクラッチからのトレーニング、特に大規模なデータセットでも高速であることが示された。
  論文  参考訳（メタデータ） (2021-01-05T00:28:38Z)
• Frustratingly Simple Few-Shot Object Detection [98.42824677627581]
  希少なクラスにおける既存検出器の最後の層のみを微調整することは、数発の物体検出タスクに不可欠である。 このような単純なアプローチは、現在のベンチマークで約220ポイントのメタ学習方法より優れている。
  論文  参考訳（メタデータ） (2020-03-16T00:29:14Z)
• Unraveling Meta-Learning: Understanding Feature Representations for Few-Shot Tasks [55.66438591090072]
  メタラーニングの基礎となる力学と、メタラーニングを用いて訓練されたモデルと古典的に訓練されたモデルの違いをよりよく理解する。 数ショット分類のための標準訓練ルーチンの性能を高める正則化器を開発した。
  論文  参考訳（メタデータ） (2020-02-17T03:18:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。