論文の概要: Few and Fewer: Learning Better from Few Examples Using Fewer Base Classes

• arxiv url: http://arxiv.org/abs/2401.15834v1
• Date: Mon, 29 Jan 2024 01:52:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-30 16:28:35.394482
• Title: Few and Fewer: Learning Better from Few Examples Using Fewer Base Classes
• Title（参考訳）: Few and Fewer: 少ないベースクラスを使った事例から学ぶ
• Authors: Raphael Lafargue, Yassir Bendou, Bastien Pasdeloup, Jean-Philippe Diguet, Ian Reid, Vincent Gripon and Jack Valmadre
• Abstract要約: ターゲットデータセットには少数の例しか含まれていないため、ファインチューニングは数ショットの学習には効果がない。 本稿では,より少ないベースクラスでのトレーニングにより,ターゲットデータセットのより良い特徴が得られるかどうかを検討する。 我々の知る限り、慎重に選択されたベースクラスのサブセットで微調整を行うことで、ほとんどショット学習を大幅に改善できる最初の実演である。
• 参考スコア（独自算出の注目度）: 12.742052888217543
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When training data is scarce, it is common to make use of a feature extractor that has been pre-trained on a large base dataset, either by fine-tuning its parameters on the ``target'' dataset or by directly adopting its representation as features for a simple classifier. Fine-tuning is ineffective for few-shot learning, since the target dataset contains only a handful of examples. However, directly adopting the features without fine-tuning relies on the base and target distributions being similar enough that these features achieve separability and generalization. This paper investigates whether better features for the target dataset can be obtained by training on fewer base classes, seeking to identify a more useful base dataset for a given task.We consider cross-domain few-shot image classification in eight different domains from Meta-Dataset and entertain multiple real-world settings (domain-informed, task-informed and uninformed) where progressively less detail is known about the target task. To our knowledge, this is the first demonstration that fine-tuning on a subset of carefully selected base classes can significantly improve few-shot learning. Our contributions are simple and intuitive methods that can be implemented in any few-shot solution. We also give insights into the conditions in which these solutions are likely to provide a boost in accuracy. We release the code to reproduce all experiments from this paper on GitHub. https://github.com/RafLaf/Few-and-Fewer.git
• Abstract（参考訳）: トレーニングデータが不足する場合、'`target''データセット上でパラメータを微調整するか、単純な分類器の機能として直接その表現を採用するかによって、大きなベースデータセットで事前トレーニングされた特徴抽出器を使用するのが一般的である。 ターゲットデータセットには少数の例しか含まれていないため、ファインチューニングは数ショットの学習には効果がない。 しかし、細調整なしで機能を直接適用することは、ベースとターゲット分布に依存しており、これらの特徴は分離性と一般化を達成するのに十分である。 そこで本研究では,メタデータセットから8つのドメインにまたがって,より有用なベースデータセットを識別し,より少ないベースクラスで学習することで,ターゲットデータセットのより良い特徴が得られるかどうかを考察し,対象タスクについて,より詳細が分かっていない複数の実世界の設定(ドメインインフォームド,タスクインフォームド,非インフォームド)を楽しむことを検討する。 我々の知る限り、慎重に選択されたベースクラスのサブセットで微調整を行うことで、ほとんどショット学習を大幅に改善できる最初の実演である。 私たちのコントリビューションはシンプルで直感的なメソッドで、どんな数ショットのソリューションでも実装できます。 また、これらのソリューションが正確性を高めるであろう条件についても洞察を与えます。 この論文から得られたすべての実験を再現するコードをgithubでリリースします。 https://github.com/RafLaf/Few-and-Fewer.git

関連論文リスト

• Improve Meta-learning for Few-Shot Text Classification with All You Can Acquire from the Tasks [10.556477506959888]
  既存の手法は、しばしばサポートセットのサンプルから正確なクラスプロトタイプを描くのに困難に遭遇する。 近年のアプローチでは、外部知識や事前訓練された言語モデルを組み込んでデータを拡張しようとするが、追加のリソースが必要になる。 本稿では,タスク自体の情報を適切に活用した新しいソリューションを提案する。
  論文  参考訳（メタデータ） (2024-10-14T12:47:11Z)
• Cross-Level Distillation and Feature Denoising for Cross-Domain Few-Shot Classification [49.36348058247138]
  トレーニング段階において,対象領域内のラベルなし画像のごく一部をアクセス可能にすることで,ドメイン間数ショット分類の問題に対処する。 我々は,対象データセットのより識別的な特徴を抽出するモデルの能力を高めるため,クロスレベルな知識蒸留法を慎重に設計する。 提案手法は,従来の動的蒸留法を5.44%,1.37%,5ショット分類法を1.37%超えることができる。
  論文  参考訳（メタデータ） (2023-11-04T12:28:04Z)
• Project and Probe: Sample-Efficient Domain Adaptation by Interpolating Orthogonal Features [119.22672589020394]
  多様な特徴の集合を学習し,これらの特徴を補間することによって対象分布に適応する,軽量でサンプル効率のよい手法を提案する。 複数の分散シフト設定を持つ4つのデータセットに対する実験により、Pro$2$は、限られたターゲットデータが与えられた場合、パフォーマンスを5～15%向上することが示された。
  論文  参考訳（メタデータ） (2023-02-10T18:58:03Z)
• BaseTransformers: Attention over base data-points for One Shot Learning [6.708284461619745]
  ほとんどショット分類は、カテゴリごとに限られたサンプルのみを使用して、新しいカテゴリを認識することを目的としていない。 現在の殆どのショットメソッドは、ラベル付き例に富んだベースデータセットを使用して、新しいクラスのサポートインスタンスの表現を得るために使用されるエンコーダをトレーニングしている。 本稿では,各サポートインスタンスに最も近いベースデータセットの特徴表現を用いてメタテスト時の表現を改善することを提案する。
  論文  参考訳（メタデータ） (2022-10-05T18:00:24Z)
• Lightweight Conditional Model Extrapolation for Streaming Data under Class-Prior Shift [27.806085423595334]
  非定常ストリーミングデータを用いて学習する新しい方法であるLIMESを紹介する。 我々は、特定のデータ分布に対する特定の分類器を導出するモデルパラメータの集合を1つ学習する。 Twitterデータを用いた一連の模範的なタスクの実験では、LIMESが代替手法よりも高い精度を達成することが示された。
  論文  参考訳（メタデータ） (2022-06-10T15:19:52Z)
• Finding Significant Features for Few-Shot Learning using Dimensionality Reduction [0.0]
  このモジュールは、計量学習法により与えられる類似度関数を、分類のためのより識別的な特徴を持つようにすることで、精度の向上を支援する。 提案手法は,MiniImageNetデータセットにおけるメトリック学習ベースラインの精度を約2%向上させる。
  論文  参考訳（メタデータ） (2021-07-06T16:36:57Z)
• Partial Is Better Than All: Revisiting Fine-tuning Strategy for Few-shot Learning [76.98364915566292]
  一般的なプラクティスは、まずベースセット上でモデルをトレーニングし、その後、微調整によって新しいクラスに移行することである。 本稿では,基本モデル内の特定の層を凍結あるいは微調整することにより,部分的知識の伝達を提案する。 提案手法の有効性を実証するために, CUB と mini-ImageNet の広範な実験を行った。
  論文  参考訳（メタデータ） (2021-02-08T03:27:05Z)
• Low-Resource Domain Adaptation for Compositional Task-Oriented Semantic Parsing [85.35582118010608]
  タスク指向のセマンティックパーシングは仮想アシスタントの重要なコンポーネントである。 近年のディープラーニングの進歩は、より複雑なクエリを解析するいくつかのアプローチを可能にしている。 そこで本研究では,教師付きニューラルネットワークを10倍の精度で高速化する手法を提案する。
  論文  参考訳（メタデータ） (2020-10-07T17:47:53Z)
• Fast Few-Shot Classification by Few-Iteration Meta-Learning [173.32497326674775]
  数ショット分類のための高速な最適化に基づくメタラーニング手法を提案する。 我々の戦略はメタ学習において学習すべき基礎学習者の目的の重要な側面を可能にする。 我々は、我々のアプローチの速度と効果を実証し、総合的な実験分析を行う。
  論文  参考訳（メタデータ） (2020-10-01T15:59:31Z)
• Selecting Relevant Features from a Multi-domain Representation for Few-shot Classification [91.67977602992657]
  本稿では,従来の特徴適応手法よりもシンプルかつ効果的である特徴選択に基づく新しい戦略を提案する。 このような特徴の上に構築された単純な非パラメトリック分類器は高い精度を示し、訓練中に見たことのない領域に一般化する。
  論文  参考訳（メタデータ） (2020-03-20T15:44:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。