論文の概要: Learning a Universal Template for Few-shot Dataset Generalization

• arxiv url: http://arxiv.org/abs/2105.07029v1
• Date: Fri, 14 May 2021 18:46:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-18 15:02:54.517371
• Title: Learning a Universal Template for Few-shot Dataset Generalization
• Title（参考訳）: ファウショットデータセット一般化のためのユニバーサルテンプレートの学習
• Authors: Eleni Triantafillou, Hugo Larochelle, Richard Zemel and Vincent Dumoulin
• Abstract要約: 少数のデータセットの一般化はよく研究された少数のショット分類問題の挑戦的な変形です。 データセットに特化したモデルを幅広く定義できるユニバーサルテンプレートを構築するために,多様なトレーニングセットを活用することを提案する。 提案手法は,従来の手法に比べてパラメータ効率が高く,スケーラブルで適応性が高く,難易度の高いメタデータセットベンチマークで最先端を実現する。
• 参考スコア（独自算出の注目度）: 25.132729497191047
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Few-shot dataset generalization is a challenging variant of the well-studied few-shot classification problem where a diverse training set of several datasets is given, for the purpose of training an adaptable model that can then learn classes from new datasets using only a few examples. To this end, we propose to utilize the diverse training set to construct a universal template: a partial model that can define a wide array of dataset-specialized models, by plugging in appropriate components. For each new few-shot classification problem, our approach therefore only requires inferring a small number of parameters to insert into the universal template. We design a separate network that produces an initialization of those parameters for each given task, and we then fine-tune its proposed initialization via a few steps of gradient descent. Our approach is more parameter-efficient, scalable and adaptable compared to previous methods, and achieves the state-of-the-art on the challenging Meta-Dataset benchmark.
• Abstract（参考訳）: Few-shot データセットの一般化は、いくつかのデータセットの多様なトレーニングセットが与えられる、よく研究された数発の分類問題の難解な変種であり、いくつかの例だけで新しいデータセットからクラスを学習できる適応可能なモデルのトレーニングを目的としている。 そこで,本稿では,汎用テンプレートを構築するための多種多様なトレーニングセットを提案する。適切なコンポーネントをプラグインすることで,データセットに特化された幅広いモデルを定義できる部分モデルである。 新しい数発の分類問題に対して、我々の手法は普遍的なテンプレートに挿入する少数のパラメータを推測するだけでよい。 我々は,各タスクのパラメータの初期化を生成するネットワークを設計し,その初期化を勾配降下数ステップで微調整する。 提案手法は,従来の手法に比べてパラメータ効率が高く,スケーラブルで適応性が高く,難易度の高いメタデータセットベンチマークで最先端を実現する。

関連論文リスト

• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• EASY: Ensemble Augmented-Shot Y-shaped Learning: State-Of-The-Art Few-Shot Classification with Simple Ingredients [2.0935101589828244]
  1つ以上のディープラーニングモデルで学習した知識を活用することを目的として,新しい問題に対する優れた分類性能を得る。 フィールドの標準化された複数のベンチマークで、アートパフォーマンスの状態を達成または打ち負かすような、シンプルな手法を提案する。
  論文  参考訳（メタデータ） (2022-01-24T14:08:23Z)
• Hierarchical Few-Shot Generative Models [18.216729811514718]
  本稿では,ニューラルネットワークを階層的なアプローチに拡張する潜伏変数のアプローチについて検討する。 以上の結果から,階層的な定式化は,小データ構造における集合内の内在的変動をよりよく捉えることが示唆された。
  論文  参考訳（メタデータ） (2021-10-23T19:19:39Z)
• Single-dataset Experts for Multi-dataset Question Answering [6.092171111087768]
  複数のデータセットにネットワークをトレーニングして、新たなデータセットを一般化し、転送します。 我々のアプローチは、単一データセットの専門家の集合を用いて、マルチデータセットの質問応答をモデル化することである。 パラメータ警告に基づく単純な手法は、ゼロショットの一般化と少数ショットの転送性能の向上につながる。
  論文  参考訳（メタデータ） (2021-09-28T17:08:22Z)
• Data Summarization via Bilevel Optimization [48.89977988203108]
  シンプルだが強力なアプローチは、小さなサブセットのデータを操作することだ。 本研究では,コアセット選択を基数制約付き双レベル最適化問題として定式化する汎用コアセットフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-26T09:08:38Z)
• One-shot Learning with Absolute Generalization [23.77607345586489]
  我々は、どのようなデータセットがワンショット学習をサポートするかを説明するために、一連の定義を提案する。 これらの定義に基づき、絶対一般化可能な分類器を構築する方法を提案した。 実験により,提案手法は単発学習データセットと人工データセットのベースラインよりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-05-28T02:52:52Z)
• Fuzzy Simplicial Networks: A Topology-Inspired Model to Improve Task Generalization in Few-shot Learning [1.0062040918634414]
  少ないショット学習アルゴリズムは、限られたデータで新しいタスクをうまく一般化するように設計されている。 本稿では,Fizzy Simplicial Networks (FSN) と呼ばれる,トポロジから構築したモデルを用いて,限られたデータから各クラスをより柔軟に表現する手法を提案する。
  論文  参考訳（メタデータ） (2020-09-23T17:01:09Z)
• Pre-Trained Models for Heterogeneous Information Networks [57.78194356302626]
  異種情報ネットワークの特徴を捉えるための自己教師付き事前学習・微調整フレームワークPF-HINを提案する。 PF-HINは4つのデータセットにおいて、各タスクにおける最先端の代替よりも一貫して、大幅に優れています。
  論文  参考訳（メタデータ） (2020-07-07T03:36:28Z)
• Feature Transformation Ensemble Model with Batch Spectral Regularization for Cross-Domain Few-Shot Classification [66.91839845347604]
  特徴抽出ネットワークの後に多様な特徴変換を行うことにより,アンサンブル予測モデルを提案する。 我々は,事前学習中に特徴行列の特異値を抑制するために,バッチスペクトル正規化項を用い,モデルの一般化能力を向上させる。 提案したモデルは、ターゲット領域で微調整して、数発の分類に対処することができる。
  論文  参考訳（メタデータ） (2020-05-18T05:31:04Z)
• Selecting Relevant Features from a Multi-domain Representation for Few-shot Classification [91.67977602992657]
  本稿では,従来の特徴適応手法よりもシンプルかつ効果的である特徴選択に基づく新しい戦略を提案する。 このような特徴の上に構築された単純な非パラメトリック分類器は高い精度を示し、訓練中に見たことのない領域に一般化する。
  論文  参考訳（メタデータ） (2020-03-20T15:44:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。