論文の概要: Demystification of Few-shot and One-shot Learning

• arxiv url: http://arxiv.org/abs/2104.12174v1
• Date: Sun, 25 Apr 2021 14:47:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-28 06:18:52.160792
• Title: Demystification of Few-shot and One-shot Learning
• Title（参考訳）: ファウショットとワンショット学習のデミスティフィケーション
• Authors: Ivan Y. Tyukin, Alexander N. Gorban, Muhammad H. Alkhudaydi, Qinghua Zhou
• Abstract要約: 近年,単発学習や単発学習が活発かつ集中的な研究の対象となっている。 学習機械の環境的あるいは潜在的な決定空間が、この空間にある大きな種類の物体よりも十分に高次元であれば、いくつかの例から容易に学習できることを示す。
• 参考スコア（独自算出の注目度）: 63.58514532659252
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Few-shot and one-shot learning have been the subject of active and intensive research in recent years, with mounting evidence pointing to successful implementation and exploitation of few-shot learning algorithms in practice. Classical statistical learning theories do not fully explain why few- or one-shot learning is at all possible since traditional generalisation bounds normally require large training and testing samples to be meaningful. This sharply contrasts with numerous examples of successful one- and few-shot learning systems and applications. In this work we present mathematical foundations for a theory of one-shot and few-shot learning and reveal conditions specifying when such learning schemes are likely to succeed. Our theory is based on intrinsic properties of high-dimensional spaces. We show that if the ambient or latent decision space of a learning machine is sufficiently high-dimensional than a large class of objects in this space can indeed be easily learned from few examples provided that certain data non-concentration conditions are met.
• Abstract（参考訳）: 近年では、単発と単発の学習が活発で集中的な研究の対象となっており、実際に数発の学習アルゴリズムの実装と活用が成功したことを示す証拠が盛り込まれている。 古典的な統計的学習理論は、従来の一般化境界は、意味のある大規模なトレーニングとテストサンプルを必要とするため、ほとんどあるいはワンショットの学習が可能である理由を完全に説明していない。 これは、成功した単発および少数発の学習システムやアプリケーションの多くの例とは対照的である。 本研究では,単発・少数発の学習理論の数学的基礎を提示し,そのような学習スキームが成功する可能性を示す条件を明らかにする。 我々の理論は高次元空間の内在的性質に基づいている。 学習機械の環境・潜時決定空間が、この空間の大規模オブジェクトよりも十分に高次元であれば、特定のデータ非集中条件が満たされていると仮定した少数の例から容易に学習できることが示される。

関連論文リスト

• Contrastive Learning and Abstract Concepts: The Case of Natural Numbers [0.0]
  対照的な学習は、人間でも超人的範囲でも高い精度で、一目で数えられるように訓練できることを示す。 類似アーキテクチャのニューラルネットワークスキームを,一見教師付き学習(SL)のトレーニング・ツー・カウントの結果と比較した。
  論文  参考訳（メタデータ） (2024-08-05T05:41:16Z)
• Active Learning Principles for In-Context Learning with Large Language Models [65.09970281795769]
  本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。 ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
  論文  参考訳（メタデータ） (2023-05-23T17:16:04Z)
• What Makes Good Contrastive Learning on Small-Scale Wearable-based Tasks? [59.51457877578138]
  本研究では,ウェアラブル型行動認識タスクにおけるコントラスト学習について検討する。 本稿では,PyTorchライブラリのtextttCL-HAR について述べる。
  論文  参考訳（メタデータ） (2022-02-12T06:10:15Z)
• Realizable Learning is All You Need [21.34668631009594]
  実現可能かつ不可知的な学習可能性の同値性は、学習理論における基本的な現象である。 実現可能かつ不可知な学習可能性の同値性を説明する最初のモデルに依存しないフレームワークを提示する。
  論文  参考訳（メタデータ） (2021-11-08T19:00:00Z)
• Exploring Adversarial Examples for Efficient Active Learning in Machine Learning Classifiers [17.90617023533039]
  まず、敵攻撃法を用いて、元の訓練例に特定の摂動を加える。 次に、アクティブラーニングとこれらの特定のトレーニング例との関係について検討する。 その結果, 理論基盤の確立は, 敵の事例に基づいて, より良いアクティブな学習戦略を導いてくれることが示唆された。
  論文  参考訳（メタデータ） (2021-09-22T14:51:26Z)
• Self-training with Few-shot Rationalization: Teacher Explanations Aid Student in Few-shot NLU [88.8401599172922]
  タスク固有のラベルと合理的性に制限された自己学習言語モデルに基づくフレームワークを開発する。 ニューラルネットワークの性能は,その合理的な予測を意識することで,大幅に向上できることを示す。
  論文  参考訳（メタデータ） (2021-09-17T00:36:46Z)
• LibFewShot: A Comprehensive Library for Few-shot Learning [78.58842209282724]
  近年,画像分類に注目が集まり,近年顕著な進歩が見られた。 近年の研究では、データ強化、事前学習、知識蒸留、自己超越といった多くの一般的な手法や技法が、数発の学習法の性能を大幅に向上させる可能性があることが暗黙的に示されている。 そこで本研究では,PyTorchに固有の単一言語を組み込んだ一貫したフレームワークにおいて,17の最先端の複数ショット学習手法を再実装することにより,小ショット学習のための総合ライブラリ(LibFewShot)を提案する。
  論文  参考訳（メタデータ） (2021-09-10T14:12:37Z)
• A Low Rank Promoting Prior for Unsupervised Contrastive Learning [108.91406719395417]
  提案手法は,従来の低階の促進をコントラスト学習の枠組みに効果的に組み込む新しい確率的グラフィカルモデルを構築する。 我々の仮説は、同じインスタンスクラスに属するすべてのサンプルが、小さな次元の同じ部分空間上にあることを明示的に要求する。 実証的な証拠は、提案アルゴリズムが複数のベンチマークにおける最先端のアプローチを明らかに上回っていることを示している。
  論文  参考訳（メタデータ） (2021-08-05T15:58:25Z)
• What Can Knowledge Bring to Machine Learning? -- A Survey of Low-shot Learning for Structured Data [11.531353877970547]
  ローショット学習により、モデルはトレーニングデータをほとんど、あるいは全く持たずに、優れた予測力を得ることができる。 構造化知識は、人間の高度な意味表現として重要な役割を果たしている。
  論文  参考訳（メタデータ） (2021-06-11T14:07:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。