論文の概要: Learngene: From Open-World to Your Learning Task

• arxiv url: http://arxiv.org/abs/2106.06788v1
• Date: Sat, 12 Jun 2021 14:46:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2021-06-15 16:30:51.017303
• Title: Learngene: From Open-World to Your Learning Task
• Title（参考訳）: Learngene: オープンワールドから学習タスクへ
• Authors: Qiufeng Wang, Xin Geng, Shuxia Lin, Shiyu Xia, Lei Qi, Ning Xu
• Abstract要約: 本稿では,メタ知識を集合モデルから継承する学習遺伝子を導入し,対象タスクのための新しい軽量個別モデルを再構築する。 本研究では,本手法の有効性を実験的に検証し,理論的解析を行った。
• 参考スコア（独自算出の注目度）: 40.72740911425261
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although deep learning has made significant progress on fixed large-scale datasets, it typically encounters challenges regarding improperly detecting new/unseen classes in the open-world classification, over-parametrized, and overfitting small samples. In contrast, biological systems can overcome the above difficulties very well. Individuals inherit an innate gene from collective creatures that have evolved over hundreds of millions of years, and can learn new skills through a few examples. Inspired by this, we propose a practical collective-individual paradigm where open-world tasks are trained in sequence using an evolution (expandable) network. To be specific, we innovatively introduce learngene that inherits the meta-knowledge from the collective model and reconstructs a new lightweight individual model for the target task, to realize the collective-individual paradigm. Particularly, we present a novel criterion that can discover the learngene in the collective model, according to the gradient information. Finally, the individual model is trained only with a few samples in the absence of the source data. We demonstrate the effectiveness of our approach in an extensive empirical study and theoretical analysis.
• Abstract（参考訳）: ディープラーニングは、固定された大規模データセットに大きな進歩をもたらしたが、通常、オープンワールド分類における新しい/見えないクラスを不適切に検出し、過度にパラメータ化し、小さなサンプルを過度に適合させるという問題に直面している。 対照的に、生物学的システムは上記の困難を克服することができる。 個体は、数億年にわたって進化してきた集団生物から固有の遺伝子を受け継ぎ、いくつかの例を通して新しいスキルを学ぶことができる。 そこで本稿では,進化(拡張可能)ネットワークを用いてオープンワールドタスクを逐次学習する実践的な集団・個人パラダイムを提案する。 具体的には,メタ知識を包括的モデルから継承する学習遺伝子を革新的に導入し,対象タスクの新しい軽量個別モデルを再構築し,集団的個人的パラダイムを実現する。 特に,グラデーション情報に基づいて集団モデルにおいて学習遺伝子を発見できる新しい基準を提案する。 最後に、個々のモデルは、ソースデータがない場合にのみ、少数のサンプルでトレーニングされる。 本手法の有効性を広範な実証研究と理論的分析で実証する。

関連論文リスト

• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• Learngene: Inheriting Condensed Knowledge from the Ancestry Model to Descendant Models [38.93827775639791]
  本稿では,学習モデルに3つの重要な遺伝子特性を組み込むことができる新しい機械学習パラダイムであるLearngeneを提案する。 Learngeneは、子孫モデルをより高速に収束させ、ハイパーパラメータに対する感度を低くし、パフォーマンスを向上し、収束するトレーニングサンプルを少なくすることを示した。
  論文  参考訳（メタデータ） (2023-05-03T17:15:58Z)
• Generalization Properties of Retrieval-based Models [50.35325326050263]
  検索ベースの機械学習手法は、幅広い問題で成功をおさめた。 これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。 本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
  論文  参考訳（メタデータ） (2022-10-06T00:33:01Z)
• Continual Learning with Bayesian Model based on a Fixed Pre-trained Feature Extractor [55.9023096444383]
  現在のディープラーニングモデルは、新しいクラスを学ぶ際に古い知識を破滅的に忘れることによって特徴づけられる。 人間の脳における新しい知識の学習プロセスに着想を得て,連続学習のためのベイズ生成モデルを提案する。
  論文  参考訳（メタデータ） (2022-04-28T08:41:51Z)
• Zero-shot meta-learning for small-scale data from human subjects [10.320654885121346]
  我々は,サンプル外テストデータに対する限られたトレーニングデータを用いて,新しい予測タスクに迅速に適応するフレームワークを開発した。 本モデルでは, 介入による遅延処理効果を学習し, 設計上はマルチタスク予測を自然に処理できる。 我々のモデルは、より広い人口への小型人間研究の一般化を向上するために重要である。
  論文  参考訳（メタデータ） (2022-03-29T17:42:04Z)
• Semi-Supervised Few-Shot Classification with Deep Invertible Hybrid Models [4.189643331553922]
  半教師付き小ショット分類のための潜在空間レベルで識別学習と生成学習を統合するディープ・インバーチブルハイブリッドモデルを提案する。 我々の主な独創性は、これらのコンポーネントを潜在空間レベルで統合することであり、過度な適合を防ぐのに有効である。
  論文  参考訳（メタデータ） (2021-05-22T05:55:16Z)
• Relational Subsets Knowledge Distillation for Long-tailed Retinal Diseases Recognition [65.77962788209103]
  本研究では,長尾データを知識に基づいて複数のクラスサブセットに分割し,クラスサブセット学習を提案する。 モデルがサブセット固有の知識の学習に集中するように強制する。 提案手法は長期網膜疾患認識タスクに有効であることが判明した。
  論文  参考訳（メタデータ） (2021-04-22T13:39:33Z)
• Select-ProtoNet: Learning to Select for Few-Shot Disease Subtype Prediction [55.94378672172967]
  本研究は, 類似患者のサブグループを同定し, 数発の疾患のサブタイプ予測問題に焦点を当てた。 新しいモデルを開発するためにメタラーニング技術を導入し、関連する臨床課題から共通の経験や知識を抽出する。 我々の新しいモデルは、単純だが効果的なメタ学習マシンであるPrototypeal Networkと呼ばれる、慎重に設計されたメタラーナーに基づいて構築されている。
  論文  参考訳（メタデータ） (2020-09-02T02:50:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。