論文の概要: Learngene: Inheriting Condensed Knowledge from the Ancestry Model to Descendant Models

• arxiv url: http://arxiv.org/abs/2305.02279v3
• Date: Thu, 29 Jun 2023 14:04:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-30 10:19:26.251073
• Title: Learngene: Inheriting Condensed Knowledge from the Ancestry Model to Descendant Models
• Title（参考訳）: Learngene: 継承モデルから継承モデルへの凝縮知識の継承
• Authors: Qiufeng Wang, Xu Yang, Shuxia Lin, Jing Wang, Xin Geng
• Abstract要約: 本稿では,学習モデルに3つの重要な遺伝子特性を組み込むことができる新しい機械学習パラダイムであるLearngeneを提案する。 Learngeneは、子孫モデルをより高速に収束させ、ハイパーパラメータに対する感度を低くし、パフォーマンスを向上し、収束するトレーニングサンプルを少なくすることを示した。
• 参考スコア（独自算出の注目度）: 38.93827775639791
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: During the continuous evolution of one organism's ancestry, its genes accumulate extensive experiences and knowledge, enabling newborn descendants to rapidly adapt to their specific environments. Motivated by this observation, we propose a novel machine learning paradigm Learngene to enable learning models to incorporate three key characteristics of genes. (i) Accumulating: the knowledge is accumulated during the continuous learning of an ancestry model. (ii) Condensing: the extensive accumulated knowledge is condensed into a much more compact information piece, i.e., learngene. (iii) Inheriting: the condensed learngene is inherited to make it easier for descendant models to adapt to new environments. Since accumulating has been studied in well-established paradigms like large-scale pre-training and lifelong learning, we focus on condensing and inheriting, which induces three key issues and we provide the preliminary solutions to these issues in this paper: (i) Learngene Form: the learngene is set to a few integral layers that can preserve significance. (ii) Learngene Condensing: we identify which layers among the ancestry model have the most similarity as one pseudo descendant model. (iii) Learngene Inheriting: to construct distinct descendant models for the specific downstream tasks, we stack some randomly initialized layers to the learngene layers. Extensive experiments across various settings, including using different network architectures like Vision Transformer (ViT) and Convolutional Neural Networks (CNNs) on different datasets, are carried out to confirm four advantages of Learngene: it makes the descendant models 1) converge more quickly, 2) exhibit less sensitivity to hyperparameters, 3) perform better, and 4) require fewer training samples to converge.
• Abstract（参考訳）: ある生物の祖先の継続的な進化の間、その遺伝子は豊富な経験と知識を蓄積し、新生児の子孫は特定の環境に迅速に適応できる。 そこで本研究では,学習モデルに3つの重要な特徴を組み込むための新しい機械学習パラダイム学習法を提案する。 i) 蓄積:知識は、祖先モデルの継続的な学習中に蓄積される。 (ii)凝縮:豊富な蓄積された知識はよりコンパクトな情報、すなわち学習遺伝子に凝縮される。 (iii)継承:縮合した学習遺伝子は、子孫モデルが新しい環境に適応しやすいように継承される。 大規模事前学習や生涯学習といった確立されたパラダイムで蓄積が研究されているので, 凝縮と継承に焦点をあて, 3つの重要な課題を提起し, この問題に対する予備的な解決策を本論文で提示する。 (i)学習遺伝子形式:学習遺伝子は、重要性を保ちうるいくつかの積分層に設定される。 (ii)学習遺伝子凝縮:祖先モデルのどの層が1つの擬似子孫モデルと最もよく似ているかを特定する。 3)Learnergene Inheriting: 特定の下流タスクの異なる継承モデルを構築するために、ランダムに初期化されたレイヤをLearnergene Layerに積み重ねる。 さまざまなデータセット上でビジョントランスフォーマー(ViT)や畳み込みニューラルネットワーク(CNN)などの異なるネットワークアーキテクチャを使用するなど、さまざまな設定にわたる広範な実験を行い、Leargenの4つの利点を確認した。 1) より早く収束する。 2)過度パラメータに対する感度が低い。 3)より良いパフォーマンス、そして 4) 収束に必要なトレーニングサンプルは少ない。

関連論文リスト

• Neural Lineage [56.34149480207817]
  本稿では,親子間の系統関係の発見を目的としたニューラルライン検出という新しいタスクを提案する。 実用上,ニューラルネットワーク表現類似度指標に微調整プロセスの近似を組み込んだ学習自由アプローチを導入する。 精度を追求するために,エンコーダと変圧器検出器からなる学習系系統検出装置を導入する。
  論文  参考訳（メタデータ） (2024-06-17T01:11:53Z)
• Transferring Core Knowledge via Learngenes [45.651726289932334]
  本稿では,生物の進化過程をニューラルネットワークにコピーする遺伝子伝達学習(GTL)フレームワークを提案する。 GTLはネットワークの集団を訓練し、トーナメントによって優れた学習遺伝子を選択し、学習遺伝子変異を実行し、学習遺伝子を次の世代に渡す。 学習遺伝子は、子孫ネットワークの本能と強力な学習能力をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-01-16T06:18:11Z)
• Genetic prediction of quantitative traits: a machine learner's guide focused on height [0.0]
  本稿では,機械学習コミュニティにおけるアートモデルの現状と関連する微妙さについて概観する。 heightを連続評価された表現型の例として使用し、ベンチマークデータセット、共同創設者、機能選択、一般的なメトリクスを紹介します。
  論文  参考訳（メタデータ） (2023-10-06T05:43:50Z)
• MuSe-GNN: Learning Unified Gene Representation From Multimodal Biological Graph Data [22.938437500266847]
  マルチモーダル類似性学習グラフニューラルネットワークという新しいモデルを提案する。 マルチモーダル機械学習とディープグラフニューラルネットワークを組み合わせて、単一セルシークエンシングと空間転写データから遺伝子発現を学習する。 本モデルでは, 遺伝子機能, 組織機能, 疾患, 種進化の解析のために, 統合された遺伝子表現を効率よく生成する。
  論文  参考訳（メタデータ） (2023-09-29T13:33:53Z)
• Continual Learning with Bayesian Model based on a Fixed Pre-trained Feature Extractor [55.9023096444383]
  現在のディープラーニングモデルは、新しいクラスを学ぶ際に古い知識を破滅的に忘れることによって特徴づけられる。 人間の脳における新しい知識の学習プロセスに着想を得て,連続学習のためのベイズ生成モデルを提案する。
  論文  参考訳（メタデータ） (2022-04-28T08:41:51Z)
• Learngene: From Open-World to Your Learning Task [40.72740911425261]
  本稿では,メタ知識を集合モデルから継承する学習遺伝子を導入し,対象タスクのための新しい軽量個別モデルを再構築する。 本研究では,本手法の有効性を実験的に検証し,理論的解析を行った。
  論文  参考訳（メタデータ） (2021-06-12T14:46:27Z)
• Relational Subsets Knowledge Distillation for Long-tailed Retinal Diseases Recognition [65.77962788209103]
  本研究では,長尾データを知識に基づいて複数のクラスサブセットに分割し,クラスサブセット学習を提案する。 モデルがサブセット固有の知識の学習に集中するように強制する。 提案手法は長期網膜疾患認識タスクに有効であることが判明した。
  論文  参考訳（メタデータ） (2021-04-22T13:39:33Z)
• Epigenetic evolution of deep convolutional models [81.21462458089142]
  我々は、より深い畳み込みモデルを進化させるために、これまで提案されていた神経進化の枠組みを構築した。 異なる形状と大きさのカーネルを同一層内に共存させる畳み込み層配置を提案する。 提案したレイアウトにより、畳み込み層内の個々のカーネルのサイズと形状を、対応する新しい突然変異演算子で進化させることができる。
  論文  参考訳（メタデータ） (2021-04-12T12:45:16Z)
• Select-ProtoNet: Learning to Select for Few-Shot Disease Subtype Prediction [55.94378672172967]
  本研究は, 類似患者のサブグループを同定し, 数発の疾患のサブタイプ予測問題に焦点を当てた。 新しいモデルを開発するためにメタラーニング技術を導入し、関連する臨床課題から共通の経験や知識を抽出する。 我々の新しいモデルは、単純だが効果的なメタ学習マシンであるPrototypeal Networkと呼ばれる、慎重に設計されたメタラーナーに基づいて構築されている。
  論文  参考訳（メタデータ） (2020-09-02T02:50:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。