論文の概要: Learngene: Inheriting Condensed Knowledge from the Ancestry Model to Descendant Models

• arxiv url: http://arxiv.org/abs/2305.02279v1
• Date: Wed, 3 May 2023 17:15:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-04 14:00:01.435765
• Title: Learngene: Inheriting Condensed Knowledge from the Ancestry Model to Descendant Models
• Title（参考訳）: Learngene: 継承モデルから継承モデルへの凝縮知識の継承
• Authors: Qiufeng Wang, Xu Yang, Shuxia Lin, Xin Geng
• Abstract要約: 本稿では,機械学習のパラダイムであるtextitLearngeneを提案する。 蓄積された知識は、よりコンパクトな情報片に凝縮される。 縮合された textbflearngene は、textbfdescendant モデルが新しい環境に適応しやすいように継承される。
• 参考スコア（独自算出の注目度）: 39.87091187980499
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: During the continuous evolution of one organism's ancestry, its genes accumulate extensive experiences and knowledge, enabling newborn descendants to rapidly adapt to their specific environments. Motivated by this observation, we propose a novel machine learning paradigm \textit{Learngene} to enable learning models to incorporate three key characteristics of genes. (i) Accumulating: the knowledge is accumulated during the continuous learning of an \textbf{ancestry model}. (ii) Condensing: the exhaustive accumulated knowledge is condensed into a much more compact information piece, \ie \textbf{learngene}. (iii): Inheriting: the condensed \textbf{learngene} is inherited to make it easier for \textbf{descendant models} to adapt to new environments. Since accumulating has been studied in some well-developed paradigms like large-scale pre-training and lifelong learning, we focus on condensing and inheriting, which induces three key issues and we provide the preliminary solutions to these issues in this paper: (i) \textit{Learngene} Form: the \textbf{learngene} is set to a few integral layers that can preserve the most commonality. (ii) \textit{Learngene} Condensing: we identify which layers among the ancestry model have the most similarity as one pseudo descendant model. (iii) \textit{Learngene} Inheriting: to construct distinct descendant models for specific downstream tasks, we stack some randomly initialized layers to the \textbf{learngene} layers. Extensive experiments of various settings, including using different network architectures like Vision Transformer (ViT) and Convolutional Neural Networks (CNNs) on different datasets, are carried out to confirm five advantages and two characteristics of \textit{Learngene}.
• Abstract（参考訳）: ある生物の祖先の継続的な進化の間、その遺伝子は豊富な経験と知識を蓄積し、新生児の子孫は特定の環境に迅速に適応できる。 そこで本研究では,学習モデルに3つの重要な遺伝子特性を組み込むことができる新しい機械学習パラダイムである「textit{Learngene}」を提案する。 (i)蓄積:知識は \textbf{ancestry model} の連続学習中に蓄積される。 (ii) 凝縮: 徹底的な蓄積された知識は、よりコンパクトな情報片 \ie \textbf{learngene} に凝縮される。 (iii)継承: 凝縮された \textbf{learngene} は、 \textbf{descendant models} が新しい環境に適応しやすいように継承される。 大規模事前学習や生涯学習など,開発が進んでいるいくつかのパラダイムで蓄積が研究されているので,凝縮と継承に重点を置いて,3つの重要な課題を提起し,これらの課題に対する予備的な解決策を本論文で提示する。 i) \textit{Learngene} 形式: \textbf{learngene} は、最も共通性を保持することができるいくつかの積分層に設定される。 (ii) \textit{Learngene} Condensing: 祖先モデルのどの層が1つの擬似子孫モデルと最も類似しているかを特定する。 (iii) \textit{learngene} 継承:特定の下流タスクの異なる後続モデルを構築するために、いくつかのランダムに初期化された層を \textbf{learngene} 層に積み重ねる。 ViT(Vision Transformer)やCNN(Convolutional Neural Networks)といった異なるネットワークアーキテクチャを異なるデータセットで使用するなど、さまざまな設定の大規模な実験を行い、5つの利点と2つの特性を確認した。

関連論文リスト

• Neural Lineage [56.34149480207817]
  本稿では,親子間の系統関係の発見を目的としたニューラルライン検出という新しいタスクを提案する。 実用上,ニューラルネットワーク表現類似度指標に微調整プロセスの近似を組み込んだ学習自由アプローチを導入する。 精度を追求するために,エンコーダと変圧器検出器からなる学習系系統検出装置を導入する。
  論文  参考訳（メタデータ） (2024-06-17T01:11:53Z)
• Transferring Core Knowledge via Learngenes [45.651726289932334]
  本稿では,生物の進化過程をニューラルネットワークにコピーする遺伝子伝達学習(GTL)フレームワークを提案する。 GTLはネットワークの集団を訓練し、トーナメントによって優れた学習遺伝子を選択し、学習遺伝子変異を実行し、学習遺伝子を次の世代に渡す。 学習遺伝子は、子孫ネットワークの本能と強力な学習能力をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-01-16T06:18:11Z)
• Genetic prediction of quantitative traits: a machine learner's guide focused on height [0.0]
  本稿では,機械学習コミュニティにおけるアートモデルの現状と関連する微妙さについて概観する。 heightを連続評価された表現型の例として使用し、ベンチマークデータセット、共同創設者、機能選択、一般的なメトリクスを紹介します。
  論文  参考訳（メタデータ） (2023-10-06T05:43:50Z)
• MuSe-GNN: Learning Unified Gene Representation From Multimodal Biological Graph Data [22.938437500266847]
  マルチモーダル類似性学習グラフニューラルネットワークという新しいモデルを提案する。 マルチモーダル機械学習とディープグラフニューラルネットワークを組み合わせて、単一セルシークエンシングと空間転写データから遺伝子発現を学習する。 本モデルでは, 遺伝子機能, 組織機能, 疾患, 種進化の解析のために, 統合された遺伝子表現を効率よく生成する。
  論文  参考訳（メタデータ） (2023-09-29T13:33:53Z)
• Continual Learning with Bayesian Model based on a Fixed Pre-trained Feature Extractor [55.9023096444383]
  現在のディープラーニングモデルは、新しいクラスを学ぶ際に古い知識を破滅的に忘れることによって特徴づけられる。 人間の脳における新しい知識の学習プロセスに着想を得て,連続学習のためのベイズ生成モデルを提案する。
  論文  参考訳（メタデータ） (2022-04-28T08:41:51Z)
• Learngene: From Open-World to Your Learning Task [40.72740911425261]
  本稿では,メタ知識を集合モデルから継承する学習遺伝子を導入し,対象タスクのための新しい軽量個別モデルを再構築する。 本研究では,本手法の有効性を実験的に検証し,理論的解析を行った。
  論文  参考訳（メタデータ） (2021-06-12T14:46:27Z)
• Relational Subsets Knowledge Distillation for Long-tailed Retinal Diseases Recognition [65.77962788209103]
  本研究では,長尾データを知識に基づいて複数のクラスサブセットに分割し,クラスサブセット学習を提案する。 モデルがサブセット固有の知識の学習に集中するように強制する。 提案手法は長期網膜疾患認識タスクに有効であることが判明した。
  論文  参考訳（メタデータ） (2021-04-22T13:39:33Z)
• Epigenetic evolution of deep convolutional models [81.21462458089142]
  我々は、より深い畳み込みモデルを進化させるために、これまで提案されていた神経進化の枠組みを構築した。 異なる形状と大きさのカーネルを同一層内に共存させる畳み込み層配置を提案する。 提案したレイアウトにより、畳み込み層内の個々のカーネルのサイズと形状を、対応する新しい突然変異演算子で進化させることができる。
  論文  参考訳（メタデータ） (2021-04-12T12:45:16Z)
• Select-ProtoNet: Learning to Select for Few-Shot Disease Subtype Prediction [55.94378672172967]
  本研究は, 類似患者のサブグループを同定し, 数発の疾患のサブタイプ予測問題に焦点を当てた。 新しいモデルを開発するためにメタラーニング技術を導入し、関連する臨床課題から共通の経験や知識を抽出する。 我々の新しいモデルは、単純だが効果的なメタ学習マシンであるPrototypeal Networkと呼ばれる、慎重に設計されたメタラーナーに基づいて構築されている。
  論文  参考訳（メタデータ） (2020-09-02T02:50:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。