論文の概要: Transferring Core Knowledge via Learngenes

• arxiv url: http://arxiv.org/abs/2401.08139v1
• Date: Tue, 16 Jan 2024 06:18:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-17 15:04:17.203046
• Title: Transferring Core Knowledge via Learngenes
• Title（参考訳）: 学習遺伝子によるコア知識の伝達
• Authors: Fu Feng, Jing Wang and Xin Geng
• Abstract要約: 本稿では,生物の進化過程をニューラルネットワークにコピーする遺伝子伝達学習(GTL)フレームワークを提案する。 GTLはネットワークの集団を訓練し、トーナメントによって優れた学習遺伝子を選択し、学習遺伝子変異を実行し、学習遺伝子を次の世代に渡す。 学習遺伝子は、子孫ネットワークの本能と強力な学習能力をもたらすことを示す。
• 参考スコア（独自算出の注目度）: 45.651726289932334
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The pre-training paradigm fine-tunes the models trained on large-scale datasets to downstream tasks with enhanced performance. It transfers all knowledge to downstream tasks without discriminating which part is necessary or unnecessary, which may lead to negative transfer. In comparison, knowledge transfer in nature is much more efficient. When passing genetic information to descendants, ancestors encode only the essential knowledge into genes, which act as the medium. Inspired by that, we adopt a recent concept called ``learngene'' and refine its structures by mimicking the structures of natural genes. We propose the Genetic Transfer Learning (GTL) -- a framework to copy the evolutionary process of organisms into neural networks. GTL trains a population of networks, selects superior learngenes by tournaments, performs learngene mutations, and passes the learngenes to next generations. Finally, we successfully extract the learngenes of VGG11 and ResNet12. We show that the learngenes bring the descendant networks instincts and strong learning ability: with 20% parameters, the learngenes bring 12% and 16% improvements of accuracy on CIFAR-FS and miniImageNet. Besides, the learngenes have the scalability and adaptability on the downstream structure of networks and datasets. Overall, we offer a novel insight that transferring core knowledge via learngenes may be sufficient and efficient for neural networks.
• Abstract（参考訳）: 事前トレーニングパラダイムは、大規模データセットでトレーニングされたモデルを、パフォーマンスを向上した下流タスクに微調整する。 すべての知識を下流のタスクに転送するが、どの部分が必要か、不要かを区別せず、負の転送につながる可能性がある。 対照的に、自然界における知識伝達はより効率的である。 遺伝情報を子孫に渡すとき、祖先は本質的な知識のみを遺伝子にエンコードし、それが媒質として機能する。 そこで我々は'learngene'という新しい概念を採用し、自然遺伝子の構造を模倣してその構造を洗練させる。 本稿では,生物の進化過程をニューラルネットワークにコピーするGTL(Genematic Transfer Learning)を提案する。 GTLはネットワークの集団を訓練し、トーナメントによって優れた学習遺伝子を選択し、学習遺伝子変異を実行し、学習遺伝子を次の世代に渡す。 最後に,VGG11とResNet12の学習遺伝子を抽出した。 20%のパラメータを持つ学習遺伝子は、cifar-fsとminiimagenetの精度を12%、16%向上させる。 さらに、学習遺伝子は、ネットワークとデータセットの下流構造にスケーラビリティと適応性を持っている。 全体として、学習遺伝子を介してコア知識を伝達することは、ニューラルネットワークにとって十分かつ効率的である、という新たな洞察を提供する。

関連論文リスト

• Memory Networks: Towards Fully Biologically Plausible Learning [2.7013801448234367]
  現在の人工ニューラルネットワークは、バックプロパゲーションやウェイトシェアリングのような技術に依存しており、脳の自然な情報処理方法と一致しない。 本稿では,逆伝播や畳み込みを回避し,単一のパスで動作させる生物学的原理にインスパイアされたメモリネットワークを提案する。
  論文  参考訳（メタデータ） (2024-09-18T06:01:35Z)
• Breaching the Bottleneck: Evolutionary Transition from Reward-Driven Learning to Reward-Agnostic Domain-Adapted Learning in Neuromodulated Neural Nets [0.3428444467046466]
  AI学習アルゴリズムは、適切な振る舞いを取得するために、外部から用意された振る舞い品質の測定に頼っている。 これにより、多様な非逆刺激情報からの学習を妨げる情報のボトルネックが生じる。 まず、報奨信号から学習する能力を進化させ、非効率(ボトルネック化)だが広い適応性を提供することを提案する。
  論文  参考訳（メタデータ） (2024-04-19T05:14:47Z)
• Genetic Programming-Based Evolutionary Deep Learning for Data-Efficient Image Classification [3.9310727060473476]
  本稿では,データ効率のよい画像分類のための遺伝的プログラミングに基づく進化的深層学習手法を提案する。 この新しいアプローチは、画像領域と分類領域の両方から多くの重要な演算子を使用して、変数長モデルを自動的に進化させることができる。 フレキシブルな多層表現により、新しいアプローチは、タスクごとに浅いモデルや深いモデルやツリーを自動的に構築できる。
  論文  参考訳（メタデータ） (2022-09-27T08:10:16Z)
• A Neural Network Based Method with Transfer Learning for Genetic Data Analysis [3.8599966694228667]
  我々はトランスファーラーニング手法とニューラルネットワークに基づく手法(外乱ニューラルネットワーク)を組み合わせる。 これまでの学習を活用して、ゼロから始めることを避けて、モデルのパフォーマンスを改善します。 トランスファーラーニングアルゴリズムを用いることで、トランスファーラーニング技術を用いることなく、期待できるニューラルネットワークと比較して、期待できるニューラルネットワークの性能が向上する。
  論文  参考訳（メタデータ） (2022-06-20T16:16:05Z)
• aSTDP: A More Biologically Plausible Learning [0.0]
  我々は,新しいニューラルネットワーク学習フレームワークSTDPを導入する。 教師なしおよび教師なしの学習にはSTDPルールのみを使用する。 追加設定なしで予測したり、ひとつのモデルでパターンを生成できる。
  論文  参考訳（メタデータ） (2022-05-22T08:12:50Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• A Few-shot Learning Graph Multi-Trajectory Evolution Network for Forecasting Multimodal Baby Connectivity Development from a Baseline Timepoint [53.73316520733503]
  本稿では,教師-学生パラダイムを取り入れたグラフ多目的進化ネットワーク(GmTE-Net)を提案する。 これは、脳グラフ多軌道成長予測に適した最初の教師学生アーキテクチャである。
  論文  参考訳（メタデータ） (2021-10-06T08:26:57Z)
• Adversarially-Trained Deep Nets Transfer Better: Illustration on Image Classification [53.735029033681435]
  トランスファーラーニングは、訓練済みのディープニューラルネットワークを画像認識タスクに新しいドメインに適用するための強力な方法論である。 本研究では,非逆学習モデルよりも逆学習モデルの方が優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-11T22:48:42Z)
• Curriculum By Smoothing [52.08553521577014]
  畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。 アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。 トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
  論文  参考訳（メタデータ） (2020-03-03T07:27:44Z)
• Alpha Discovery Neural Network based on Prior Knowledge [55.65102700986668]
  遺伝的プログラミング(GP)は、金融自動化機能構築タスクにおける最先端技術である。 本稿では,分散金融技術指標の自動構築が可能なニューラルネットワーク構造であるAlpha Discovery Neural Network (ADNN)を提案する。
  論文  参考訳（メタデータ） (2019-12-26T03:10:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。