論文の概要: HKT: A Biologically Inspired Framework for Modular Hereditary Knowledge Transfer in Neural Networks

• arxiv url: http://arxiv.org/abs/2508.09743v1
• Date: Wed, 13 Aug 2025 12:13:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-14 20:42:00.877649
• Title: HKT: A Biologically Inspired Framework for Modular Hereditary Knowledge Transfer in Neural Networks
• Title（参考訳）: HKT:ニューラルネットワークにおけるモジュール型遺伝学的知識伝達のための生物学的に着想を得たフレームワーク
• Authors: Yanick Chistian Tchenko, Felix Mohr, Hicham Hadj Abdelkader, Hedi Tabia,
• Abstract要約: Hereditary Knowledge Transfer (HKT) は、大規模で事前訓練された親ネットワークから小さな子モデルへのタスク関連機能のモジュール化と選択的移行のためのフレームワークである。 HKTは、メモリRNA転送などの生物学的継承機構からインスピレーションを得て、多段階の機能伝達を導く。 我々は、光学的フロー、画像分類、セマンティックセグメンテーションを含む多様な視覚タスクのHKTを評価する。
• 参考スコア（独自算出の注目度）: 11.55707202063445
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A prevailing trend in neural network research suggests that model performance improves with increasing depth and capacity - often at the cost of integrability and efficiency. In this paper, we propose a strategy to optimize small, deployable models by enhancing their capabilities through structured knowledge inheritance. We introduce Hereditary Knowledge Transfer (HKT), a biologically inspired framework for modular and selective transfer of task-relevant features from a larger, pretrained parent network to a smaller child model. Unlike standard knowledge distillation, which enforces uniform imitation of teacher outputs, HKT draws inspiration from biological inheritance mechanisms - such as memory RNA transfer in planarians - to guide a multi-stage process of feature transfer. Neural network blocks are treated as functional carriers, and knowledge is transmitted through three biologically motivated components: Extraction, Transfer, and Mixture (ETM). A novel Genetic Attention (GA) mechanism governs the integration of inherited and native representations, ensuring both alignment and selectivity. We evaluate HKT across diverse vision tasks, including optical flow (Sintel, KITTI), image classification (CIFAR-10), and semantic segmentation (LiTS), demonstrating that it significantly improves child model performance while preserving its compactness. The results show that HKT consistently outperforms conventional distillation approaches, offering a general-purpose, interpretable, and scalable solution for deploying high-performance neural networks in resource-constrained environments.
• Abstract（参考訳）: ニューラルネットワーク研究の一般的な傾向は、モデルパフォーマンスが深度とキャパシティの増大に伴って向上することを示している。 本稿では,構造化された知識継承を通じて,小規模でデプロイ可能なモデルを最適化する戦略を提案する。 HKT(Hereditary Knowledge Transfer)は,より大規模で事前学習された親ネットワークから,より小さな子モデルへのタスク関連機能のモジュール化と選択的移行のための,生物学的にインスパイアされたフレームワークである。 教師の出力の均一な模倣を強制する標準的な知識蒸留とは異なり、HKTは、プランナリアンにおけるメモリRNA転送のような生物学的継承機構からインスピレーションを得て、多段階の機能伝達を導く。 ニューラルネットワークブロックは機能キャリアとして扱われ、知識は生物学的に動機づけられた3つのコンポーネント(抽出、転送、混合(ETM))を通して伝達される。 新しいGAメカニズムは、遺伝とネイティブの表現の統合を制御し、アライメントと選択性の両方を保証する。 我々は,光学的フロー (Sintel, KITTI), 画像分類 (CIFAR-10), セマンティックセグメンテーション (LiTS) など,多様な視覚課題を対象としたHKTを評価し,そのコンパクト性を維持しながら,子モデルの性能を著しく向上させることを示した。 その結果,HKTは従来の蒸留法よりも優れており,資源制約のある環境で高性能ニューラルネットワークをデプロイするための汎用的で解釈可能でスケーラブルなソリューションを提供することがわかった。

関連論文リスト

• Advancing the Biological Plausibility and Efficacy of Hebbian Convolutional Neural Networks [0.0]
  本稿では,画像処理のための畳み込みニューラルネットワーク(CNN)へのヘビアン学習の統合について述べる。 ヘビアン学習は、局所的な教師なしの神経情報に基づいて特徴表現を形成する。 その結果, より複雑で受容的な領域を通じて, まばらな階層的学習の徴候がみられた。
  論文  参考訳（メタデータ） (2025-01-06T12:29:37Z)
• Weakly Supervised Set-Consistency Learning Improves Morphological Profiling of Single-Cell Images [0.6491172192043603]
  単一セル画像における摂動効果の学習表現を改善するために,設定レベルの整合性学習アルゴリズムset-DINOを提案する。 5000以上の遺伝的摂動を伴う大規模光ポーリングスクリーニングデータセットの実験を行った。
  論文  参考訳（メタデータ） (2024-06-08T00:53:30Z)
• Harnessing Neural Unit Dynamics for Effective and Scalable Class-Incremental Learning [38.09011520275557]
  クラスインクリメンタルラーニング(Class-incremental Learning, CIL)は、古いクラスを忘れずに、非定常データストリームから新しいクラスを学ぶためのモデルをトレーニングすることを目的としている。 本稿では、ニューラルネットワークの動作をCILに適応させるニューラルネットワークユニットダイナミクスを調整し、新しい種類のコネクショナリストモデルを提案する。
  論文  参考訳（メタデータ） (2024-06-04T15:47:03Z)
• Sparse Modular Activation for Efficient Sequence Modeling [94.11125833685583]
  線形状態空間モデルと自己アテンション機構を組み合わせた最近のモデルでは、様々なシーケンスモデリングタスクにおいて顕著な結果が示されている。 現在のアプローチでは、アテンションモジュールを静的かつ均一に入力シーケンスのすべての要素に適用し、最適以下の品質効率のトレードオフをもたらす。 SMA(Sparse Modular Activation)は,ニューラルネットワークが配列要素のサブモジュールを異なる方法でスパースに活性化する機構である。
  論文  参考訳（メタデータ） (2023-06-19T23:10:02Z)
• Reconstructing high-order sequence features of dynamic functional connectivity networks based on diversified covert attention patterns for Alzheimer's disease classification [22.57052592437276]
  我々はトランスフォーマーのコアモジュールである自己注意機構を導入し、多彩な注意パターンをモデル化し、これらのパターンを適用してdFCNの高次シーケンス特性を再構築する。 本研究では,局所的時間的特徴とシーケンス変化パターンをキャプチャするCRNの利点と,大域的および高次的相関特徴の学習におけるトランスフォーマーを組み合わせた,多角化注意パターンに基づくCRN手法DCA-CRNを提案する。
  論文  参考訳（メタデータ） (2022-11-19T02:13:21Z)
• A Generic Shared Attention Mechanism for Various Backbone Neural Networks [53.36677373145012]
  自己注意モジュール(SAM)は、異なる層にまたがる強い相関した注意マップを生成する。 Dense-and-Implicit Attention (DIA)はSAMをレイヤ間で共有し、長期間のメモリモジュールを使用する。 我々のシンプルで効果的なDIAは、様々なネットワークバックボーンを一貫して拡張できます。
  論文  参考訳（メタデータ） (2022-10-27T13:24:08Z)
• Learning in Deep Neural Networks Using a Biologically Inspired Optimizer [5.144809478361604]
  人工神経(ANN)とスパイクニューラルネット(SNN)にインスパイアされた新しい生物モデルを提案する。 GRAPESは、ニューラルネットワークの各ノードにおけるエラー信号の重量分布依存変調を実装している。 生物学的にインスパイアされたこのメカニズムは,ネットワークの収束率を体系的に改善し,ANNやSNNの分類精度を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2021-04-23T13:50:30Z)
• A Trainable Optimal Transport Embedding for Feature Aggregation and its Relationship to Attention [96.77554122595578]
  固定サイズのパラメータ化表現を導入し、与えられた入力セットから、そのセットとトレーニング可能な参照の間の最適な輸送計画に従って要素を埋め込み、集約する。 我々のアプローチは大規模なデータセットにスケールし、参照のエンドツーエンドのトレーニングを可能にすると同時に、計算コストの少ない単純な教師なし学習メカニズムも提供する。
  論文  参考訳（メタデータ） (2020-06-22T08:35:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。