論文の概要: Neural Architecture Search with Mixed Bio-inspired Learning Rules

• arxiv url: http://arxiv.org/abs/2507.13485v1
• Date: Thu, 17 Jul 2025 18:49:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-21 20:43:26.114468
• Title: Neural Architecture Search with Mixed Bio-inspired Learning Rules
• Title（参考訳）: 混合バイオインスパイア学習規則を用いたニューラルアーキテクチャ探索
• Authors: Imane Hamzaoui, Riyadh Baghdadi,
• Abstract要約: バイオインスパイアされたニューラルネットワークは、その堅牢性、エネルギー剛性、および皮質生理学との密接な整合性のために魅力的である。 異なる層で異なるバイオインスパイアされた学習ルールを使用することで、このギャップを埋めることを示す。 異なる層に対して異なるバイオインスパイアされた学習ルールを使用するニューラルネットワークは、すべての層にまたがる単一のルールを使用するニューラルネットワークよりも精度が良いことを示す。
• 参考スコア（独自算出の注目度）: 0.1227734309612871
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bio-inspired neural networks are attractive for their adversarial robustness, energy frugality, and closer alignment with cortical physiology, yet they often lag behind back-propagation (BP) based models in accuracy and ability to scale. We show that allowing the use of different bio-inspired learning rules in different layers, discovered automatically by a tailored neural-architecture-search (NAS) procedure, bridges this gap. Starting from standard NAS baselines, we enlarge the search space to include bio-inspired learning rules and use NAS to find the best architecture and learning rule to use in each layer. We show that neural networks that use different bio-inspired learning rules for different layers have better accuracy than those that use a single rule across all the layers. The resulting NN that uses a mix of bio-inspired learning rules sets new records for bio-inspired models: 95.16% on CIFAR-10, 76.48% on CIFAR-100, 43.42% on ImageNet16-120, and 60.51% top-1 on ImageNet. In some regimes, they even surpass comparable BP-based networks while retaining their robustness advantages. Our results suggest that layer-wise diversity in learning rules allows better scalability and accuracy, and motivates further research on mixing multiple bio-inspired learning rules in the same network.
• Abstract（参考訳）: バイオインスパイアされたニューラルネットワークは、敵の強靭性、エネルギーの剛性、皮質生理学との密接な整合性に魅力的なものだが、正確さと拡張性において、バックプロパゲーション(BP)ベースのモデルに遅れが生じることが多い。 異なる層に異なるバイオインスパイアされた学習規則を適用できるようにし、NAS(thereored Neural-architecture-search)手順で自動的に検出することで、このギャップを埋めることを示す。 標準のNASベースラインから、バイオインスパイアされた学習ルールを含む検索スペースを拡大し、NASを使用して各レイヤで最適なアーキテクチャと学習ルールを見つける。 異なる層に対して異なるバイオインスパイアされた学習ルールを使用するニューラルネットワークは、すべての層にまたがる単一のルールを使用するニューラルネットワークよりも精度が良いことを示す。 CIFAR-10では95.16%、CIFAR-100では76.48%、ImageNet16-120では43.42%、ImageNetでは60.51%となっている。 一部の体制では、BPベースのネットワークに匹敵するが、堅牢性は保っている。 以上の結果から,学習ルールの階層的多様性により,スケーラビリティと精度が向上し,同一ネットワークに複数のバイオインスパイアされた学習ルールを混在させるためのさらなる研究が動機であることが示唆された。

関連論文リスト

• Convolutional Neural Networks Exploiting Attributes of Biological Neurons [7.3517426088986815]
  畳み込みニューラルネットワーク(CNN)のようなディープニューラルネットワークは、最前線として登場し、しばしば人間の能力を上回っている。 ここでは,生物ニューロンの原理をCNNの特定の層に統合する。 我々は,CNNの入力として使用する画像の特徴を抽出し,訓練効率の向上と精度の向上を期待する。
  論文  参考訳（メタデータ） (2023-11-14T16:58:18Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• Neuro-symbolic Rule Learning in Real-world Classification Tasks [75.0907310059298]
  pix2ruleのニューラルDNFモジュールを拡張し、実世界のマルチクラスおよびマルチラベル分類タスクにおけるルール学習をサポートする。 多クラス分類において相互排他性を強制するニューラルDNF-EO(Exactly One)と呼ばれる新しい拡張モデルを提案する。
  論文  参考訳（メタデータ） (2023-03-29T13:27:14Z)
• NASiam: Efficient Representation Learning using Neural Architecture Search for Siamese Networks [76.8112416450677]
  シームズネットワークは、自己教師付き視覚表現学習(SSL)を実現するための最も傾向のある方法の1つである。 NASiamは、初めて微分可能なNASを使用して、多層パーセプトロンプロジェクタと予測器(エンコーダ/予測器ペア)を改善する新しいアプローチである。 NASiamは、小規模(CIFAR-10/CIFAR-100)と大規模(画像Net)画像分類データセットの両方で競合性能を達成し、わずか数GPU時間しかかからない。
  論文  参考訳（メタデータ） (2023-01-31T19:48:37Z)
• Hebbian Deep Learning Without Feedback [0.0]
  我々は、フィードバック、ターゲット、エラー信号なしでディープニューラルネットワークをトレーニングするアルゴリズムであるSoftHebbを紹介する。 その効率性と生物学的適合性の向上は、最先端の生物工学学習と比べて正確さを損なわない。
  論文  参考訳（メタデータ） (2022-09-23T23:12:59Z)
• BioLeaF: A Bio-plausible Learning Framework for Training of Spiking Neural Networks [4.698975219970009]
  本稿では,新しいアーキテクチャと学習ルールをサポートする2つのコンポーネントからなる,生物工学的な新しい学習フレームワークを提案する。 マイクロ回路アーキテクチャでは,Spyke-Timing-Dependent-Plasticity(STDP)ルールをローカルコンパートメントで運用し,シナプス重みを更新する。 実験の結果,提案手法はBP法則に匹敵する学習精度を示す。
  論文  参考訳（メタデータ） (2021-11-14T10:32:22Z)
• Self-distillation with Batch Knowledge Ensembling Improves ImageNet Classification [57.5041270212206]
  本稿では,アンカー画像のためのソフトターゲットを生成するために,BAtch Knowledge Ensembling (BAKE)を提案する。 BAKEは、1つのネットワークだけで複数のサンプルを網羅するオンライン知識を実現する。 既存の知識集合法と比較して計算とメモリのオーバーヘッドは最小限である。
  論文  参考訳（メタデータ） (2021-04-27T16:11:45Z)
• Firefly Neural Architecture Descent: a General Approach for Growing Neural Networks [50.684661759340145]
  firefly neural architecture descentは、ニューラルネットワークを漸進的かつ動的に成長させるための一般的なフレームワークである。 ホタルの降下は、より広く、より深くネットワークを柔軟に成長させ、正確だがリソース効率のよいニューラルアーキテクチャを学習するために応用できることを示す。 特に、サイズは小さいが、最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。
  論文  参考訳（メタデータ） (2021-02-17T04:47:18Z)
• Comparisons among different stochastic selection of activation layers for convolutional neural networks for healthcare [77.99636165307996]
  ニューラルネットワークのアンサンブルを用いて生体医用画像の分類を行う。 ReLU, leaky ReLU, Parametric ReLU, ELU, Adaptive Piecewice Linear Unit, S-Shaped ReLU, Swish, Mish, Mexican Linear Unit, Parametric Deformable Linear Unit, Soft Root Sign。
  論文  参考訳（メタデータ） (2020-11-24T01:53:39Z)
• Local plasticity rules can learn deep representations using self-supervised contrastive predictions [3.6868085124383616]
  生物学的制約を尊重するが、深い階層的な表現をもたらす学習規則はまだ不明である。 本稿では,神経科学からインスピレーションを得た学習ルールを提案し,近年の自己教師型深層学習の進歩について述べる。 この自己監督的かつ局所的なルールで訓練されたネットワークは、画像、音声、ビデオの深い階層的表現を構築する。
  論文  参考訳（メタデータ） (2020-10-16T09:32:35Z)
• Exploiting Heterogeneity in Operational Neural Networks by Synaptic Plasticity [87.32169414230822]
  最近提案されたネットワークモデルであるオペレーショナルニューラルネットワーク(ONN)は、従来の畳み込みニューラルネットワーク(CNN)を一般化することができる。 本研究では, 生体ニューロンにおける本質的な学習理論を示すSynaptic Plasticityパラダイムに基づいて, ネットワークの隠蔽ニューロンに対する最強演算子集合の探索に焦点をあてる。 高難易度問題に対する実験結果から、神経細胞や層が少なくても、GISベースのONNよりも優れた学習性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-08-21T19:03:23Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。