論文の概要: Fine-Pruning: A Biologically Inspired Algorithm for Personalization of Machine Learning Models
- arxiv url: http://arxiv.org/abs/2602.18507v1
- Date: Wed, 18 Feb 2026 13:23:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-24 17:42:02.113323
- Title: Fine-Pruning: A Biologically Inspired Algorithm for Personalization of Machine Learning Models
- Title(参考訳): Fine-Pruning: 機械学習モデルのパーソナライズのための生物学的に着想を得たアルゴリズム
- Authors: Joseph Bingham, Saman Zonouz, Dvir Aran,
- Abstract要約: ディープニューラルネットワークの主要なトレーニング方法であるバックプロパゲーションには、かなりの計算リソースと完全なラベル付きデータセットが必要である。
この研究は、脳がプルーニングを通じてどのように学習するかを模倣することで、様々な古典的な機械学習問題を解くことができることを示す。
実験では,ImageNet上のResNet50を含む複数の音声認識モデルと画像分類モデルのパーソナライズに成功した。
- 参考スコア(独自算出の注目度): 1.1470070927586018
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural networks have long strived to emulate the learning capabilities of the human brain. While deep neural networks (DNNs) draw inspiration from the brain in neuron design, their training methods diverge from biological foundations. Backpropagation, the primary training method for DNNs, requires substantial computational resources and fully labeled datasets, presenting major bottlenecks in development and application. This work demonstrates that by returning to biomimicry, specifically mimicking how the brain learns through pruning, we can solve various classical machine learning problems while utilizing orders of magnitude fewer computational resources and no labels. Our experiments successfully personalized multiple speech recognition and image classification models, including ResNet50 on ImageNet, resulting in increased sparsity of approximately 70\% while simultaneously improving model accuracy to around 90\%, all without the limitations of backpropagation. This biologically inspired approach offers a promising avenue for efficient, personalized machine learning models in resource-constrained environments.
- Abstract(参考訳): ニューラルネットワークは長い間、人間の脳の学習能力をエミュレートしようと努力してきた。
ディープニューラルネットワーク(DNN)はニューロン設計において脳からインスピレーションを得ているが、それらのトレーニング方法は生物学的基礎から分岐している。
DNNの主要なトレーニング方法であるバックプロパゲーションは、かなりの計算リソースと完全なラベル付きデータセットを必要とし、開発とアプリケーションの大きなボトルネックを提示する。
この研究は、脳がプルーニングを通じてどのように学習するかを模倣したバイオミミクリーに戻ることで、計算資源の桁数を桁違いに少なく、ラベルを含まないことで、様々な古典的な機械学習問題を解くことができることを示した。
実験では,ImageNet上のResNet50を含む複数の音声認識モデルと画像分類モデルのパーソナライズに成功した。
この生物学的にインスパイアされたアプローチは、リソース制約のある環境で、効率的でパーソナライズされた機械学習モデルのための有望な道を提供する。
関連論文リスト
- Exploring Deep Learning Models for EEG Neural Decoding [2.0099933815960256]
THINGSイニシアチブは46人の被験者による大規模な脳波データセットを提供する。
近年のディープラーニングモデルを用いて,高レベルのオブジェクト特徴を復号化するための本手法の有効性を検証した。
線形モデルでは復号処理が解けず,ディープラーニングモデルはほぼすべて成功していることを示す。
論文 参考訳(メタデータ) (2025-03-20T08:02:09Z) - Memory Networks: Towards Fully Biologically Plausible Learning [2.7013801448234367]
現在の人工ニューラルネットワークは、バックプロパゲーションやウェイトシェアリングのような技術に依存しており、脳の自然な情報処理方法と一致しない。
本稿では,逆伝播や畳み込みを回避し,単一のパスで動作させる生物学的原理にインスパイアされたメモリネットワークを提案する。
論文 参考訳(メタデータ) (2024-09-18T06:01:35Z) - Unsupervised representation learning with Hebbian synaptic and structural plasticity in brain-like feedforward neural networks [0.0]
教師なし表現学習が可能な脳様ニューラルネットワークモデルを導入,評価する。
このモデルは、一般的な機械学習ベンチマークのさまざまなセットでテストされた。
論文 参考訳(メタデータ) (2024-06-07T08:32:30Z) - Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳(メタデータ) (2024-03-18T18:01:01Z) - Hebbian Learning based Orthogonal Projection for Continual Learning of
Spiking Neural Networks [74.3099028063756]
我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。
我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。
我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
論文 参考訳(メタデータ) (2024-02-19T09:29:37Z) - Sparse Multitask Learning for Efficient Neural Representation of Motor
Imagery and Execution [30.186917337606477]
運動画像(MI)と運動実行(ME)タスクのためのスパースマルチタスク学習フレームワークを提案する。
MI-ME分類のためのデュアルタスクCNNモデルが与えられた場合、過渡的な接続に対して、サリエンシに基づくスペーシフィケーションアプローチを適用する。
以上の結果から, この調整された疎水性は, 過度に適合する問題を緩和し, 少ないデータ量でテスト性能を向上させることが示唆された。
論文 参考訳(メタデータ) (2023-12-10T09:06:16Z) - Brain-inspired Computational Intelligence via Predictive Coding [73.42407863671565]
予測符号化(PC)は、機械学習コミュニティにとって潜在的に価値のある、有望な特性を示している。
PCライクなアルゴリズムは、機械学習とAIの複数のサブフィールドに存在し始めている。
論文 参考訳(メタデータ) (2023-08-15T16:37:16Z) - A Hybrid Neural Coding Approach for Pattern Recognition with Spiking
Neural Networks [53.31941519245432]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。
これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。
本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
論文 参考訳(メタデータ) (2023-05-26T02:52:12Z) - aSTDP: A More Biologically Plausible Learning [0.0]
我々は,新しいニューラルネットワーク学習フレームワークSTDPを導入する。
教師なしおよび教師なしの学習にはSTDPルールのみを使用する。
追加設定なしで予測したり、ひとつのモデルでパターンを生成できる。
論文 参考訳(メタデータ) (2022-05-22T08:12:50Z) - Dynamic Neural Diversification: Path to Computationally Sustainable
Neural Networks [68.8204255655161]
訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。
学習過程において隠れた層内のニューロンの多様性を探索する。
ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
論文 参考訳(メタデータ) (2021-09-20T15:12:16Z) - Backprop-Free Reinforcement Learning with Active Neural Generative
Coding [84.11376568625353]
動的環境におけるエラー(バックプロップ)のバックプロパゲーションを伴わない行動駆動型生成モデルの学習のための計算フレームワークを提案する。
我々は、まばらな報酬でも機能するインテリジェントエージェントを開発し、推論として計画の認知理論からインスピレーションを得ている。
我々のエージェントの堅牢な性能は、神経推論と学習のためのバックプロップフリーアプローチがゴール指向の行動を促進するという有望な証拠を提供する。
論文 参考訳(メタデータ) (2021-07-10T19:02:27Z) - Reservoir Memory Machines as Neural Computers [70.5993855765376]
微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。
我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
論文 参考訳(メタデータ) (2020-09-14T12:01:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。