論文の概要: Long-Tailed Data Classification by Increasing and Decreasing Neurons During Training
- arxiv url: http://arxiv.org/abs/2507.09940v1
- Date: Mon, 14 Jul 2025 05:29:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-15 18:48:24.356556
- Title: Long-Tailed Data Classification by Increasing and Decreasing Neurons During Training
- Title（参考訳）: トレーニング中のニューロンの増加と減少による長期データ分類
- Authors: Taigo Sakai, Kazuhiro Hotta,
- Abstract要約: 実世界のデータセットは、あるクラスが他のクラスよりもはるかに少ないサンプルを持つクラス不均衡の状況を示すことが多い。
本稿では,学習中にニューロンを定期的に追加・除去し,少数クラスの表現力を高める手法を提案する。
この結果から, ネットワーク設計における動的ネットワーク設計の有効性が, クラス不均衡データの性能向上に寄与することが示された。
- 参考スコア（独自算出の注目度）: 4.32776344138537
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In conventional deep learning, the number of neurons typically remains fixed during training. However, insights from biology suggest that the human hippocampus undergoes continuous neuron generation and pruning of neurons over the course of learning, implying that a flexible allocation of capacity can contribute to enhance performance. Real-world datasets often exhibit class imbalance situations where certain classes have far fewer samples than others, leading to significantly reduce recognition accuracy for minority classes when relying on fixed size networks.To address the challenge, we propose a method that periodically adds and removes neurons during training, thereby boosting representational power for minority classes. By retaining critical features learned from majority classes while selectively increasing neurons for underrepresented classes, our approach dynamically adjusts capacity during training. Importantly, while the number of neurons changes throughout training, the final network size and structure remain unchanged, ensuring efficiency and compatibility with deployment.Furthermore, by experiments on three different datasets and five representative models, we demonstrate that the proposed method outperforms fixed size networks and shows even greater accuracy when combined with other imbalance-handling techniques. Our results underscore the effectiveness of dynamic, biologically inspired network designs in improving performance on class-imbalanced data.
- Abstract（参考訳）: 従来のディープラーニングでは、トレーニング中にニューロンの数が固定されるのが普通である。
しかし、生物学から見れば、ヒトの海馬は学習の過程でニューロンの連続的なニューロン生成と切断を受けており、能力の柔軟な割り当てが性能の向上に寄与することを示している。
実世界のデータセットは、特定のクラスが他のクラスよりもはるかに少ないサンプルを持つクラス不均衡状態を示すことが多く、固定サイズのネットワークに依存する場合、マイノリティクラスの認識精度を著しく低下させ、この課題に対処するために、トレーニング中にニューロンを定期的に追加・除去する手法を提案し、マイノリティクラスの表現力を高める。
多数派クラスから学習した重要な特徴を保ちながら、未表現クラスのニューロンを選択的に増加させることにより、トレーニング中の容量を動的に調整する。
重要なことは、トレーニングを通してニューロンの数が変化しても、最終的なネットワークサイズと構造は変化せず、効率とデプロイメントとの整合性が保証される一方で、3つの異なるデータセットと5つの代表モデルの実験により、提案手法が固定サイズネットワークより優れ、他の不均衡処理技術と組み合わせた場合の精度がさらに高くなることを示した。
この結果から, ネットワーク設計における動的ネットワーク設計の有効性が, クラス不均衡データの性能向上に寄与していることが示唆された。
関連論文リスト
- Fractional Spike Differential Equations Neural Network with Efficient Adjoint Parameters Training [63.3991315762955]
スパイキングニューラルネットワーク(SNN)は、生物学的ニューロンからインスピレーションを得て、脳に似た計算の現実的なモデルを作成する。
既存のほとんどのSNNは、マルコフ特性を持つ一階常微分方程式(ODE)によってモデル化された、神経細胞膜電圧ダイナミクスの単一時間定数を仮定している。
本研究では, 膜電圧およびスパイク列車の長期依存性を分数次力学により捉えるフラクタルSPIKE微分方程式ニューラルネットワーク (fspikeDE) を提案する。
論文 参考訳（メタデータ） (2025-07-22T18:20:56Z) - How Weight Resampling and Optimizers Shape the Dynamics of Continual Learning and Forgetting in Neural Networks [2.270857464465579]
連続学習における最近の研究は、ニューラルネットワークの最後の層(ザッピング)における重みの再サンプリングの効果を強調している。
本研究では,畳み込みニューラルネットワーク内で発生する学習と忘れのパターンを,挑戦的な設定でトレーニングした場合に詳細に検討する。
論文 参考訳（メタデータ） (2025-07-02T10:18:35Z) - Measure gradients, not activations! Enhancing neuronal activity in deep reinforcement learning [25.277730616459255]
深部強化学習 (Deep reinforcement learning, RL) は、しばしば神経活動の喪失に悩まされる。
GraMa(Gradient Magnitude Neural Activity Metric)は、ニューロンレベルの学習能力を定量化するメトリクスである。
GraMaは多種多様なアーキテクチャで持続的なニューロン不活性を効果的に明らかにする。
論文 参考訳（メタデータ） (2025-05-29T23:07:58Z) - Diffusion-Based Neural Network Weights Generation [80.89706112736353]
D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。
本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。
我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
論文 参考訳（メタデータ） (2024-02-28T08:34:23Z) - Seeking Next Layer Neurons' Attention for Error-Backpropagation-Like
Training in a Multi-Agent Network Framework [6.446189857311325]
本研究は, ニューロンの局所的な目的として, エラーのバックプロパゲーションと類似性を示すことを提案する。
本研究では,局所的な目的を最大化するために,自律神経系と自律神経系を組み合わせたニューラルネットワークについて検討する。
3つのデータセットの実験を通して、これらのマルチエージェントニューラルネットワークの学習能力を実証する。
論文 参考訳（メタデータ） (2023-10-15T21:07:09Z) - Decorrelating neurons using persistence [29.25969187808722]
2つの正規化項は、クリッドの最小スパンニングツリーの重みから計算される。
ニューロン間の相関関係を最小化することで、正規化条件よりも低い精度が得られることを示す。
正規化の可微分性の証明を含むので、最初の効果的なトポロジカルな永続性に基づく正規化用語を開発することができる。
論文 参考訳（メタデータ） (2023-08-09T11:09:14Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Dynamic Neural Diversification: Path to Computationally Sustainable
Neural Networks [68.8204255655161]
訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。
学習過程において隠れた層内のニューロンの多様性を探索する。
ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
論文 参考訳（メタデータ） (2021-09-20T15:12:16Z) - Redundant representations help generalization in wide neural networks [71.38860635025907]
様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。
最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
論文 参考訳（メタデータ） (2021-06-07T10:18:54Z) - And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。
そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。
MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
論文 参考訳（メタデータ） (2021-02-15T08:19:05Z) - Towards Efficient Processing and Learning with Spikes: New Approaches
for Multi-Spike Learning [59.249322621035056]
各種タスクにおける他のベースラインよりも優れた性能を示すための2つの新しいマルチスパイク学習ルールを提案する。
特徴検出タスクでは、教師なしSTDPの能力と、その制限を提示する能力を再検討する。
提案した学習ルールは,特定の制約を適用せずに,幅広い条件で確実にタスクを解くことができる。
論文 参考訳（メタデータ） (2020-05-02T06:41:20Z) - The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。
現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。
我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
論文 参考訳（メタデータ） (2020-03-04T17:52:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。